Politeknik Elektronika Negeri Surabaya 
Surabaya, pens.ac.id — Mengintegrasikan kecerdasan buatan, kamera inframerah, pengenalan suara, dan perangkat wearable, mahasiswa Politeknik Elektronika Negeri Surabaya (PENS) mengembangkan CODA AI, sistem asisten pengawasan bayi yang dirancang untuk membantu orang tua tunarungu memantau kondisi buah hati. Inovasi ini menggabungkan pemantauan visual dan audio dengan notifikasi berbasis getaran serta tampilan visual, sehingga informasi mengenai kondisi bayi dapat diterima tanpa bergantung pada alarm suara.
CODA AI dikembangkan sebagai sistem terintegrasi yang terdiri atas tiga komponen utama, yaitu CODA AI Baby Monitor, CODA AI Smartwatch, dan aplikasi seluler. Ketiganya dirancang untuk bekerja bersama, mulai dari mengenali kondisi bayi, mengolah informasi, hingga menyampaikan notifikasi kepada orang tua.
Pada unit Baby Monitor, tim menggunakan Raspberry Pi 5 yang didukung modul akselerator Neural Processing Unit (NPU) Hailo-8L dengan kemampuan komputasi hingga 13 TOPS. Perangkat ini dilengkapi Raspberry Pi Camera NoIR V3 dengan LED inframerah, mikrofon omnidirectional, serta mekanisme servo pan-tilt untuk menggerakkan arah kamera. Pemrosesan citra dan suara dilakukan secara lokal pada perangkat (on-device), tanpa memerlukan koneksi internet, sebagai upaya menjaga privasi keluarga di dalam rumah.
Keunggulan CODA AI terletak pada penggabungan dua model deep learning untuk mengenali kondisi bayi melalui informasi visual dan suara. Pada sisi visual, sistem memanfaatkan YOLO11n-OBB dan pose estimation untuk mengenali posisi bayi, termasuk posisi telentang, tengkurap, serta area kepala. Sementara itu, model audio YAMNet berbasis TensorFlow digunakan untuk mengklasifikasikan suara menjadi beberapa kategori, seperti tangisan, teriakan, batuk, dan ocehan bayi.
Hasil analisis kemudian diteruskan kepada orang tua melalui CODA AI Smartwatch, perangkat wearable khusus berbasis mikrokontroler ESP32-C3 yang dilengkapi layar IPS berbentuk bulat dan motor haptik. Notifikasi disampaikan melalui kombinasi getaran berpola, teks deskriptif, dan emoji yang menggambarkan kondisi terdeteksi. Sebagai contoh, tangisan bayi ditandai dengan tiga getaran cepat berturut-turut, sedangkan deteksi posisi yang tidak aman memicu getaran panjang tanpa henti. Pola tersebut dirancang agar orang tua dapat membedakan jenis peringatan tanpa harus mengandalkan suara.
Sistem ini juga dilengkapi aplikasi seluler yang terhubung melalui jaringan lokal. Aplikasi menyediakan fitur pemantauan video secara langsung (live streaming), pengaturan arah kamera, riwayat kejadian, statistik, serta kontrol perangkat. Melalui integrasi ini, orang tua dapat melihat kondisi bayi dan meninjau kejadian yang terdeteksi melalui satu antarmuka.
Berdasarkan hasil pengujian yang tercantum dalam dokumentasi pengembangan, model audio CODA AI mencapai akurasi sebesar 84–90%, sedangkan model visual memperoleh nilai mAP@50 sebesar 0,85. Kamera NoIR juga dilaporkan memiliki jarak deteksi efektif hingga empat meter, baik dalam kondisi terang maupun gelap total dengan bantuan inframerah. Hasil tersebut menjadi bagian dari evaluasi teknis sistem dalam mengenali suara dan posisi bayi.
CODA AI dikembangkan oleh tim mahasiswa PENS yang terdiri atas Muhammad Adhitya Ramadhani, Chelsea Nevanda, Moh. Rizaldy Firmansyah, Firmansyah Ariel Choirin Nasihin, dan Muhammad Farhan Muzakki, dengan dosen pembimbing Prof. Dr.Eng. Indra Adji Sulistijono, S.T., M.Eng. Inovasi ini juga telah memperoleh Hak Cipta Program Komputer dari Direktorat Jenderal Kekayaan Intelektual (DJKI).
Melalui CODA AI, mahasiswa PENS menunjukkan bagaimana integrasi sistem tertanam, pemrosesan audio-visual, kecerdasan buatan, dan teknologi wearable dapat diwujudkan dalam satu sistem yang saling terhubung. Pengembangan ini menjadi bagian dari upaya mahasiswa PENS dalam menghasilkan inovasi teknologi yang tidak hanya mengandalkan kemampuan deteksi, tetapi juga mempertimbangkan bagaimana informasi dapat diterima dan digunakan oleh penggunanya. (Hum-dz)
