Komparasi Model YOLO untuk Sistem Penerjemah Gestur BISINDO Real-Time Berbasis ESP32-CAM

Daffin Widison; Dwi Prasetya; Alfan Pratama

doi:10.24252/instek.v11i2.68280

Authors

Daffin Widison Universitas Pembangunan Nasional "Veteran" Jawa Timur
Dwi Prasetya Universitas Pembangunan Nasional "Veteran" Jawa Timur
Alfan Pratama Universitas Pembangunan Nasional "Veteran" Jawa Timur

DOI:

https://doi.org/10.24252/instek.v11i2.68280

Keywords:

BISINDO, deteksi objek, Internet of Things (IoT), penerjemah bahasa isyarat, YOLO

Abstract

Bahasa Isyarat Indonesia (BISINDO) merupakan media komunikasi bagi penyandang tunarungu dan tunawicara, namun keterbatasan pemahaman bahasa isyarat oleh masyarakat umum masih menjadi kendala dalam komunikasi. Salah satu tantangan dalam pengembangan sistem penerjemah BISINDO berbasis Internet of Things (IoT) adalah menyeimbangkan akurasi deteksi dan latensi agar sistem dapat bekerja secara real-time pada perangkat dengan sumber daya terbatas. Penelitian ini mengembangkan sistem penerjemah gestur BISINDO menggunakan ESP32-CAM dan metode deteksi objek YOLO dengan keluaran berupa teks dan suara. Penelitian membandingkan lima model, yaitu YOLOv8m, YOLOv9m, YOLOv10m, YOLO11m, dan YOLO26m, menggunakan dataset gabungan primer dan sekunder sebanyak 7.169 citra yang terdiri atas alfabet dan 30 kata dasar BISINDO. Evaluasi model dilakukan menggunakan precision, recall, mAP50, mAP50–95, F1-score, dan latensi pada lingkungan pengujian NVIDIA GeForce GTX 1050. Hasil pengujian menunjukkan bahwa YOLOv8m memberikan keseimbangan performa terbaik dengan nilai mAP50–95 sebesar 81,3% dan latensi sebesar 53,91 ms/image. Pada implementasi sistem, diperoleh accuracy sebesar 96,8%, precision 97,8%, recall 96,8%, dan F1-score 96,6%, dengan latensi komunikasi sebesar 47–52 ms. Hasil tersebut menunjukkan bahwa model YOLOv8m mampu memberikan performa deteksi yang akurat dengan latensi yang responsif untuk mendukung penerjemahan gestur BISINDO secara real-time menggunakan ESP32-CAM.

Downloads

Download data is not yet available.

References

[1] U. Nabila and N. B. Negoro, “Pengaruh Terapi Mental Spiritual Terhadap Kesadaran Beragama Penerima Manfaat di Balai Rehabilitasi Sosial Penyandang Disabilitas Sensorik Rungu Wicara (BRSPDSRW) Melati Bambu Apus Jakarta Timur,” JPA, vol. 8, no. 2, pp. 125–136, Jan. 2022, doi: 10.15408/jpa.v8i2.24387.

[2] D. Prameswari, Larasati, Muhammad Naswan Izzudin Akmal, Prismahardi Aji Riyantoko, and Dwi Arman Prasetya, “Application of Convolutional Neural Network (CNN) for Web-Based Translation of Indonesian Text into Sign Language,” J.Apk.Impl.Sada, vol. 1, no. 2, pp. 50–58, Oct. 2025, doi: 10.33005/jasid.v1i2.12.

[3] D. M. Sari, A. R. Pratama, D. Pramadihanto, and B. S. Marta, “3D Object Detection Based on Point Cloud Data,” Inform : Jurnal Ilmiah Bidang Teknologi Informasi dan Komunikasi, vol. 7, no. 1, pp. 59–66, Jun. 2022, doi: 10.25139/inform.v7i1.4570.

[4] A. R. Pratama, Muhammad Nasrudin, A. F. Adziima, and S. S. May Wara, “Optimalisasi Deteksi Wajah Real-Time Menggunakan HAAR Cascade Classifier berbasis OpenCV,” JASIEK, vol. 7, no. 1, pp. 50–61, Jun. 2025, doi: 10.26905/jasiek.v7i1.15485.

[5] I. A. Putri, D. A. Prasetya, and T. M. Fahrudin, “Image Classification of Vine Leaf Diseases using Complex-valued Neural Network,” jiko, vol. 7, no. 1, pp. 36–42, Apr. 2024, doi: 10.33387/jiko.v7i1.7809.

[6] J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You Only Look Once: Unified, Real-Time Object Detection,” in 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA: IEEE, Jun. 2016, pp. 779–788. doi: 10.1109/CVPR.2016.91.

[7] A. Kamble, A. Gore, A. Kadam, and P. Gadade, “A Comprehensive Review on YOLO Object Detection Models: Evolution from YOLOv1 to YOLOv8,” JAAFR, vol. 3, no. 11, Nov. 2025, doi: 10.56975/jaafr.v3i11.500970.

[8] L. N. Hayati, A. N. Handayani, W. S. G. Irianto, R. A. Asmara, D. Indra, and M. Fahmi, “Classifying BISINDO Alphabet using TensorFlow Object Detection API,” Ilk. J. Ilm., vol. 15, no. 2, pp. 358–364, Aug. 2023, doi: 10.33096/ilkom.v15i2.1692.358-364.

[9] A. Bayu Pangestu, M. Rafi Muttaqin, and M. Agus Sunandar, “Sistem Deteksi Bahasa Isyarat Indonesia (BISINDO) menggunakan Algoritma You Only Look Once (YOLO)v8,” jati, vol. 8, no. 5, pp. 9891–9897, Sep. 2024, doi: 10.36040/jati.v8i5.10833.

[10] N. Khamdi and M. Raja Adrafi, “Sarung Tangan Cerdas Sebagai Translator Bahasa Isyarat untuk Tuna Wicara,” elementer, vol. 8, no. 2, pp. 113–122, Nov. 2022, doi: 10.35143/elementer.v8i2.5485.

[11] R. Mulya Sanjaya and Y. Saragih, “Efektifitas Raspberry PI pada Alat Penerjemah Bahasa Isyarat,” JTI, vol. 6, no. 1, pp. 130–135, Feb. 2024, doi: 10.30604/jti.v6i1.223.

[12] I Gusti Agung Made Yoga Mahaputra, Putri Alit Widyastuti Santiary, and I Ketut Swardika, “Rancang Bangun Penerjemah BISINDO Real-time Berbasis Kamera dan Deep Learning dengan Kendali Suara ESP32 WiFi,” elementer, vol. 11, no. 1, pp. 33–42, May 2025, doi: 10.35143/elementer.v11i1.6578.

[13] B. A. Kumar, “Robot Vehicle with ESP32 CAM,” IJRASET, vol. 12, no. 8, pp. 1028–1031, Aug. 2024, doi: 10.22214/ijraset.2024.64054.

[14] P. A. Topan, D. Fardila, S. A. Rohman, S. Bahri, J. Jenal, and Y. Febriansyah, “Pemanfaatan Teknologi Arduino dan DFPlayer Mini untuk Perangkat Pemutar Audio di Masjid Raudhatul Jannah Desa Gontar, Kabupaten Sumbawa, Nusa Tenggara Barat,” JAI, vol. 9, no. 4, pp. 1797–1807, Dec. 2022, doi: 10.29303/abdiinsani.v9i4.829.

[15] K. V. S. S. Ganesh, S. P. S. Jeyanth, and A. R. Bevi, “IOT based portable heart rate and SpO2 pulse oximeter,” HardwareX, vol. 11, Apr. 2022, doi: 10.1016/j.ohx.2022.e00309.

[16] bisindoskripsi, “Dataset BISINDO 1,” Roboflow. Accessed: May 06, 2026. [Online]. Available: https://universe.roboflow.com/bisindoskripsi/bisindo-skripsi-fix

[17] yolotga, “Dataset BISINDO 2,” Roboflow. Accessed: May 06, 2026. [Online]. Available: https://universe.roboflow.com/yolotga-mevpn/tga-bisindo-uf0tu

[18] S. Isnaniah, T. Agustina, Islahuddin, and F. Annisa, “The Use of Sign Language in Deaf Indonesian Classrooms in Surakarta,” KEMBARA, vol. 9, no. 2, pp. 468–481, Oct. 2023, doi: 10.22219/kembara.v9i2.25990.

[19] E. Price and A. Ahmad, “Accelerated Video Annotation Driven by Deep Detector and Tracker,” in Intelligent Autonomous Systems 18, vol. 794, S.-G. Lee, J. An, N. Y. Chong, M. Strand, and J. H. Kim, Eds., in Lecture Notes in Networks and Systems, vol. 794. , Cham: Springer Nature Switzerland, 2024, pp. 141–153. doi: 10.1007/978-3-031-44981-9_12.

[20] G. Jocher, J. Qiu, M. Liu, S. Lyu, F. C. Akyon, and M. E. Kalfaoglu, “Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models.” 2026. doi: 10.48550/arXiv.2606.03748.

[21] G. Jocher, J. Qiu, and A. Chaurasia, Ultralytics YOLO. (Jan. 2023). [Online]. Available: https://github.com/ultralytics/ultralytics

[22] H. Prasetya, R. R. Balo, T. Tumbal, A. M. Sambul, and M. Dwisnanto Putro, “Comparative Study of Lightweight YOLOv12 Models for Real-Time Underwater Object Detection,” J. Telematika, vol. 20, no. 2, pp. 127–137, Jan. 2026, doi: 10.61769/telematika.v20i2.799.

[23] D. Niranjan, B. VinayKarthik, and Mohana, “Performance Analysis of SSD and Faster RCNN Multi-class Object Detection Model for Autonomous Driving Vehicle Research Using CARLA Simulator,” in 2021 Fourth International Conference on Electrical, Computer and Communication Technologies (ICECCT), Sep. 2021, pp. 1–6. doi: 10.1109/ICECCT52121.2021.9616712.

[24] S. Utomo, S. Sigit, N. Sulistyowati, D. A. Prasetya, and T. M. Fahrudin, “Perbandingan Kinerja Algoritma XGBoost dan CatBoost dalam Klasifikasi Risiko Penyakit Diabetes,” alinier, vol. 6, no. 2, pp. 83–96, Nov. 2025, doi: 10.36040/alinier.v6i2.14772.