IMPLEMENTASI VIRTUAL MOUSE BERBASIS HAND GESTURE RECOGNITION DENGAN MEDIAPIPE DAN CONVOLUTIONAL NEURAL NETWORK
DOI:
https://doi.org/10.24252/instek.v10i1.53138Keywords:
Convolutional Neural Network, Custom Convolutional Neural Network, Hand Gesture Recognition, Hand Landmark Detection, Interaksi Manusia Komputer.Abstract
Hand gesture recognition merupakan bentuk interaksi manusia-komputer yang inovatif dengan memanfaatkan gerakan tangan sebagai input. Penelitian ini bertujuan mengembangkan dan mengevaluasi aplikasi virtual mouse berbasis gerakan tangan untuk mengatasi keterbatasan perangkat input konvensional seperti masalah mobilitas dan ketergantungan hardware. Sistem dirancang menggunakan kombinasi hand landmark detection dengan MediaPipe untuk ekstraksi fitur tangan dan Custom Convolutional Neural Network (CNN) untuk mengenali pola gerakan. Hasil evaluasi menunjukkan performa model yang sangat baik dengan akurasi pelatihan mendekati 99% dan akurasi validasi mencapai 99,9%. Dalam pengujian aplikasi, sistem berhasil mengenali gestur dengan sempurna (100%) pada latar belakang putih, sedangkan pada latar belakang bervariasi tingkat keberhasilannya mencapai 66%. Temuan ini membuktikan bahwa solusi virtual mouse berbasis gerakan tangan dapat berfungsi efektif dalam kondisi terkendali, meskipun masih memiliki tantangan pada lingkungan dengan latar belakang kompleks.
Downloads
References
[1] G. A. Rafiandy, “Laporan Tugas Akhir Teknik Komputer dan Jaringan Politeknik Negeri Jakarta,” Politeknik Negeri Jakarta, Jakarta, 2022.
[2] M. Z. Hapiz, “Implementasi Hand Gesture Recognition Pada Virtual Mouse Menggunakan Pustaka OpenCV,” 2023.
[3] M. Rizki dan E. Novianto, “Auditing Artificial Intelegence Menggunakan COBIT 2019,” Jurnal Sistem Informasi dan Informatika (JUSIFOR), vol. 2, no. 1, 2023, doi: 10.33379/jusifor.v2i1.1847.
[4] R. Diana, H. Warni, dan T. Sutabri, “Penggunaan Teknologi Machine Learning Untuk Pelayanan Monitoring Kegiatan Belajar Mengajar Pada SMK Bina Sriwijaya Palembang,” JUTEKIN (Jurnal Teknik Informatika), vol. 11, no. 1, 2023, doi: 10.51530/jutekin.v11i1.709.
[5] H. Joshi, N. waybhase, R. Litoriya, dan D. Mangal, “Design of a Virtual Mouse Using Gesture Recognition and Machine Learning,” 1 Juni 2022, Research Square. doi: 10.21203/rs.3.rs-1616375/v2.
[6] C. R. Wairata, E. R. Swedia, dan M. Cahyanti, “Pengklasifikasian Genre Musik Indonesia Menggunakan Convolutional Neural Network,” Sebatik, vol. 25, no. 1, 2021, doi: 10.46984/sebatik.v25i1.1286.
[7] R. Shinganjude, D. Majrikar, A. Bawiskar, S. Bobhate, J. Chaurawar, dan G. Ninawe, “Virtual Mouse Using AI and Computer Vision,” Int J Innov Sci Res Technol, vol. 8, no. 11, hlm. 327–328, Nov 2023, doi: 10.5281/zenodo.10158688.
[8] M. Arslan, “CNN Based Head-Mouse Control System for People With Disabilities a Thesis Submitted to the Institute of Graduate Studies of Near East University,” Near East University, Nicosia, 2021.
[9] A. A. Wibowo dan D. Astuti, “Gestur Tangan Manusia Dalam Karya Fotografi Seni,” vol. 18, no. 1, hlm. 114, Okt 2021.
[10] S. Jardim, J. António, dan C. Mora, “Image thresholding approaches for medical image segmentation-short literature review,” dalam Procedia Computer Science, Elsevier B.V., 2023, hlm. 1485–1492. doi: 10.1016/j.procs.2023.01.439.
[11] T. Grzejszczak, M. Kawulok, dan A. Galuszka, “Hand landmarks detection and localization in color images,” Multimed Tools Appl, vol. 75, no. 23, hlm. 16370–16371, Des 2016, doi: 10.1007/s11042-015-2934-5.
[12] “Hand landmarks detection guide | Google AI Edge | Google AI for Developers.” Diakses: 14 Desember 2024. [Daring]. Tersedia pada: https://ai.google.dev/edge/mediapipe/solutions/vision/hand_landmarker
[13] Tiffany, “Pengenalan Karakter Mandarin Menggunakan Metode Convolutional Neural Network dengan Model VGG-19,” Universitas Tarumanagara, 2024.
[14] K. Azmi, S. Defit, dan Sumijan, “Implementasi Convolutional Neural Network (CNN) Untuk Klasifikasi Batik Tanah Liat Sumatera Barat,” vol. 16, no. 1, hlm. 33–34, Jun 2023, doi: 10.52072/unitek.v16i1.504.
[15] K. Yogeswara Rao dan K. Srinivasa Rao, “Breast Cancer Image Classification Using Custom CNN,” J Theor Appl Inf Technol, vol. 31, no. 6, hlm. 2499, Mar 2024, [Daring]. Tersedia pada: www.jatit.org
[16] R. Setiawan, “Black Box Testing Untuk Menguji Perangkat Lunak - Dicoding Blog.” Diakses: 14 Desember 2024. [Daring]. Tersedia pada: https://www.dicoding.com/blog/black-box-testing
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2025 Steven Suki, Chairisni Lubis, Jeanny Pragantha
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
