Pengenalan BISINDO Berbasis MediaPipe dengan Transformer Encoder, Long Short-Term Memory, Connectionist Temporal Classification, dan Text-to-Speech
DOI:
https://doi.org/10.24252/instek.v11i2.69940Keywords:
BISINDO, Connectionist Temporal Classification, Long Short-Term Memory, MediaPipe Holistic, Text-to-Speech, Transformer EncoderAbstract
Perbedaan pemahaman antara pengguna Bahasa Isyarat Indonesia (BISINDO) dan masyarakat yang belum menguasainya masih menghambat komunikasi. Penelitian ini bertujuan mengembangkan prototipe pengenalan 15 kosakata atau frasa dasar BISINDO secara real-time dengan keluaran teks dan suara. Dataset terdiri atas 4.500 sequence yang direkam oleh satu peraga isyarat, yaitu peneliti sendiri. Sistem menggunakan MediaPipe untuk mengambil landmark tangan dan tubuh. Fitur koordinat dan velocity disusun menjadi sequence 30 frame, kemudian diproses menggunakan model Transformer Encoder dan LSTM. Hasil prediksi diolah menggunakan CTC dan Levenshtein Distance, ditampilkan melalui Streamlit, dan diubah menjadi suara dengan Text-to-Speech. Evaluasi dilakukan pada 450 sequence yang juga digunakan sebagai data validasi. Hasilnya menunjukkan accuracy 95,56%, precision 95,53%, recall 95,57%, F1-score 95,55%, dan CER 4,00%. Pada pengujian real-time, akurasi mencapai 92,00% pada jarak ±100 cm, 92,67% pada pencahayaan terang, dan 92,67% pada posisi kamera lurus. Namun, akurasi turun menjadi 65,33% pada jarak jauh, 81,33% pada pencahayaan redup, dan 78,00% pada posisi serong. Hasil penelitian masih terbatas pada kosakata, peraga isyarat, dan kondisi pengujian yang digunakan.
Downloads
References
[1] R. W. L. Therry, A. Junaidi, and A. N. Sihananto, “Program Penerjemah Bahasa Isyarat Indonesia (BISINDO) Secara Real Time Menggunakan Convolutional Neural Network Dan Mediapipe,” JATI (Jurnal Mahasiswa Teknik Informatika), vol. 8, no. 6, pp. 11642–11649, 2024, doi: 10.36040/jati.v8i6.11582.
[2] D. Ahwani, S. Budiman, and M. Rahmat, “Penerapan Mediapipe dalam Pengenalan Bisindo Berbasis Deep Learning dan Computer Vision (Studi Kasus: SLB-C B Yayasan Pendidikan Luar Biasa (YPLB) Blitar),” INNOVATIVE: Journal Of Social Science Research, vol. 4, no. 5, pp. 3608–3628, 2024, doi: 10.31004/innovative.v4i5.15199.
[3] A. Setiawan and F. N. Hasan, “Analisis Sentimen Tanggapan Pengguna Aplikasi Bale By BTN Menggunakan Metode Support Vector Machine (SVM),” Jurnal Ilmiah Teknik dan Ilmu Komputer, vol. 4, no. 4, pp. 315–326, 2025, doi: 10.55123/storage.v4i4.6469.
[4] M. P. Prayoga, G. A. A. D. Indradewi, and P. H. Suputra, “Pengenalan Kata Kolok Secara Real Time Menggunakan Mediapipe dan Algoritma Long Short-Term Memory (LSTM),” Sintech Journal, vol. 8, no. 2, pp. 178–187, 2025, doi: 10.31598/sintechjournal.v8i2.1945.
[5] S. Nur Budiman, S. Lestanti, S. Marselius Evvandri, and R. Kartika Putri, “Pengenalan Gestur Gerakan Jari Untuk Mengontrol Volume Di Komputer Menggunakan Library Opencv Dan Mediapipe,” Antivirus : Jurnal Ilmiah Teknik Informatika, vol. 16, no. 2, pp. 223–232, Nov. 2022, doi: 10.35457/antivirus.v16i2.2508.
[6] Hajrah, A. azis, and I. Rahim, “Analisis Penggunaan Bahasa Isyarat Indonesia (BISINDO) pada Siswa SLB,” Jurnal Onoma: Pendidikan, Bahasa dan Sastra, vol. 9, no. 2, pp. 1396–1402, 2023, doi: 10.30605/onoma.v9i2.2717.
[7] M. Z. Fauzi, R. Sarno, and S. C. Hidayati, “Recognition of Real-Time BISINDO Sign Language-to-Speech using Machine Learning Methods,” International Conference on Computer Science, Information Technology and Engineering (ICCoSITE), 2023, pp. 986–991. doi: 10.1109/ICCoSITE57641.2023.10127743.
[8] S. Tan, T. Miyazaki, N. Khan, and K. Nakadai, “Improvement in Sign Language Translation Using Text CTC Alignment,” in ACL Anthology, Abu Dhabi, UAE: International Committee on Computational Linguistics (ICCL), 2025, pp. 3255–3266. Accessed: Dec. 15, 2025. [Online]. Available: https://aclanthology.org/2025.coling-main.219/
[9] K. Papadimitriou and G. Potamianos, “Multimodal Locally Enhanced Transformer for Continuous Sign Language Recognition,” Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH, vol. 2023-August, pp. 1513–1517, 2023, doi: 10.21437/Interspeech.2023-2198.
[10] R. Zuo, F. Wei, and B. Mak, “Towards Online Continuous Sign Language Recognition and Translation,” in Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing, Stroudsburg, PA, USA: Association for Computational Linguistics, 2024, pp. 11050–11067. doi: 10.18653/v1/2024.emnlp-main.619.
[11] D. P. Kartaputra et al., “Deteksi Alfabet BISINDO Menggunakan Mediapipe Holistic Secara Real-Time,” Jurnal Teknologi Informasi dan Komunikasi, vol. 12, no. 1, pp. 46–52, Jun. 2023, doi: 10.58761/jurtikstmikbandung.v12.i1.113.
[12] H. M. Putri, Fadlisyah, and W. Fuadi, “Pendeteksian Bahasa Isyarat Indonesia Secara Real-Time Menggunakan Long Short-Term Memory (Lstm),” Jurnal Teknologi Terapan & Sains, vol. 3, no. 1, pp. 663–675, 2022, doi: 10.29103/tts.v3i1.6853.
[13] E. Altiarika and W. P. Sari, “Pengembangan Deteksi Realtime untuk Bahasa Isyarat Indonesia dengan Menggunakan Metode Deep Learning Long Short Term Memory dan Convolutional Neural Network,” Jurnal Teknologi Informatika dan Komputer, vol. 9, no. 1, pp. 1–13, Mar. 2023, doi: 10.37012/jtik.v9i1.1272.
[14] C. A. Sari, E. H. Rachmawanto, Z. Saifullah, C. Jatmoko, and D. Sinaga, “Real-time detection of indonesian sign language (ISL) gestures based on long short-term memory,” Journal of Soft Computing Exploration, vol. 5, no. 3, pp. 251–262, Sep. 2024, doi: 10.52465/joscex.v5i3.452.
[15] P. B. Utomo, R. A. Ramadhani, and H. Kurniawan, “Deteksi Gerak Tangan sebagai Pengenal Bahasa Isyarat menggunakan Mediapipe dan Long-Short Term Memory,” Jurnal SIMETRIS, vol. 15, no. 1, pp. 121–136, 2024, doi: 10.24176/simet.v15i1.10505.
[16] A. Bahari and K. E. Dewi, “Peringkasan Teks Otomatis Abstraktif Menggunakan Transformer Pada Teks Bahasa Indonesia,” KOMPUTA : Jurnal Ilmiah Komputer dan Informatika, vol. 13, no. 1, pp. 83–91, 2024, doi: 10.34010/komputa.v13i1.11197.
[17] M. Julkarnain, E. Mardinata, and R. Susilowati, “Penerapan Transformer-Based Neural Machine Translation untuk Bahasa Bima,” Jurnal Algoritma, vol. 22, no. 2, pp. 793–802, Nov. 2025, doi: 10.33364/algoritma/v.22-2.2949.
[18] B. A. Firmansyah and F. A. Bachtiar, “Automatic Speech Recognition Bahasa Indonesia menggunakan Unidirectional Gated Recurrent Unit,” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 5, no. 12, pp. 5180–5187, 2021, doi: 10.21512/jptiik.v5i12.10200.
[19] I. F. Akbar, Mugiarso, K. F. Ramdhania, and Rasim, “Algoritma Levenshtein Distance sebagai Solusi Efisiensi Pencarian pada Training Registration System,” Journal of Students‘ Research in Computer Science, vol. 5, no. 2, pp. 147–154, Nov. 2024, doi: 10.31599/mzr20n84.
[20] D. Bernadisman and R. Lesdiansyah, “Aplikasi Text To Speech Berbasis Android Menggunakan Xml Java,” Jurnal SIBERNETIKA, vol. 8, no. 2, pp. 62–72, 2023, doi: 10.56459/sibernetika.v8i2.68.
[21] A. Tholib, Implementasi Algoritma Machine Learning Berbasis Web dengan Framework Streamlit, 1st ed. Pustaka Nurja, 2023. [Online]. Available: https://pustakanurja.unuja.ac.id
[22] N. Trivedi and R. K. Sarvadevabhatla, “PSUMNet: Unified Modality Part Streams are All You Need for Efficient Pose-based Action Recognition,” ArXiv, Aug. 2022, doi: 10.48550/arXiv.2208.05775.
[23] G. H. Samaan et al., “MediaPipe’s Landmarks with RNN for Dynamic Sign Language Recognition,” Electronics (Switzerland), vol. 11, no. 19, pp. 1–15, Oct. 2022, doi: 10.3390/electronics11193228.
[24] K. B. Yoga and C. Pramartha, “Pengenalan Tulisan Tangan Aksara Bali Menggunakan Algoritma CRNN,” JNATIA, vol. 3, no. 4, pp. 845–854, 2025, doi: 10.24843/JNATIA.2025.v03.i04.p14.
[25] E. Ismanto et al., Revolusi Natural Language Processing: Ketika Manusia Mesin Memahami Bahasa. PT. Penerbit Qriset Indonesia, 2025.
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2026 Elvina Adellia, Firman Noor Hasan
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
