AI-BASED APPLICATION FOR INDONESIAN SIGN LANGUAGE DETECTION USING YOLOV8
DOI:
https://doi.org/10.47080/p8pmqy04Keywords:
Accessibility, Computer Vision, Hand Gesture Detection, Indonesian Sign Language, YOLOv8Abstract
Sign language is used by individuals with disabilities, particularly the deaf and those with speech impairments, as their primary means of communication. However, interaction between people with disabilities and the general public is often hampered by a lack of understanding of sign language. This study aims to develop an artificial intelligence-based application capable of detecting and classifying hand movements in Indonesian Sign Language (BISINDO) using the YOLOv8 algorithm. The YOLOv8 algorithm was chosen for its ability to detect and classify objects in real-time with high accuracy, even under varying lighting and background conditions. This is one of the first studies to implement YOLOv8 for real-time BISINDO detection integrated with a web interface. The dataset used includes 51 classes of hand movements with a total of 10,822 images that have undergone augmentation to increase data diversity. The development process involved data collection, pre-processing, annotation, model training, and integration with an interactive web interface. The resulting model demonstrated high performance, achieving mAP@50 of 96%, mAP@50-95 of 70%, and classification accuracy of 93.8% in the final evaluation. This application is intended to help the deaf community communicate more easily with the wider community. It can improve communication accessibility for individuals with hearing impairments in public and educational settings, as well as provide an innovative solution to support social inclusivity. Further testing and parameter optimization will be conducted to expand the detection coverage and improve the system's performance in the future.
References
Ambarak, A. M., & Falani, A. Z. (2023). Pengembangan Aplikasi Bahasa Isyarat Indonesia Berbasis Realtime Video Menggunakan Model Machine Learning. JIKA (Jurnal Informatika), 7(1), 89. https://doi.org/10.31000/jika.v7i1.7277
Arifah, I. I., Fajri, F. N., & Pratamasunu, G. Q. O. (2022). Deteksi Tangan Otomatis Pada Video Percakapan Bahasa Isyarat Indonesia Menggunakan Metode YOLO Dan CNN. Journal of Applied Informatics and Computing, 6(2), 171–176. https://doi.org/10.30871/jaic.v6i2.4694
Cholissodin, I., & Soebroto, A. A. (2021). AI , MACHINE LEARNING & DEEP LEARNING ( Teori & Implementasi ). July 2019.
Dafa Maulana, M. (2024). Evaluasi Kinerja YOLOv8 dalam Identifikasi Kesegaran Ikan dengan Metode Deteksi Objek. 11(4), 2864–2869.
Daniels, S. (2020). Pengenalan Bahasa Isyarat pada Data Video Menggunakan Metode CNN dengan Arsitektur YOLO.
Diseminasi, P., & Genap, F. (2003). Perbandingan Pengenalan Huruf Bahasa Isyarat Indonesia (Bisindo) Secara Real Time Menggunakan Algoritma Yolov3 Dan Yolov4. Komunikasi Intrapersonal & Komunikasi, 2022–2023.
Fahrezi, M. A., Widiyanto, E. P., Multi, U., Palembang, D., Informatika, P. S., Studi, P., Elektro, T., Universitas, R., Data, M., Only, Y., & Once, L. (2024). Implementasi YOLOv8 Dalam Penghitung Masuk Dan Keluar Manusia Pada Gedung. 11(3).
Halim, H., & Lina, L. (2023). Aplikasi Pengidentifikasi Bahasa Isyarat Berdasarkan Gerak Tubuh Secara Real Time Menggunakan Yolo. Simtek : Jurnal Sistem Informasi Dan Teknik Komputer, 8(2), 300–304. https://doi.org/10.51876/simtek.v8i2.215
Hayati, N. J., Singasatia, D., & Muttaqin, M. R. (2023). Object Tracking Menggunakan Algoritma You Only Look Once (YOLO)v8 untuk Menghitung Kendaraan. Komputa : Jurnal Ilmiah Komputer Dan Informatika, 12(2), 91–99. https://doi.org/10.34010/komputa.v12i2.10654
Jonathan, J., & Hermanto, D. (2024). Penentuan Epochs Hasil Model Terbaik : Studi Kasus Algoritma YOLOv8. 4(2), 792–798.
Luthfy, D., Setianingshi, C., & Paryasto, M. W. (2023). Indonesian Sign Language Classification Using You Only Look Once. EProceedings of Engineering, 10(1), 454–459.
Medellu, J., Sambul, A., & Lumenta, A. S. M. (2022). Hand Gesture Detection Application in Sign Language. Jurnal Teknik Informatika, 17(4), 285–296.
Mufti Prasetiyo, S., Ivan Prayogi Nugroho, M., Lima Putri, R., & Fauzi, O. (2022). Pembahasan Mengenai Front-End Web Developer dalam Ruang Lingkup Web Development. Jurnal Multidisiplin Ilmu, 1(6), 1015–1020. https://journal.mediapublikasi.id/index.php/bullet
Muhammad Agus Syaputra, Josua Pinem, Afiq Alghazali Lubis, & Yuva Denia. (2023). Implementasi Algoritma YOLO Dalam Pengklasifikasian Objek Transportasi pada Lalu Lintas Kota Medan. Populer: Jurnal Penelitian Mahasiswa, 3(1), 13–23. https://doi.org/10.58192/populer.v3i1.1641
Nuresa Qodri, K., Al Banna, D., Muhammad Zulfikhar Al-Baihaqi, dan, Kesehatan dan Teknologi Informasi, F., Muhammadiyah Klaten Jl
Ir Soekarno Km, U., & Klaten, B. (2024). Pemanfaatan Sam Dan Yolov8 Untuk Deteksi Dan Segmentasi Pada Citra Mri Tumor Otak (Utilization of Sam and Yolov8 To Detection and Segmentation of Brain Tumor on Mri Image). Juni, 5(1), 82–89.
Permana, D., & Sutopo, J. (2023). APLIKASI PENGENALAN ABJAD SISTEM ISYARAT BAHASA INDONESIA (SIBI) DENGAN ALGORITMA YOLOv5 MOBILE APPLICATION ALPHABET RECOGNITION OF INDONESIAN LANGUAGE SIGN SYSTEM (SIBI) USING YOLOv5 ALGORITHM. Jurnal SimanteC, 11(2), 231–240.
Polgan, J. M., Hadi, A. P., Siregar, R. E., Wilmar, P., Indonesia, B., Objek, D., & Learning, D. (2024). Evaluasi Performa Yolov8 Dalam Deteksi Objek Di Depan Kendaraan Dengan Variasi Kondisi Lingkungan. 13, 1755–1773.
Putri, A. R., Dewi, R., & Ramiati, R. (2024). Penerapan Metode Yolov5 dan Teknologi Text-To-Speech dalam Aplikasi Pengenalan Abjad dan Objek Sekitar untuk Anak Usia Dini. Elektron : Jurnal Ilmiah, 15, 94–101. https://doi.org/10.30630/eji.0.0.423
Ramdan, A., Syamsudin, J. R., No, S. H., Sukabumi, K., Barat, J., Syamsudin, J. R., No, S. H., Sukabumi, K., & Barat, J. (2024). Implementasi Deteksi Objek Real-Time Sebagai Media Edukasi dengan Algoritma YOLOv8 pada Objek Sampah sampah kota , limbah makanan , limbah ( Sistem Informasi Pengelolaan Sampah Dengan memanfaatkan Artificial Intelligence , kita dapat menciptakan menurut B. 14(2), 142–153.
Rizaldy, R., & Dirgahayu, R. T. (2020). Pengembangan Front-End Sistem Informasi Pendataan Pendar Foundation Yogyakarta. Automata, 1(2), 190–194. https://journal.uii.ac.id/AUTOMATA/article/view/15591/10252
Setiawan, A., Fauzi, A., & Purnamasari, A. I. (2021). Optimalisasi Aplikasi CyReborn dengan HttpURLConnection API Berbasis Framework dan Android Untuk Autentifikasi Peserta PKKMB. Jurnal Teknologi Informasi Dan Ilmu Komputer, 8(3), 495–508. https://doi.org/10.25126/jtiik.0813243
Terttiaavini, I Made Agus Oka Gunawan, Kraugusteeliana, Winarno, E., & Rony Sandra Yofa Zebua. (2023). Perancangan dan Implementasi Frontend Web untuk Sistem Pengaduan Masyarakat. Jurnal Informasi Dan Teknologi, 5(1), 112–126. https://doi.org/10.37034/jidt.v5i1.290
Video, P., & Bola, S. (2024). Vernando Bayu Putra Pratama, 2024 IMPLEMENTASI MODEL OBJECT DETECTION YOLOv8 UNTUK SISTEM PERHITUNGAN BALL POSSESSION PADA VIDEO SEPAK BOLA Universitas Pendidikan Indonesia | repository.upi.edu | perpustakaan.upi.edu.
Yanto, Y., Aziz, F., & Irmawati, I. (2023). Yolo-V8 Peningkatan Algoritma Untuk Deteksi Pemakaian Masker Wajah. JATI (Jurnal Mahasiswa Teknik Informatika), 7(3), 1437–1444. https://doi.org/10.36040/jati.v7i3.7047
