IMPLEMENTASI DEEP LEARNING UNTUK PENGENALAN ALFABET BAHASA ISYARAT INDONESIA (BISINDO) MENGGUNAKAN INTEGRASI MEDIAPIPE HANDS DAN CONVOLUTIONAL NEURAL NETWORK SECARA REAL-TIMEHALAMAN

Bahasa Isyarat Indonesia (BISINDO) merupakan instrumen komunikasi visual yang sangat krusial bagi komunitas tunarungu. Keterbatasan pemahaman masyarakat umum terhadap isyarat ini memicu kesenjangan interaksi sosial. Penelitian ini bertujuan untuk merancang dan mengimplementasikan sistem pengenalan 26 kelas alfabet BISINDO secara otomatis dan real-time berbasis deep learning. Integrasi metode yang diusulkan menggabungkan komponen MediaPipe Hands untuk lokalisasi objek tangan dan algoritma Convolutional Neural Network (CNN) sebagai pengklasifikasi. Masalah penurunan performa akibat gangguan lingkungan diselesaikan melalui pipa prapemrosesan data terpusat, di mana citra mentah diekstraksi menjadi Region of Interest (ROI) visualisasi rangka tangan beresolusi 224×224 piksel di atas kanvas hitam murni. Ekspansi dataset dilakukan secara offline melalui teknik Data Augmentation yang komprehensif, mencakup horizontal flipping, rotasi, shifting, dan zooming guna memfasilitasi pengenalan dua arah tangan sekaligus mereduksi risiko Overfitting. Pengujian arsitektur CNN model Sequential dengan tiga tingkat blok konvolusi menghasilkan tingkat akurasi validasi makro sebesar 73,08% dan nilai validation loss 0,93. Pada tahap uji Live Inference berbasis webcam, integrasi penstabil metode Majority Voting (10 frame, confidence threshold > 0,75) terbukti andal dalam menjaga konsistensi translasi huruf di layar. Sistem ini berhasil diwujudkan sebagai solusi penerjemah end-to-end yang adaptif terhadap fluktuasi spasial lingkungan nyata.