KLASIFIKASI ISYARAT HURUF DAN ANGKA SIBI BERBASIS CITRA MENGGUNAKAN CNN ARSITEKTUR MOBILENETV2 PADA APLIKASI ANDROID

Penelitian ini berjudul Klasifikasi Isyarat Huruf dan Angka SIBI Berbasis Citra Menggunakan CNN Arsitektur MobileNetV2 pada Aplikasi Android. Tujuan penelitian ini adalah merancang dan membangun sistem yang mampu mengklasifikasikan isyarat statis huruf A–Z dan angka 1–9 pada Sistem Isyarat Bahasa Indonesia (SIBI) dari citra tangan menjadi keluaran teks. Penelitian dibatasi pada pengenalan isyarat statis satu arah dari isyarat ke teks dan diimplementasikan pada perangkat bergerak berbasis Android. Metode yang digunakan adalah Convolutional Neural Network (CNN) dengan arsitektur MobileNetV2 melalui pendekatan transfer learning, serta analisis performa model menggunakan confusion matrix dan metrik evaluasi akurasi. Dataset yang digunakan berjumlah 12.951 citra yang terbagi ke dalam 35 kelas, diperoleh dari data sekunder dan data primer. Tahapan preprocessing meliputi pembagian data dengan rasio 70% data latih, 15% data validasi, dan 15% data uji, normalisasi citra ke ukuran 224×224 piksel, serta augmentasi data berupa horizontal flip, perubahan kecerahan, kontras, dan saturasi. Proses pelatihan dilakukan dalam dua tahap, yaitu feature extraction dan fine-tuning. Hasil evaluasi menggunakan data uji menunjukkan bahwa model mencapai akurasi keseluruhan sebesar 95%, dengan nilai weighted average precision, recall, dan F1-score masing-masing sebesar 0,95. Berdasarkan hasil penelitian, dapat disimpulkan bahwa model CNN dengan arsitektur MobileNetV2 mampu mengklasifikasikan isyarat huruf dan angka SIBI dari citra statis dengan tingkat akurasi yang baik dan dapat dijalankan pada perangkat Android menggunakan TensorFlow Lite. Aplikasi yang dikembangkan dapat berfungsi sesuai dengan rancangan, meskipun masih memiliki keterbatasan pada pengenalan isyarat dinamis dan variasi kondisi lingkungan, sehingga diperlukan pengembangan lebih lanjut pada penelitian selanjutnya.