Aplikasi Web Penerjemahan Bahasa Isyarat Sibi dengan Fitur Speech-to-text dan Metode Convolutional Neural Network (CNN)

Hambatan komunikasi masih menjadi tantangan bagi penyandang tunarungu, terutama karena keterbatasan pemahaman masyarakat terhadap bahasa isyarat. Di Indonesia, komunitas tunarungu umumnya menggunakan SIBI (Sistem Isyarat Bahasa Indonesia), yaitu bahasa isyarat terstruktur yang berbasis pada tata bahasa Indonesia. Penelitian ini menghadirkan aplikasi penerjemah berbasis web yang mampu mengubah gestur tangan SIBI menjadi teks menggunakan Convolutional Neural Networks (CNN) dan MediaPipe, serta mengubah masukan suara menjadi teks menggunakan Web Speech API, yang kemudian dicocokkan dengan gambar huruf SIBI yang tersimpan dalam basis data. Aplikasi ini dikembangkan menggunakan framework Flask dan model Waterfall, yang meliputi tahapan analisis, perancangan, implementasi, pengujian, deployment, dan pemeliharaan. Dataset yang digunakan terdiri atas 52.000 sampel gestur (2.000 per huruf) untuk melatih model 1D CNN. Model ini berhasil mencapai akurasi tinggi: 99,62% (pelatihan), 99,80% (validasi), dan 99,90% (pengujian). Selain itu, sistem diuji berdasarkan fungsionalitas, variasi jarak tangan, serta ketahanan terhadap kondisi lingkungan yang berbeda, termasuk pencahayaan dan tingkat kebisingan suara. Pengujian gestur huruf A–Z menunjukkan akurasi di atas 99%. Pada uji pencahayaan, sistem tetap stabil pada kondisi terang dan redup, dengan penurunan kecil pada kondisi gelap. Pada uji kebisingan, fitur Speech-to-Text mampu bekerja baik pada lingkungan normal dan bising ringan, meskipun pada kebisingan tinggi terjadi kesalahan transkripsi. Secara keseluruhan, kedua fitur tetap berhasil memetakan hasil ke gambar huruf SIBI secara tepat, sehingga komunikasi dua arah dapat berjalan real-time secara praktis dan inklusif melalui web tanpa instalasi tambahan