Translasi Bahasa Isyarat

Masyarakat tuna rungu pada umumnya menggunakan bahasa isyarat sebagai alat komunikasi utamanya. Bahasa isyarat mengutamakan komunikasi visual, pengguna bahasa ini menggunakan orientasi, bentuk dan gerakan tangan, lengan, tubuh, serta expresi wajah untuk mengungkapkan expresi mereka. Tetapi cara komunikasi ini sering menyulitkan/membatasi komunikasi dengan orang lain yang normal, karena perbedaan komunikasinya itu kurang dipahami oleh lawan komunikasinya. Untuk mengatasi keterbatasan komunikasinya tersebut diperlukan upaya penterjemahan bahasa isyarat menjadi lisan. Dengan demikian akan terjadi komunikasi yang lebih mudah antar kaum tuna rungu dengan masyarakat umum.
Untuk menyelesaikan proyek akhir ini, digunakan kamera webcam sebaga alat bantu untuk menangkap gambar dari tangan pengguna. Teknik yang digunakan adalah dengan menangkap posisi tangan, mengekstrak bentuk dari tangan tersebut, kemudian mengklasifikasinya. Untuk mencari letak tangan dari setiap frame yang dihasilkan, penulis menggunakan HaarClassifier yang sebelumnya telah dilakukan training terlebih dahulu. Kemudian untuk mengekstrak bentu tangan digunakan skin detection dan noise removal yang kemudian dilanjutkan dengan thresholding dan normalisasi. Setelah bentuk tangan ini didapatkan, maka gambar biner bentuk tangan ini diklasifikasikan berdasarkan kumpulan gambar-gambar isyarat tangan yang digunakan sebagai data training. Algoritma klasifikasi yang digunakan penulis adalah algoritma K Nearest Neigbors.
Sistem ini mampu mengenali 19 isyarat huruf tangan dari 26 isyarat yang ditargetkan. Rata-rata akurasi yang dihasilkan system ini adalah 89.68%. Nilai akurasi ini dapat bervariasi tergantung dari konsistensi data training dan noise yang dihasilkan.