Secara konservatif, interaksi antara manusia dengan komputer saat ini masih menggunakan mouse, keyboard, dan layar monitor. Melalui Proyek Akhir ini, akan diberikan suatu alternatif substitusi keyboard konvensional dengan kamera video (webcam). Kamera digunakan sebagai sensor untuk menelusuri pergerakan atau perilaku jari tangan. Selanjutnya, perilaku jari tangan ini diterjemahkan dalam aksi keyboard. Sistem ini kemudian dinamakan dengan virtual keyboard.
Pendeteksian jari tangan menggunakan haar cascade pada library OpenCV, selanjutnya tracking pergerakan jari tangan diterapkan dengan metode Kalman Filter, yaitu digunakan untuk memprediksi posisi jari tangan pada frame selanjutnya.