Augmented reality merupakan sebuah teknologi yang menempatkan atau memperlihatkan suatu obyek atau grafis 3D dari komputer secara real time. Sehingga pada layar computer, handphone, atau perangkat display lainnya obyek atau grafis tersebut akan terlihat sangat nyata dan seperti berada pada dunia nyata. Dengan adanya teknologi augmented reality yang menggunakan marker akan membuat tampilan animasi dari sebuah game menjadi lebih real. Pada proyek akhir dibuat perangkat lunak yang dapat mengidentifikasi marker tertentu yang telah dibuat sehingga marker tersebut dapat diidentifikasi oleh kamera dan menjadi acuan dari tampilan animasi 3D. Proses yang dilakukan adalah identifikasi marker oleh kamera, dengan image prossesing yang membandingkan antara marker yang ditangkap kamera dengan referensi augmented reality data. Kemudian sebagai kontroler dari game ini digunakan tracking warna dengan segmentasi warna untuk melakukan penjejakan jari tangan, dimana digunakan dua buah jari tangan yang ujungnya telah diberi warna sebagai kontroler dari pion yang dijalankan pada chess game. Jari tangan berfungsi menindahkan obyek berupa pion pada kordinat tertentu pada layar sesuai dengan tampilan pada OpenGL. Pada proyek akhir ini marker akan digunakan sebagai acuan posisi dari board catur sedangkan untuk kontroler dari game ini digunakan penjejakan dengan library OpenCV. Hasil akhir dari proyek akhir ini berupa sebuah permainan catur 3D, dimana pada layar monitor akan terlihat papan catur sebagai obyek virtual muncul di atas marker sehingga tidak diperlukan lagi papan dan pion catur yang sebenarnya. Kemudian pemain pertama maupun pemain kedua dapat melakukan permainan catur seperti bermain catur menggunakan papan catur aslinya. Kedua pemain akan menggunakan jari telunjuk dan ibu jari yang telah diberi warna untuk memindahkan pion hitam maupun putih. Kemudian kedua pemaian dapat melakukan permaian catur sesuai dengan peraturan yang sebenarnya dengan bantuan program pada permaianan ini.
Kata kunci : Chess Game, Marker, Augmented Reality, Image Processing
