Pendahuluan
Latar Belakang
Rumusan Masalah
Batasan Masalah
Tujuan
Manfaat
Kajian Literatur
Tinjauan Pustaka
Pada penelitian kali ini kami membahas mengenai pengenalan huruf bahasa isyarat tangan dengan harapan hasil yang dicapai nantinya dapat membantu penyandang tunarungu dan tuna wicara dalam berkomunikasi. Bahasa isyarat merupakan media bagi penyandang tunarungu dan tuna wicara untuk berkomunikasi dengan lingkungan sekitar. Untuk itu diperlukan suatu sistem yang dapat menerjemahkan bahasa isyarat ke dalam bahasa Indonesia agar dapat tercipta komunikasi yang lebih baik.
American Sign Language (ASL) merupakan salah satu bahasa isyarat yang banyak digunakan di dunia. Pada beberapa penelitian sebelumnya telah dikembangkan teknologi pengenalan bahasa isyarat sehingga menghasilkan sistem klasifikasi bahasa isyarat yang belum real-time. Sebelumnya, ada penelitian yang dilakukan oleh Ivan Fareza dkk tentang pengenalan alfabet American Sign Language menggunakan pencocokan gambar.
Penelitian ini menunjukkan pengenalan bahasa isyarat untuk isyarat huruf menggunakan Edge Oriented Histogram karya Muhammad Asep. Penerapan jaringan netral konvolusional titik kunci tangan untuk meningkatkan akurasi dalam pengenalan Bahasa Isyarat Amerika.
Landasan Teori
- Bahasa Isyarat Tangan
- Convolutional Neural Networks
- TensorFlow
- Pengolahan Citra Digital
- Keras
- Real-Time Processing
- Python
- Grayscale
- Open CV
- Operator Sobel
Operator Sobel adalah metode operasi pemrosesan gambar yang dirancang khusus untuk mencegah interpolasi. Dengan pendekatan ini, operator Sobel menjadi alat yang efektif dalam mengekstraksi informasi tepi citra dengan akurasi dan presisi tinggi (Yodha & Kurniawan, 2014). Beberapa persamaan yang akan digunakan dalam penelitian ini antara lain menggunakan atau mengubah citra menjadi skala abu-abu atau greyscale dengan menggunakan persamaan skala abu-abu dan juga menggunakan operator Sobel untuk mendeteksi tepi suatu citra skala abu-abu.
Dengan menggunakan library cvzone untuk memuat model CNN yang telah dibangun sebelumnya kemudian melakukan prediksi menggunakan frame input yang dibuat oleh operator Sobel dan meneruskannya ke model CNN, hasilnya akan menghasilkan indeks dari dataset, dimana dataset[index] adalah label atau hasil klasifikasi ASL. Operator Sobel merupakan persamaan atau algoritma untuk menentukan deteksi tepi pada suatu citra. Dari gambar yang dihasilkan oleh Sobel Operator, pada penelitian ini dikumpulkan suatu kumpulan data, sehingga kumpulan data tersebut akan digunakan sebagai database untuk membangun model CNN yang akan mengklasifikasikan ASL dari huruf A sampai dengan huruf Y.
Berdasarkan penelitian yang dilakukan dapat disimpulkan bahwa penerapan Operator Sobel untuk mengklasifikasikan ASL dapat berjalan. Oleh karena itu, pada hasil penelitian ini, kami tidak menyarankan penerapan dataset Sobel ASL Operator dalam pembelajaran model CNN, dan sebaiknya hanya menggunakan dataset ASL gambar RGB saja.
Metodologi Penelitian
Perancangan
- Flowchart
- Perhitungan Manual
Sebelum masuk ke tahap implementasi, kami akan merancang sistem aplikasinya agar penerapan atau implementasinya lebih fokus dan tidak menyebabkan terpotongnya langkah-langkah dalam pengenalan bahasa isyarat, yang nantinya ingin kami lakukan pada penelitian ini. Hasil gambar yang disegmentasi tersebut kemudian dirangkai menjadi dataset untuk pelatihan menggunakan CNN sebagai salah satu jenis model klasifikasi atau pengenalan huruf. Pada pembahasan penelitian kali ini kita akan menerapkan atau mengimplementasikan alur desain yang telah dibuat pada coding menggunakan Python.
Detektor tangan yang disediakan oleh cvzone merupakan hasil pembelajaran mesin yang dibuat oleh cvzone dengan menerapkan pembelajaran mesin dari Mediapipe. Hasil dari Hand Detektor ini akan membuat kotak pembatas beserta segmentasi buku ajarnya, namun dalam hal ini kita tidak menerapkan segmentasi pada buku ajar tersebut, hanya deteksi tangan saja yang kemudian menjadi sumber masukan baik untuk proses klasifikasi selanjutnya atau proses selanjutnya. proses pengumpulan data. Dimana kode tersebut merupakan aplikasi dari algoritma perbandingan Sobel Operator dimana gambar RGB terlebih dahulu akan diubah menjadi Grayscale, kemudian dari titik-titik piksel matriks Grayscale akan dicari ukurannya untuk menentukan apakah titik tersebut merupakan tepi atau bukan.
Setiap frame yang terdeteksi secara manual kemudian dilakukan oleh operator Sobel dan dataset disimpan dengan cara mengubah nama file pada folder variabel menjadi huruf ASL yang ingin disimpan, misalnya huruf A, kemudian folder variabel. akan menjadi folder = "DataSobel/A". Buat kode untuk model CNN yang akan menjadi model yang mengklasifikasikan dataset ASL. Untuk membuat model CNN ini, kami menggunakan model CNN yang telah dilatih sebelumnya, yaitu EfficientNetB0, untuk membantu mengklasifikasikan gambar yang membentuk kumpulan data.
Setelah proses pembuatan model CNN selesai, tahap selanjutnya adalah membuat label berdasarkan indeks yang menjadi dataset. Kemudian label-label tersebut disimpan dalam format .txt dan dalam folder yang sama dengan model CNN yang dihasilkan. Berdasarkan percobaan yang dilakukan terhadap seluruh kode yang dihasilkan, maka hasil aplikasi yang dihasilkan akan terlihat seperti di bawah ini.
Namun karena terdapat beberapa huruf yang mempunyai bentuk deteksi tepi yang sama setelah menggunakan Operator Sobel, sering terjadi kesalahan klasifikasi ASL terhadap bentuk yang serupa, seperti huruf A dengan M, N, S, T. Namun hasil klasifikasi sering menimbulkan kesalahan. karena masih banyak lagi bentuk huruf ASL yang memiliki gambar deteksi tepi serupa. Fareza, Ivan., Busdin, Rusdie., Al Rivan, Muhammad Ezar., Irsyad, Hafiz., (2018), Pengenalan Alfabet Bahasa Isyarat Amerika Menggunakan Histogram Berorientasi Tepi dan Pencocokan Gambar.
Hasil dan Pembahasan
Pembahasan
Untuk mempersiapkannya kita menggunakan bantuan perpustakaan pembuka kamera yaitu OpenCV dengan perpustakaan cv2-nya. Kode ini akan menampilkan kotak pembatas berukuran 300x300 untuk detektor genggam. Setelah bingkai tangan diambil, Anda dapat menekan tombol 's' pada keyboard Anda untuk menyimpan gambar bingkai.
Proses ini memakan banyak waktu, hal ini karena kami melatih model menggunakan GPU AMD, yang sepertinya saat ini belum didukung oleh TensorFlow. Dimana aplikasi tersebut dapat mengklasifikasikan tangan kita berdasarkan ASL yang kita bentuk dari tangan kita. Akhir kata, kami berharap laporan ini dapat memberikan informasi yang bermanfaat di kemudian hari dan dapat menjadi referensi bagi para pembaca.
