BAB I PENDAHULUAN 1.1 Latar Belakang Permasalahan
Bahasa isyarat adalah salah satu media komunikasi utama bagi para penderita tuna-rungu di seluruh dunia. Pengguna bahasa isyarat di seluruh dunia cukup banyak. Setiap negara bahkan setiap daerah mempunyai bahasa isyarat masing-masing yang berbeda. Di satu sisi jumlah masyarakat umum yang mempunyai kemampuan untuk berkomunikasi dengan bahasa isyarat sangat terbatas. Masalah akan muncul ketika penderita tuna-rungu atau tuna-wicara ingin berkomunikasi dengan orang normal yang tidak mengerti bahasa isyarat. Bagi orang yang dapat mendengar, mereka dapat mempelajari dan memahami bahasa tulis sebagai representasi bahasa lisan dengan menggunakan tulisan atau surat untuk menyandikan fonem. Namun bagi penderita tuna-rungu, korespondensi ini tidak dapat dilakukan, karena surat hanya terlihat sebagai suatu simbol tanpa makna. Oleh karena itu penderita tuna-rungu mempunyai kesulitan besar dalam membaca dan menulis karena pada kenyataannya tidak ada korenspondensi langsung antara bahasa alami mereka (bahasa isyarat) dengan bahasa tulisan.
Kesulitan dalam berkomunikasi akan berpengaruh pada kehidupan dan hubungan interpersonal dalam komunitas tuna-rungu. Kesulitan dalam berkomunikasi antara penderita tuna-rungu dengan orang yang dapat mendengar dapat membawa permasalahan dalam proses integrasi penderita tuna-rungu ke dalam masyarakat luas. Tentu saja permasalahan ini perlu dicari solusi agar proses komunikasi dengan orang yang normal dapat dilakukan secara lancar, yang pada akhirnya akan meningkatkan hubungan yang harmonis antar komponen masyarakat. Oleh karena itu kebutuhan akan suatu penerjemah dari bahasa isyarat ke dalam bahasa tulisan atau lisan menjadi sangat besar. Penerjemah bahasa isyarat ini akan dapat digunakan untuk membantu proses komunikasi antara masyarakat umum dengan masyarakat penderita tuna-rungu, meskipun hal ini masih sulit diwujudkan karena terbatasnya ketersediaan alat penerjemah dan besarnya variasi bahasa isyarat di dunia.
Bahasa isyarat pada dasarnya mempunyai sifat dinamis, karena menggunakan gerakan atau perubahan gestur tubuh sebagai ganti suara tutur untuk berkomunikasi. Gestur adalah suatu bentuk bahasa tubuh atau komunikasi non-verbal. Gestur yang
umum digunakan merupakan kombinasi atas bentuk/pola tangan, orientasi dan gerakan tangan, ekspresi muka, dan pola bibir. Gestur tangan sendiri dapat diklasifikasikan menjadi beberapa kategori, seperti gestur untuk percakapan, gestur kontrol, gestur manipulatif, dan gestur untuk komunikasi. Salah satu bagian dari bahasa isyarat adalah bahasa isyarat yang diperagakan hanya dengan menggunakan perubahan pose gestur tangan terutama pose dari jari-jari tangan yang disebut dengan bahasa isyarat finger spelling.
Bahasa isyarat finger spelling menggunakan variasi pose jari-jari dan telapak tangan untuk merepresentasikan abjad demi abjad sehingga membentuk suatu kata, atau dengan kata lain digunakan untuk mengeja suatu kata. Bahasa isyarat finger spelling terutama digunakan untuk mengkomunikasikan informasi tentang nama orang, tempat dan objek lain yang tidak tercakup atau belum dikenal dalam bahasa isyarat. Jadi isyarat finger spelling ini juga memegang peran yang penting dalam bahasa isyarat. Secara umum bahasa isyarat finger spelling ini pada dasarnya sudah dapat digunakan untuk berkomunikasi namun dengan cara mengeja kata atau kalimat abjad demi abjad. Namun untuk percakapan yang cukup panjang menjadi tidak praktis.
Dalam ranah penelitian sistem pengenalan bahasa isyarat dengan menggunakan komputer, para peneliti mengelompokkan bahasa isyarat menjadi dua kelompok berdasarkan sifat masukan sistem, yaitu bahasa isyarat statis dan bahasa isyarat dinamis. Bahasa isyarat statis digunakan pada sistem pengenalan bahasa isyarat yang masukannya bersifat statis atau diam, yang berupa citra atau foto. Karena masukannya adalah citra atau foto bersifat statis maka, maka bahasa isyarat statis hanya dapat digunakan untuk mengenal isyarat abjad saja. Jadi untuk membentuk suatu kata atau kalimat masih belum bisa.
Sedangkan yang dimaksud dengan bahasa isyarat dinamis adalah sistem pengenal bahasa isyarat yang menggunakan masukan yang bersifat dinamis yang berupa gerakan gestur peraga bahasa isyarat dan umumnya dilakukan secara waktu nyata. Ada dua mode yang umum digunakan untuk menangkap gerakan gestur peraga bahasa isyarat, yaitu mode kontak dan mode non-kontak. Mode kontak artinya peraga isyarat harus mengenakan sensor-sensor tertentu di badan atau tangan mereka, seperti menggunakan glove, accelerometer, maupun sensor flex yang perubahan nilainya akan
ditangkap oleh penerima pada komputer untuk diproses lebih lanjut. Sedangkan mode non-kontak artinya peraga bahasa isyarat tidak perlu menggunakan sensor apapun, gerakan gestur dari peraga bahasa isyarat akan ditangkap melalui kamera. Mode non-kontak ini tentu saja lebih praktis, namun hasil pengenalannya masih belum sebaik mode non-kontak. Dalam komunitas peneliti bahasa isyarat, bahasa isyarat dinamis ini dikelompokkan lagi menjadi dua kelompok, pertama adalah bahasa isyarat finger spelling yang menggunakan kombinasi pose jari tangan untuk membentuk abjad-abjad yang dirangkai menjadi suatu kata atau kalimat. Sedangkan kelompok kedua adalah bahasa isyarat yang dibentuk dengan menggunakan gerakan dan pose gestur tangan serta didukung oleh gestur badan maupun muka peraga. [1]
Secara umum terdapat beberapa kendala pada penggunaan bahasa isyarat bagi orang normal, diantaranya karena tidak ada bahasa isyarat yang bersifat universal. Setiap negara menggunakan bahasa isyarat yang berbeda. Dalam membantu menemukan alat bantu komunikasi untuk penderita tuna-rungu dan tuna-wicara, banyak ahli yang sudah melakukan penelitian pada pengenalan berbagai bahasa isyarat, seperti bahasa isyarat untuk bahasa Pakistan [2], India [3], Inggris [4], Irlandia [5], Amerika Serikat [6] [7], Jepang [8],Taiwan [9], dan lainnya dalam rangka meningkatkan kualitas komunikasi antara penderita tuna-rungu dengan orang yang dapat mendengar. Perkembangan penelitian dalam bidang pengenalan bahasa isyarat masih jauh tertinggal dibandingkan dengan penelitian di bidang pengenalan lisan.
Bahasa isyarat disampaikan melalui interaksi dari berbagai saluran informasi, sehingga proses analisis bahasa isyarat jauh lebih kompleks dibanding proses analisis saluran audio satu dimensi pada bahasa lisan. Implementasi bahasa isyarat dengan menggunakan gestur tangan masih banyak menemukan permasalahan, karena pengenalan gestur masih merupakan masalah yang kompleks, dan secara alami terdapat banyak variasi pada kinerja gestur dari pengguna, seperti fitur fisik pengguna dan kondisi lingkungan. Lebih lanjut isyarat gestur tangan dapat diklasifikasi menjadi dua kategori, yaitu gestur tangan statis dan dinamis. Isyarat gestur tangan statis didefinisikan sebagai konfigurasi gestur tangan dan pose yang ditangkap dalam bentuk
citra diam (still image), sedangkan gestur tangan dinamis didefinisikan sebagai isyarat gestur tangan yang bergerak yang ditangkap sebagai runtun citra bergerak (video).
Bahasa isyarat dianggap sebagai bahasa yang paling terstruktur dari seluruh kategori gestur. Seperti halnya bahasa lisan, bahasa isyarat muncul dan berkembang secara alami di dalam komunitas penderita tuna-rungu. Di setiap komunitas penderita tuna-rungu berkembang bahasa isyaratnya sendiri. Bahasa isyarat berkembang secara tidak gayut dengan bahasa lisan di wilayah masing-masing. Setiap bahasa isyarat mempunyai aturan dan tata-bahasa masing-masing, dengan sifat umum yang dapat dirasakan secara visual [5]. Seperti halnya pada bahasa lisan, terdapat banyak bahasa isyarat yang berbeda di dunia.
Meskipun bahasa isyarat terutama dikomunikasikan dengan menggunakan gestur tangan secara manual, namun juga dapat digabungkan dengan isyarat non-manual yang disampaikan melalui ekspresi wajah, gerakan kepala, postur tubuh, dan gerakan tubuh. Jadi karena kompleksitas dan sifat alami multimodal pada bahasa isyarat, maka area pengenalan bahasa isyarat membutuhkan penelitian multidisiplin yang mencakup disiplin pengenalan pola, machine learning, computer vision, serta pengolahan bahasa alami dan linguistik [10].
Perbedaan antar individu saat menggunakan gestur dan atribut fisik masing-masing individu dapat berpengaruh pada pengenalan bahasa isyarat. Namun hal ini dapat diatasi dengan menyesuaikan sistem pengenalan untuk pengguna individual (sistem yang bergantung pada pengguna), atau dengan menggunakan contoh berbagai gestur dari subyek yang berbeda untuk mendapatkan sistem yang tidak bergantung pada pengguna. Sedangkan variasi kondisi lingkungan dapat diatasi dengan membuat sistem yang dapat dikonfigurasi untuk menyesuaikan dengan lingkungan yang berbeda.
Penelitian tentang bahasa isyarat finger spelling telah dilakukan oleh [11] dengan menggunakan sensor Glove. Bendary [12] melakukan penelitian tentang penterjemah bahasa isyarat abjad Arab dengan masukan video bahasa isyarat finger spelling. Video masukan menampilkan obyek tangan yang memperagakan bahasa isyarat finger spelling. Penelitian yang lain dilakukan oleh [13] yang meneliti pengenalan bahasa isyarat finger spelling untuk bahasa India. Bahasa isyarat diperagakan dengan menggunakan dua tangan. Pengenalan bahasa isyarat finger
spelling untuk abjad Inggris telah dilakukan oleh [14] dengan menggunakan sensor glove yang dilengkapi dengan 20 sensor. Dari hasil pengujian sistem yang dibuat dapat mengenali isyarat abjad dengan ketelitian mencapai 94 %.
Penelitian tentang pengenalan bahasa isyarat Indonesia telah dilakukan oleh [15]. Penelitian ini mencoba membuat penerjemah isyarat bahasa Indonesia statis. Salah satu masalah yang dihadapi dalam penelitian sistem pengenalan bahasa isyarat kontinu, adalah penanganan proses perpindahan dari isyarat satu ke isyarat berikutnya. Gerakan tangan dari akhir isyarat pertama sampai ke awal isyarat berikutnya disebut dengan movement epenthesis (ME) [16]. Bagian ini tidak berhubungan dengan isyarat apapun, dan dapat meliputi perubahan bentuk tangan, gerakan tangan dan dapat mencapai sepanjang frame isyarat itu sendiri. Oleh karena itu sistem pengenalan isyarat otomatis harus mempunyai suatu cara untuk dapat mengabaikan atau mengidentifikasi dan menghilangkan bagian tersebut sebelum melakukan proses penerjemahan isyarat yang sesungguhnya.
Penelitian lain oleh [17] dengan menggunakan sarung tangan yang dilengkapi dengan sensor flex untuk mengukur tekukan jari dan accelerometer untuk mengukur gerakan sumbu x, y, z. Penelitian ini digunakan untuk menerjemahkan kata isyarat bahasa Indonesia. Sebenarnya yang diperlukan masyarakat adalah suatu sistem penerjemah bahasa isyarat Indonesia yang sederhana, mudah digunakan, murah dan ramah pengguna. Antarmuka pengguna yang alami yang tidak perlu harus harus memakai peralatan bantu seperti sarung tangan maupun sensor atau piranti yang harus ditempelkan pada tangan pengguna akan menentukan seberapa tinggi tingkat usabilitasnya.
Dari pembahasan di atas khususnya untuk pengenalan bahasa isyarat finger spelling umumnya masih menggunakan piranti sensor (glove, accelerometer, flex) yang harus dikenakan oleh peraga isyarat agar dapat dikenali oleh sistem. Salah satu pertimbangan penggunaan piranti sensor yang harus dikenakan oleh peraga isyarat adalah waktu proses pengenalan yang cepat dan tingkat akurasi pengenalan tinggi, sehingga dapat digunakan secara waktu nyata. Namun penggunaan piranti sensor ini menjadi kurang praktis untuk diimplementasikan pada praktek meskipun mempunyai ketelitian pengenalan yang tinggi. Hal ini karena selain harus menyediakan sensor yang
harus dikenakan oleh peraga isyarat juga komputer harus dilengkapi dengan pendeteksi/pembaca data yang dihasilkan oleh sensor tersebut.
Dalam rangka mengatasi ketidakpraktisan penggunaan piranti sensor yang harus dikenakan oleh peraga isyarat, beberapa penelitian sudah mulai mengarah pada penggunaan kamera sebagai sensor untuk menangkap bahasa isyarat yang diperagakan. Hal ini karena peraga isyarat tidak perlu menggunakan piranti sensor tertentu, dan untuk saat ini semua laptop sudah dilengkapi dengan kamera, ataupun jika belum maka dapat menggunakan kamera web yang sangat mudah di dapat dan harganya relatif murah. Lebih lanjut tren perkembangan komputer mengarah pada piranti mobile, baik yang berupa telepon pintar maupun tab dengan perangkat keras yang sudah menyamai perangkat komputer desktop maupun laptop serta sudah dilengkapi dengan kamera.
Beberapa penelitian tentang sistem pengenalan bahasa isyarat yang sudah bersifat non-kontak yaitu yang menggunakan kamera, sebagian masih menggunakan masukan citra (bersifat statis) sehingga belum bisa digunakan untuk melakukan penterjemahan secara waktu nyata. Sedangkan pada sistem pengenalan yang bersifat dinamis sebagian masih menggunakan masukan video (offline) atau masih membatasi tangkapan kamera hanya pada area tangan saja. Hal ini akan menjadi suatu batasan dalam pemakaian dalam praktek secara waktu nyata. Masalah lain pada penggunaan kamera sebagai sensor masukan isyarat tangan peraga, adalah karena waktu komputasi yang cukup lama, sehingga umumnya proses dilakukan secara off-line yaitu dengan menggunakan masukan berupa citra (statis) maupun video.
1.2 Perumusan Masalah
Berdasarkan latar belakang permasalahan di atas maka dapat dirangkum perumusan masalahnya sebagai berikut.
1. Bahasa isyarat khususnya isyarat finger spelling merupakan bagian dari bahasa isyarat dinamis yang dikomunikasikan dengan menggunakan gestur tangan isyarat manual. Namun sampai saat ini masih umumnya masih menjadi kesulitan bagi orang normal untuk mempelajarinya, sehingga penderita tuna rungu dan/atau tuna wicara sering menghadapi kesulitan ketika akan berkomunikasi dengan menggunakan isyarat finger spelling dengan orang normal atau sebaliknya.
2. Pengenalan isyarat gestur tangan dinamis masih menjadi salah satu topik penelitian sampai saat ini, umumnya masih menggunakan piranti yang harus dipakai sehingga kurang praktis. Sedangkan yang sudah menggunakan model non-kontak seperti kamera sebagian besar masih belum dapat digunakan secara waktu nyata sebagai sistem penterjemah bahasa isyarat finger spelling saat berkomunikasi dengan komunitas tuna rungu dan tuna wicara.
3. Masih belum ada sistem penerjemah bahasa isyarat khususnya bahasa isyarat abjad finger spelling berbasis non-kontak yang dapat digunakan secara waktu nyata (real time).
1.3 Tujuan Penelitian
Penelitian ini bertujuan untuk mempelajari dan merancang metode pengenalan bahasa isyarat abjad finger spelling yang dapat menerjemahkan bahasa isyarat yang diperagakan melalui gestur tangan dan mengimplementasikan dalam bentuk prototipe aplikasi.
I.4 Keaslian penelitian
Bahasa isyarat merupakan salah satu media komunikasi yang kompleks yang muncul dan berkembang secara alami pada komunitas penderita tuna-rungu. Bahasa isyarat mempunyai variasi yang sangat besar, karena setiap komunitas akan mengembangkan bahasa isyaratnya sendiri. Meskipun bahasa isyarat utamanya dikomunikasikan dengan menggunakan gestur tangan secara manual, namun juga didukung dengan penggunaan isyarat non-manual melalui gerakan tubuh, ekspresi wajah, gerakan kepala dan lain sebagainya.
Penggunaan komputer sebagai alat bantu untuk pengenalan bahasa isyarat sudah cukup lama diteliti dan dikembangkan oleh para ahli di bidang interaksi manusia dan komputer. Kompleksitas dan penggunaan multi modal dalam komunikasi bahasa isyarat menuntut dukungan penelitian multidisiplin dari berbagai area disiplin ilmu, seperti semantik, pengolahan bahasa alami dan linguistik, pengolahan citra, pengenalan pola, machine learning, computer vision, teknologi sensor, dan disiplin ilmu yang lain. Secara sederhana lingkup penelitian di bidang pengenalan bahasa isyarat dapat digambarkan dalam bentuk diagram tulang ikan
(fish bone diagram) seperti yang diperlihatkan pada Gambar 1.1. Beberapa penelitian sudah mulai mengeksplorasi berbagai metode dan algoritme yang terkait dengan proses pengenalan pengenalan bahasa isyarat seperti yang akan dijelaskan berikut ini. Pengenalan Bahasa Isyarat Variasi Bahasa Isyarat Komponen Bahasa Isyarat Pengenalan Gestur Tangan Dukungan Teknologi
Variasi Tiap Daerah/Negara Komponen Manual
Komponen Non Manual
Teknologi Berbasis Kontak
Teknologi Berbasis Visi
Statik/ Dinamik
Deteksi kontur Ekstraksi Fitur & Klasifikasi
[11][13][14][15]]16][17][18][19] [21][22][23] [12][24][25] [7][19] [26][27] [28][29] [1][2][3][7][8][10][11][12][29] [31][32][33][34][35][36]
Gambar 1.1 Fish bone diagram lingkup permasalahan pengenalan bahasa isyarat.
Langkah awal dalam pengenalan bahasa isyarat adalah bagaimana dapat melakukan pengenalan gestur tangan. Sudah banyak penelitian yang dilakukan dalam proses pengenalan gestur tangan dan pada awalnya digunakan sebagai antarmuka untuk mengoperasikan sistem khususnya komputer, sebagai pengganti piranti antarmuka tradisional seperti mouse. Lebih lanjut penelitian tentang pengenalan gestur tangan dikembangkan agar dapat digunakan untuk mengenali bahasa isyarat yang diperagakan dengan menggunakang gestur tangan. Tahap pengenalan gestur diawali dengan deteksi kontur yang dilanjutkan dengan proses ekstraksi fitur gestur tangan agar selanjutnya dapat dilakukan proses klasifikasi.
Beberapa penelitian tentang pengenalan gestur tangan yang digunakan sebagai antarmuka pengguna dengan sistem telah dilakukan oleh Sanches [18] dengan menggunakan pendekatan segmentasi cepat dan penggunaan pendekatan jarak Housdorff sebagai dasar dari proses pengenalan pose gestur tangan. Penelitian ini mampu mengenali gestur tangan pengguna sampai 84%. Penelitian yang lain dilakukan oleh Hyosun [19] dengan menggunakan tapis Kalman. Yang [16]
melakukan penelitian tentang pengenalan gestur tangan dengan menggunakan Hiden Markov Model (HMM). Wachs [20] juga melakukan penelitian tentang sistem berbasis visi, yang dapat memanipulasi obyek data medis dengan menggunakan gestur tangan. Penelitian sejenis yang membahas tentang pengenalan gestur tangan diantaranya adalah [21] yang membuat simulasi gerakan tangan, [22] mengembangkan pengenalan gestur tangan dengan algoritme fitur Haar like dan AdaBoost, [23] melakukan pengenalan gestur tangan dengan detektor Viola-Jones yang digabungkan dengan metoda RAMOSAC, [24] melakukan pengenalan gestur tangan untuk menggantikan mouse dengan algoritme SHIFT. Penelitian-penelitian tersebut sudah mampu mengenali gestur tangan dengan cukup baik dengan rentang pengenalan antara 80 % sampai 97 % , namun beberapa penilitian masih menggunakan penanda (marker) pada ujung tangan untuk lebih memudahkan proses pengenalan.
Area penelitan berikutnya dapat dikelompokkan berdasarkan dukungan teknologi yang digunakan. Dalam hal ini dapat dibagi menjadi dua kelompok besar, yaitu kelompok pertama adalah pengenalan bahasa isyarat yang menggunakan dukungan teknologi berbasis kontak dan kelompok kedua adalah yang menggunakan dukungan teknologi berbasis visi. Pada kelompok pertama proses pengenalan didukung oleh penggunaan sensor-sensor atau piranti yang harus dipasang pada tangan atau bagaian tubuh yang lain. Piranti sensor yang sering digunakan pada penelitian ini mempunyai banyak variasi piranti, diantaranya adalah accelerometer, sarung tangan (glove), layar sentuh, sensor flex, dan lain sebagainya.
Khan [25] menggunakan sensor gloves untuk mengenali gestur tangan dari peraga bahasa isyarat. Sensor glove digunakan untuk menangkap isyarat gestur tangan peraga dan nilai-nilai yang dihasilkan oleh sensor glove akan dicatat untuk selanjutnya digunakan pada proses klasifikasi dan pengenalan 24 abjad bahasa Inggris. Supriyati [17] telah mengembangkan sistem bahasa isyarat Indonesia dengan menggunakan sarung tangan bersensor. Sensor yang digunakan berupa sensor flex untuk mengukur tekukan jari dan accelerometer untuk mengukur gerakan pada sumbu x, y, dan z. Linsie [26] mengembangkan model prototype yang dapat mengenal gestur tangan dengan menggunakan accelerometer MEMS yang mampu
mengenal sampai delapan gestur tangan. Gerakan gestur tangan akan dikenali dengan membandingkan nilai percepatan gerakan tangan yang diperoleh dengan nilai yang sudah tersimpan dalam basis data. Penggunaan sensor yang harus dikenakan pengguna ini mampu meningkatkan pengenalan hingga lebih dari 90 %.
Penggunaan sensor gloves mampu meningkatkan pengenalan, namun kurang praktis dalam penerapannya, karena pengguna harus mengenakan sarung tangan yang berisi beberapa sensor. Oleh karena itu dikembangkan penelitian tentang pengenalan gestur tangan berbasis visi atau non-kontak (contactless), yang dalam hal ini umumnya menggunakan kamera untuk menangkap gerakan gestur tangan peraga bahasa isyarat. Gerakan gestur tangan peraga bahasa isyarat akan ditangkap oleh kamera menjadi runtun citra untuk selanjutnya diproses dengan menggunakan algoritme pengenalan agar dapat dikenali. Persson [23] menggunakan detektor Viola-Jones untuk mencari dan melacak gerakan tangan. Data runtun waktu dari citra lintasan tangan dialihragamkan ke ruang sudut yang akan menghasilkan skala dan translasi yang tidak berubah. Runtun ini selanjutnya digunakan untuk mengklasifikasi gestur kedalam seperangkat template. Hasil penelitian menunjukkan bahwa sistem dapat bekerja dengan baik namun masih terbatas pada mode pencahayaan dan lingkungan tempat algoritme dilatihkan. Tanibata [8] mengajukan sebuah metode untuk mendapatkan fitur tangan dari sederetan citra orang yang sedang berkomunikasi dengan bahasa isyarat Jepang dengan latar belakang yang kompleks. Untuk setiap gambar akan dilakukan pelacakan wajah yang dilanjutkan dengan tangan dengan menggunakan warna kulit yang telah ditentukan dan pelacakan siku dengan cara mencocokkan dengan cetakan bentuk siku. Fitur tangan seperti arah tangan, jumlah jari, dan seterusnya diekstrak dari area tangan dan siku. Untuk dapat mengenal kata isyarat bahasa Jepang digunakan runtun fitur tangan sebagai masukan ke HMM. Hasil penelitian menunjukkan bahwa sistem yang dibangun dapat mengenal 65 bahasa isyarat Jepang dengan baik. Namun penelitian ini masih bersifat off-line yaitu masih menggunakan data runtun citra gerakan peraga isyarat, sehingga tidak ada batasan waktu komputasi atau belum dapat digunakan secara waktu nyata (real time).
Dalam lingkup komputasi istilah komputasi waktu nyata (real-time computing (RTC)) dapat digambarkan sebagai suatu perangkat keras dan perangkat lunak sistem yang tunduk pada kekangan waktu nyata, misalnya tenggat waktu operasional dari event terhadap tanggapan sistem. Program waktu nyata harus menjamin dapat memberi tanggapan di dalam batasan waktu yang telah ditentukan, atau yang sering disebut sebagai tenggat waktu (deadlines) [27]. Tanggapan waktu nyata sering dinyatakan dalam mili detik atau mikro detik. Suatu sistem waktu nyata juga dapat digambarkan sebagai kontrol atas suatu lingkungan dengan menerima data, mengolahnya, dan mengembalikan hasilnya dengan cukup cepat untuk mempengatur kondisi lingkungan saat itu [28]. Istilah waktu nyata juga digunakan dalam simulasi dengan kondisi clock simulasi mempunyai kecepatan sama dengan clock sesungguhnya, dan di dalam kendali proses dan sistem interprise dapat diartikan sebagai “tanpa tunda waktu yang berarti”.
Ditinjau dari struktur komponen penyusun bahasa isyarat secara umum dapat dikelompokkan menjadi dua yaitu komponen manual dan komponen non manual. Komponen manual adalah komponen penyusun bahasa isyarat dengan menggunakan gestur tangan sebagai media komunikasi utama yang mencakup konfigurasi tangan, tempat artikulasi, gerakan tangan, dan orientasi tangan. Sedangkan komponen non manual menggunakan media selain gestur tangan untuk berkomunikasi. Komponen ini meliputi ekspresi wajah, pandangan mata, posisi dan orientasi kepala, dan postur badan. Komponen non manual ini juga sering digunakan bersama dengan dengan komponen manual untuk memberi penekanan informasi yang disampaikan.
Trmal [29] melakukan penelitian untuk membuat suatu sistem ekstraksi fitur visual (Visual Feature Extraction (VFE)) untuk pengenalan bahasa isyarat. Penelitian ini fokus pada komponen manual dari bahasa isyarat, yaitu pada bentuk tangan, posisi, dan orientasinya. Penelitian yang lain dilakukan oleh Zaki [30] yang menggunakan keempat komponen manual dari bahasa isyarat. Penelitian ini menggabungkan tiga fitur yang berbasis visi untuk meningkatkan kinerja pengenalan. Dua fitur yang digunakan adalah posisi kurtosis dan PCA untuk mengukur konfigurasi dan orientasi tangan. Sedangkan fitur ketiga adalah motion chain code yang mewakili gerakan tangan. Penelitian ini berhasil membuat sistem
pengenalan Bahasa isyarat yang terdiri atas empat modul untuk deteksi tangan, pelacakan gerak tangan, ekstraksi fitur dan pengklasifikasi HMM. Penelitian ini sudah mampu mengenali bahasa isyarat sampai 88%, namun masih ada beberapa kelemahan diantaranya yaitu masih belum bisa sepenuhnya memisahkan antara tangan dengan wajah, dan belum bisa sepenuhnya mengenali bahasa isyarat secara kontinyu.
Dalam pengenalan bahasa isyarat dapat dikelompokkan dalam dua kategori, yaitu bahasa isyarat statis dan dinamis [1].
- Bahasa isyarat statis yaitu bahasa isyarat yang tidak memerlukan gerakan tangan untuk memperagakannya, dalam hal ini adalah abjad latin dari kecuali huruf ‘J’ dan ‘Z’ karena dalam peragaannya mengandung gerakan tangan.
- Bahasa isyarat dinamis, berbeda dengan isyarat statis yang dalam peragaannya membutuhkan gerakan tangan, jari atau keduanya. Dalam perkembangannya kelompok Bahasa isyarat dinamis dapat dibagi lagi menjadi dua subkategori, yaitu:
o Tipe I. Isyarat ini terdiri dari suatu runtun isyarat statis dengan beberapa gerakan transisi antar setiap isyarat. Gerakan yang ada pada isyarat ini tidak mempunyai makna tertentu melainkan hanyalah transisi atara isyarat satu dengan isyarat berikutnya. Kategori ini dikenal dengan finger spelling word. o Tipe II. Kriteria selain yang disebutkan di atas masuk dalam kategori ini. Isyarat ini dapat mewakili suatu abjad, seperti ‘J’ dan ‘Z’ atau membentuk suatu kata atau kalimat, seperti ‘matahari’, atau ‘selamat datang’.
Penelitian tentang pengenalan gestur tangan statis untuk mengenal abjad dalam ASL dilakukan oleh Rahman [31]. Pengenalan dilakukan dengan menggunakan jaringan syaraf tiruan back propagation. Sementara itu Sanjaya [32] telah melakukan penelitian tentang sistem pengenalan bahasa isyarat Filipina untuk angka. Bahasa isyarat diperagakan dengan menggunakan glove dengan warna tersandi. Proses pengenalan dilakukan dengan menggunakan algoritme HMM.
Untuk sistem pengenalan bahasa isyarat yang dinamis memang masih banyak kendala masih harus diatasi, namun sudah terdapat beberapa peneliti yang mencoba untuk mencari pemecahannya. Yang [33] dan kawan-kawan telah mengembangkan
algoritme enhanced Level Building (eLB) yang digunakan untuk mengatasi masalah ME pada pengenalan bahasa isyarat. Yang [34] kembali melakukan penelitian tentang penanganan ambiguitas ME dan segmentasi tangan dalam pengenalan bahasa isyarat kontinyu dengan menggunakan pemrograman dinamis. Iqbal [35] juga melakukan penelitian tentang ekstraksi ciri pada pengenalan sistem isyarat bahasa Indonesia dinamis berbasis sensor flex dan accelerometer. Dalam penelitian ini dikembangkan 5 jenis ekstraksi ciri, yang menggunakan pendekatan statistik, kuantisasi atau kombinasi keduanya. Hasil pengujian menunjukkan akurasi tertinggi mencapai 99,6 %.
Dari beberapa penelitian yang telah di jelaskan di atas, secara umum terdapat beberapa hal yang masih dapat dioptimalkan atau dilakukan.
1. Ditinjau dari sisi dukungan teknologi, sebagian besar penelitian masih menggunakan piranti sensor yang harus dipakai oleh pengguna. Penggunaan sensor ini memungkinkan tingkat pengenalan yang tinggi dan sebagian sudah dapat digunakan secara waktu nyata. Namun hal ini akan menurunkan tingkat kepraktisan sistem saat akan digunakan karena peraga isyarat harus lebih dulu mengenakan sensor-sensor yang diperlukan untuk pengenalan isyarat. Sedangkan penelitian yang sudah berbasis non-kontak, yaitu yang menggunakan kamera untuk mengambil data isyarat gestur tangan peraga isyarat sebagian besar masih menggunaan masukan data statis atau belum dapat digunakan secara waktu nyata.
2. Belum ada yang mengembangkan sistem pengenalan isyarat abjad finger spelling berbasis visi. Yaitu sistem pengenalan isyarat abjad finger spelling yang dapat mengeja isyarat abjad sehingga membentuk suatu kata atau kalimat, tanpa harus menggunakan sensor yang dipasang pada tangan atau bagian badan dan dengan algoritme sederhana sehingga dapat digunakan secara waktu nyata. 3. Penggunaan kamera web biasa yang berharga murah dan mudah diperoleh yang
memungkinkan untuk dapat digunakan secara luas oleh masyarakat. Lebih lanjut untuk saat ini semua Laptop atau Notebook sudah dilengkapi dengan kamera visual, sehingga tidak perlu menambah kamera web lagi jika akan digunakan untuk menjalankan sistem pengenalan.
Penelitian ini akan mengembangkan suatu sistem pengenalan isyarat abjad finger spelling dengan menggunakan kamera web yang umum dan dapat digunakan secara waktu nyata (real time). Perbedaan dengan penelitian yang sudah ada dapat dibagi menjadi dua. Pertama, dari pendekatan dan algoritme yang digunakan yaitu algoritme pengenalan yang sederhana sehingga mempunyai kecepatan komputasi yang tinggi agar dapat dijalankan secara waktu nyata. Yang kedua kedua adalah penggunaan kamera web biasa yang nantinya akan dapat digunakan untuk menangkap gerakan pose gestur tangan peraga isyarat secara waktu nyata..
Berdasarkan pada pendekatan dan algoritme yang digunakan untuk pengenalan bahasa isyarat Indonesia, secara umum dapat dibagi dalam dua tahap. Tahap pertama adalah proses pengenalan pose gestur tangan, dan tahap berikutnya adalah proses identifikasi dan pengenalan terhadap perpindahan dari satu pose gestur ke pose yang lain. Tahap pengenalan pose gestur tangan diawali dengan proses identifikasi gestur tangan dan pemisahan dengan citra latar belakang termasuk badan dan kepala dari pengguna (peraga bahasa isyarat). Pada penelitian ini proses segmentasi dan pemisahan citra gestur tangan dengan latar belakang menggunakan algoritme deteksi warna kulit (skin detection) dan Convexity Defect. Pada tahap ini sistem sudah dapat mengikuti gerakan gestur tangan peraga isyarat, untuk selanjutnya hanya bagian gestur tangan saja yang akan diambil dan disimpan dalam buffer untuk digunakan dalam proses pengenalan pose gestur tangan.
Tahap berikutnya adalah untuk mengidentifikasi pose gestur isyarat tangan untuk diklasifikasi sesuai dengan pola abjad yang sudah tersimpan dalam basis data. Setelah berhasil dikenali, maka berikutnya adalah mengidentifikasi isyarat gestur tangan berikutnya. Seperti diketahui untuk bahasa isyarat finger spelling dalam membentuk suatu kata atau kalimat memerlukan lebih dari satu pose gestur tangan yang berarti ada beberapa frame yang berisi citra transisi perpindahan pose gestur tangan. Permasalahan yang muncul pada pengenalan bahasa isyarat dinamis adalah bahwa beberapa frame proses transisi perpindahan pose gestur ini tidak perlu (bukan merupakan bagian dari isyarat), sehingga perlu dieliminasi atau dihilangkan. Namun pada pengenalan isyarat finger spelling, masalah ini tidak menjadi kendala. Karena isyarat abjad sudah tertentu dan disimpan dalam basis data, jadi pada saat transisi
jika tidak dikenali sebagai salah satu abjad yang disimpan dalam basis data tidak akan dianggap sebagai abjad.
1.5 Batasan Penelitian
Karena luasnya cakupan dalam sistem pengenalan bahasa isyarat dan besarnya jumlah isyarat yang digunakan dalam bahasa isyarat, maka pada penelitian ini permasalahan dibatasi pada:
1) Menggunakan kamera web biasa
2) Cakupan pengenalan isyarat adalah untuk abjad, dan finger spelling untuk pengejaan kata atau kalimat dalam bahasa Indonesia secara dinamis atau waktu nyata (real time).
