Pendekatan Polinomial dan
Zero Crossing
Untuk
Parsing
Kata Bahasa Isyarat Indonesia Pada Data
Rekaman
Finger Motion Capture
Widda Ayui Silma
‡, I Ketut Eddy Purnama
‡‡, Ahmad Zaini
‡‡‡Ringkasan—Komunikasi antara penderita tuna rungu di-lakukan dengan menggunakan bahasa isyarat. Akan tetapi bahasa isyarat masih belum dimengerti oleh masyarakat pa-da umumnya, sehingga dibutuhkan sarana penerjemah untuk komunikasi antara penderita tuna rungu dengan masyarakat awam. Seiring dengan kemajuan teknologi, telah dilakukan penelitian dalam rangka untuk menghasilkan perangkat untuk menerjemahkan bahasa isyarat ke dalam tulisan dan atau suara. Di Bidang studi Teknik Komputer dan Telematika Jurusan Teknik Elektro dilakukan penelitian tentang sistem penerjemah
bahasa isyarat berbasis sensor, Voice for Voiceless (V4V). Salah
satu bagian dari penelitian tersebut yang dijadikan topik dalam tugas akhir ini adalah parsing data isyarat yang direkam dari
finger motion captureke dalam bentuk kata.
Pada tugas akhir ini digunakan metode regresi polinomial
un-tuk mendeteksizero crossingyang digunakan sebagai titik acuan
untuk parsing kata. Data yang digunakan terdiri dari enam macam gabungan isyarat kata dengan jumlah data sebanyak sepuluh data setiap macamnya. Pencocokan kata dilakukan
dengansofware SIBI yang menggunakan metodeDynamic Time
Warping (DTW) dengan sepuluh data template untuk setiap kata. Hasil akurasi yang dicapai untuk percobaan dengan data gabungan yang terdiri dari dua kata adalah 100%. Sedangkan untuk yang terdiri dari tiga kata akurasi yang dicapai adalah 100% untuk gabungan kata dengan gerakan isyarat yang sangat berbeda, 93.33% untuk gabungan kata yang memiliki kemiripan gerak jari tangan, dan akurasi 86.67% untuk gabungan kata den-gan kemiripan gerakan posisi tanden-gan. Tingkat akurasi semakin menurun pada gabungan isyarat kata yang memiliki kemiripan gerak, baik gerakan jari tangan ataupun posisi tangan.
Kata Kunci—finger motion capture, polinomial, regresi, zero crossing
I. PENDAHULUAN
B
AHASA isyarat adalah bahasa yang mengutamakan ko-munikasi visual, bahasa tubuh, dan gerak bibir, bukannya suara, untuk berkomunikasi. Di Jurusan Teknik Elektro ITS khususnya bidang studi Teknik Komputer dan Telematika sedang dilakukan pengembangkan suatu sistem penerjemah bahasa isyarat V4V (Voice for Voiceless). Pada penelitian ini sedang dikembangkan sebuah perangkat yang berbasis sensor ataufinger motion capture.Perangkat ini berupa sarung tangan yang dilengkapi dengan sensorflex dan sensoraccelerometer.‡2207100096, Jurusan Teknik Elektro ITS Surabaya
(ayuisilma@hotmail.com)
‡‡Dosen Pembimbing, Jurusan Teknik Elektro ITS Surabaya
(ke-tut@ee.its.ac.id)
‡‡‡Dosen Pembimbing, Jurusan Teknik Elektro ITS Surabaya
(zhain2001@yahoo.com)
Finger motion capture berhasil dibuat untuk merekam ger-akan tangan dan mendeteksi kata dalam bahasa isyarat den-gan menggunakan metode Dynamic Time Wrapping (DTW). Sedangkan untuk mendeteksi gabungan kata masih dalam proses awal penelitian sehingga belum diketahui metode yang tepat untuk menerapkan teknologi parsing dan penerjemah kalimat.
Pada tugas akhir ini dilakukan parsing kata dari data gabungan isyarat. Data gabungan isyarat kata yang digunakan adalah hasil rekaman gerakan isyarat tangan olehfinger motion capture. Metode yang digunakan adalah regresi polinomial dan deteksi zero crossing.
II. DASARTEORI
A. Sistem Isyarat Bahasa Indonesia[1]
Sistem Isyarat Bahasa Indonesia (SIBI) yang dibakukan itu merupakan salah satu media yang membantu komunikasi sesama kaum tunarungu di dalam masyarakat yang lebih luas. Wujudnya adalah tataan yang sistematis tentang seperangkat isyarat jari, tangan dan berbagai gerak yang melambangkan kosa kata bahasa indonesia. Dalam sistem isyarat ini terdapat dua jenis komponen. Yang satu berfungsi sebagai penentu atau pembeda makna, sedangkan yang lain berfungsi sebagai penunjang. Komponen penentu makna misalnya penampil, posisi, tempat, arah dan frekuensi. Komponen penunjang misalnya mimik muka, gerak tubuh, dan kecepatan gerak.
B. Sensor
1) SensorFlex: Sensorflexadalah sensor yang memi-liki perubahan resistansi yang bergantung pada ukuran ke-lengkungan senor. Jika sensor ini semakin dilengkungkan ma-ka semakin besar pula nilai resistansinya. Sensorflexmemiliki output berupa resistansi. Output resistansi ini akan diberikan tegangan yang nantinya akan dibaca oleh mikrokontroler.
2) Sensor Accelerometer: Accelerometer adalah alat yang digunakan untuk mengukur percepatan, mendeteksi dan mengukur getaran (vibrasi), dan mengukur percepatan aki-bat gravitasi (inklinasi). Sensoraccelerometer mengukur per-cepatan akibat gerakan benda yang melekat padanya.
C. Least Squares Polynomial Regression
Regresi polinomial merupakan suatu metode yang digunakan untuk mencari nilai-nilai koefisien
B0, B1, B2, B3, B4, . . . , BM pada persamaan pendekatan kurva regresi dalam regresi polinomial. Sebagaimana dalam metode regresi linier sederhana, kurva tersebut digunakan untuk menggambarkan hubungan/korelasi anara sejumlah pasangan data X dan Y. Jika N menyatakan cacah pasangan data yang akan dihitung nilai koefisien-koefisien regresinya, maka persamaan regresi polinomial dinotasikan sebagai persamaan berikut ini:
y=B0x0+B1x1+B2x2+B3x3+. . .+BMxM (1) keterangan:
M : menunjukkan orde persamaan regresi polinomial pada kurva regresi
x0: 1
Secara garis besar prosedur penyelesaian untuk mencari keofisien-koefisien regresi dalam polinomial dapat dituliskan dalam bentuk algoritma berikut:
1) dimasukkan cacah pasangan data (=N), dan setiap pasan-gan data x dan y
2) ditentukan orde persamaan regresi polinomial (=M) 3) ditentukan persamaan-persamaan regresinya
y0=B0x00+B1x10+B2x20+B3x30+. . .+BMxM0 y1=B0x01+B1x11+B2x21+B3x31+. . .+BMxM1 y0=B0x02+B1x12+B2x22+B3x32+. . .+BMxM2 .. . yN =B0x0N +B1x1N+B2x2N+B3x3N +. . .+BMxMN (2) 4) dirubah persamaan-persamaan tersebut ke dalam notasi
perkalian matriks sebagai berikut:
y0 y1 y2 .. . yN = 1 x1 0 x20 · · · xM0 1 x1 1 x21 · · · xM1 1 x1 2 x22 · · · xM2 .. . ... ... . .. ... 1 x1 N x2N · · · xMN B0 B1 B2 .. . BN (3) 5) matriks pada langkah-4 dapat dituliskan dalam notasi
sebagai berikut:
y=xB (4)
masing-masing ruas dikalikan dengan x−1(kebalikan atau invers matriks x), sehingga diperoleh hasil sebagai berikut:
B =x−1y (5)
6) invers martiks xdihitung
7) Setelah x−1ditemukan hasilnya dikalikan dengan ma-triksy
8) Hasil yang diperoleh merupakan nilai-nilai koefisien persamaan regresi yang dicari, yaitu: B0, B1, B2, B3, B4, . . . , BM
D. Zero Crossing[5]
Zero crossing adalah istilah yang umum digunakan dalam elektronika, matematika, pengolahan sinyal dan gambar. Dalam istilah matematika, sebuah zero crossing adalah titik
dimana terdapat tanda tanda perubahan fungsi (misalnya dari positif ke negatif), diwakili oleh suatu persimpangan dari sumbu (nilai nol) pada grafik fungsi.
E. Sign Function[6]
Sign functionatau fungsi sign merupakan fungsi yang berguna untuk menentukan simbol dari suatu bilangan. Fungsi ini disebut juga dengan nama fungsi signum. Fungsi signum dari bilangan real xdidefinisikan sebagai persamaan 6.
sgn(x) = −1 if x <0, 0 if x= 0, 1 if x >0. (6)
III. DESAINSISTEM
Desain sistem digambarkan dalam blok diagram, seperti pada gambar 1. Secara garis besar tugas akhir ini dibagi menjadi enam tahap, antara lain:
Gambar 1: Blok diagram sistem
Tahap pertama adalah pengambilan data kalimat dengan perangkat finger motion capture. Perangkat tersebut berupa sarung tangan yang dilengkapi lima buah sensor flex dan sebuah sensoraccelerometer.
Tahap kedua adalah klasifikasi data kalimat yang diperoleh dipisah berdasarkan jenis sensor, yakni sensor flex dan ac-celerometermenjadi data sensor.
Tahap ketiga adalah mencari rata-rata dari data sensor. Pada tahap ini dilakukan pencarian nilai rata-rata dari nilai lima sensorflex dan tiga nilai sensor accelerometer.
Tahap keempat adalah mengkonstruksi nilai rata rata yang diperoleh menjadi sebuah kurva atau yang lebih dikenal den-gan nama curve fitting. Pada tahap ini digunakan metode regresi polinomial.
Tahap kelima adalah pencarian zero crossing yang digu-nakan untuk memecah data.
Tahap terakhir adalah parsing data kalimat. Parsing data tersebut dilakukan berdasarkan nilai indekszero crossingyang diperoleh pada tahap sebelumnya.
IV. IMPLEMENTASISISTEM DANEKSPERIMEN
A. Pengambilan Data Kalimat
Data yang digunakan pada penelitian tugas akhir ini adalah data yang diperoleh dari perangkat penerjemah bahasa isyarat berbasis sensor, finger motion capture. Perangkat ini (Gambar 2) berupa sarung tangan yang dilengkapi dengan lima buah sensorflexuntuk mengukur pergerakan kelima jari tangan serta sensoraccelerometeruntuk mengukur posisi tangan. Se-lain perangkat tersebut, diperlukan pula sebuahsoftwareyang disebut SIBI.SoftwareSIBI dan perangkat penerjemah bahasa isyarat berbasis sensor ini merupakan hasil dari penelitian sebelumnya di bidang studi Teknik Komputer dan Telematika Teknik Elektro ITS. Data isyarat tugas akhir ini direkam melalui SIBI. Data yang dihasilkan berupa file dengan ekstensi .ibi yang berisi nilai nilai dari sensor pada sarung tangan. Data inilah yang selanjutnya disebut dengan data gabungan kata atau kalimat. Contoh bagian hasil perakaman ‘adik saya’ terdapat pada Tabel I.
Gambar 2: Perangkatfinger motion capture
Kolom [c1. . . c5] adalah data dari sensor flex untuk lekukan jari jempol sampai dengan jari kelingking, sedangkan [c6..c9] adalah data dari sensor accelerometer untuk sumbu X, Y, Z dan referensi. Baris [r1...r26] menunjukkan urutan data diambil/disimpan, yaitu dari awal gerakan isyarat satu kata sampai dengan selesai gerakan isyarat kata tersebut.
B. Klasifikasi Data Sensor Flex dan Accelerometer
Data kalimat yang diperoleh berisi data dari kedua sensor. Pada tahap ini data gabungan akan di pisah berdasarkan nilai sensor flex dan sensor accelerometer. Hasil data yang telah diklasifikasikan adalah seperti pada Gambar 3
C. Pencarian Rata-rata Data Sensor
Data sensor yang telah dipisah kemudian dihitung nilai rata ratanya. Data rata rata yang dihasilkan berupa vektor kolom yang berisi nilai rata rata dari tiap baris data sensor. Data rata-rata ditunjunjukkan pada Gambar 4.
Tabel I: Bagian data kalimat ’adik saya’
(a) data sensorflex (b) data sensoraccelerometer
Gambar 3: Data klasifikasi sensor dari kalimat ’adik saya’
D. Curve Fitting
Dari data yang diperoleh pada tahap sebelumnya akan dilakukan mencocokan kurva atau curve fitting. Metodeleast square polynomial regressiondigunakan pada tahap ini. Den-gan metode ini akan dihasilkan koefisien dari polinomial yang
(a) data sensorflex (b) data sensoraccelerometer
Gambar 4: Contoh rata rata data sensor dari kalimat ‘adik saya’
dapat digunakan untuk mensimulasikan kurva sesuai dengan data berdasarkan derajat tertentu. Sistem ini memiliki keter-batasan, yakni untuk data yang terdiri dari dua kata digunakan derajat tiga sedangkan untuk data yang terdiri dari tiga kata digunakan derajat empat.
Gambar 5: Contoh kurva polinomial derajat 3 data sensor flex dari kalimat ‘adik saya’
E. Pencarian Zero Crossing
Setelah diperoleh fungsi kurva polinomial dari data sensor dilakukan pencarian nilai nol pada kurva atau zero crossing.Parsingdata dilakukan berdasarkan dari indekszero crossing yang diperoleh. Pencarian zero crossing dilakukan dengan menggunakan beberapa tahap, yakni penghitungan turunan kedua dan pencarian indeks signum. Untuk penghi-tungan turunan kedua digunakan fungsidiff. Dari nilai turunan yang didapat kemudian dicari signum dan turunan dari signum. Berdasarkan nilai turunan signum tersebut akan diperoleh nilai indeks yang merupakan nilaixsaat berpotongan dengan nol.
F. ParsingData Real
Setelah diperoleh indeks zero crossing maka proses berikutnya adalah parsing data isyarat. Parsing data isyarat ini dilakukan dengan acuan nilai indeks zero crossing. Jika terdapat satu nilai indeks, misalnya i maka dara real tersebut
(a) Turunan kedua fungsi polino-mial
(b) Nilai signum dari turunan ked-ua polinomial
(c)Differensial signumuntuk pen-carian indeks
Gambar 6: Contoh proses pencarian zero crossing pada data sensorflex ’adik saya’
akan di-parsing menjadi dua bagian yakni pada baris ke-i. sedangkan jika nilai indeks yang di peroleh ada dua nilai, misalnya i dan j, maka data real akan di-parsing menjadi tiga bagian,. Masing masing pada baris ke-i dan baris ke-j. Kemudian hasil parsingtersebut disimpan kembali ke dalam format .ibi.
G. Percobaan
Pada penelitian tugas akhir ini, bahasa isyarat yang digunakan berupa gabungan kata yang terdiri dari dua kata dasar dan tiga kata dasar. Penggabungan kata tersebut dipilih berdasarkan perbedaan dan kemiripan gerakan jari dan posisi tangan. Jumlah isyarat gabungan kata yang digunakan pada penelitian tugas akhir ini adalah enam macam dengan masing-masing isyarat direkam sebanyak sepuluh data. Jadi total data yang diuji adalah 60 data.
Untuk pengujian hasil dariparsingkata digunakansoftware SIBI. Metode yang digunakan pada SIBI adalah pendekatan
Dynamic Time Wrapping (DTW). Data template yang paling cocok diukur berdasarkan nilai jarak (distance) yang paling minimum. Berikut adalah rincian percobaan yang telah di-lakukan.
1) Gabungan Kata yang Memiliki Isyarat Gerakan Jari Tangan yang Sangat Berbeda: Pada percobaan pertama di-gunakan data isyarat yang memiliki perbedaan gerakan yang signifikan. Percobaan dengan dua kata dasar digunakan gabun-gan kata ’adik saya’. Sedangkan percobaan dengabun-gan tiga kata dasar digunakan kata ’adik saya minum’.
2) Gabungan Kata yang Memiliki Kemiripan Gerakan Jari Tangan: Pada percobaan ini digunakan isyarat yang terdiri dari kata dasar yang memiliki kemiripan gerakan atau kelengkun-gan jari tankelengkun-gan. Percobaan denkelengkun-gan data yang terdiri dua kata dasar digunakan gabungan kata ’adik kamu’. Sedangkan
Tabel II: Hasil Percobaan ’adik saya’ Data ke- kata1 kata2 akurasi
1 √ √ 100% 2 √ √ 100% 3 √ √ 100% 4 √ √ 100% 5 √ √ 100% 6 √ √ 100% 7 √ √ 100% 8 √ √ 100% 9 √ √ 100% 10 √ √ 100%
keterangan: (√) terdeteksi sebagai kata yang sebenarnya ; (X)terdeteksi sebagai kata lain
Tabel III: Hasil Percobaan ’adik saya minum’
Data ke- kata1 kata2 kata3 akurasi 1 √ √ √ 100% 2 √ √ √ 100% 3 √ √ √ 100% 4 √ √ √ 100% 5 √ √ √ 100% 6 √ √ √ 100% 7 √ √ √ 100% 8 √ √ √ 100% 9 √ √ √ 100% 10 √ √ √ 100%
keterangan: (√) terdeteksi sebagai kata yang sebenarnya ; (X)terdeteksi sebagai kata lain ; (-)tidak ada file
percobaan dengan tiga kata dasar digunakan kata ’adik kamu sakit’.
Tabel IV: Hasil Percobaan ’adik kamu’
Data ke- kata1 kata2 akurasi 1 √ √ 100% 2 √ √ 100% 3 √ √ 100% 4 √ √ 100% 5 √ √ 100% 6 √ √ 100% 7 √ √ 100% 8 √ √ 100% 9 √ √ 100% 10 √ √ 100%
keterangan: (√) terdeteksi sebagai kata yang sebenarnya ; (X)terdeteksi sebagai kata lain
Tabel V: Hasil Percobaan ’adik kamu sakit’
Data ke- kata1 kata2 kata3 akurasi 1 √ √ X 66.67% 2 √ √ √ 100% 3 √ √ √ 100% 4 √ X √ 66.67% 5 √ √ √ 100% 6 √ √ √ 100% 7 √ √ √ 100% 8 √ √ √ 100% 9 √ √ √ 100% 10 √ √ √ 100%
keterangan: (√) terdeteksi sebagai kata yang sebenarnya ; (X)terdeteksi sebagai kata lain ; (-)tidak ada file
3) Gabungan Kata yang Memiliki Kemiripan Gerakan Po-sisi Tangan: Pada percobaan ini, data yang digunakan adalah isyarat kata dasar yang memiliki kemiripan gerakan posisi tangan. Percobaan dengan data yang terdiri dari dua kata dasar
digunakan gabungan kata ’saya haus’. Sedangkan percobaan dengan tiga kata dasar digunakan kata ’saya belum haus’.
Tabel VI: Hasil Percobaan ’saya haus’
Data ke- kata1 kata2 akurasi 1 √ √ 100% 2 √ √ 100% 3 √ √ 100% 4 √ √ 100% 5 √ √ 100% 6 √ √ 100% 7 √ √ 100% 8 √ √ 100% 9 √ √ 100% 10 √ √ 100%
keterangan: (√) terdeteksi sebagai kata yang sebenarnya ; (X)terdeteksi sebagai kata lain
Tabel VII: Hasil Percobaan ’saya belum haus’
Data ke- kata1 kata2 kata3 akurasi 1 √ X √ 66.67% 2 √ √ √ 100% 3 √ √ √ 100% 4 √ X √ 66.67% 5 √ √ √ 100% 6 √ X √ 66.67% 7 √ √ √ 100% 8 √ √ √ 100% 9 √ X √ 66.67% 10 √ √ √ 100%
keterangan: (√) terdeteksi sebagai kata yang sebenarnya ; (X)terdeteksi sebagai kata lain ; (-)tidak ada file
Pada Tabel VIII terdapat isyarat yang terdiri dari dua kata memiliki tingkat akurasi 100% meskipun kata kata tersebut memiliki kemiripan gerakan jari tangan ataupun gerakan po-sisi tangan. Sedangkan untuk kalimat yang terdiri dari tiga kata dasar, tingkat akurasi yang dihasilkan menurun kecuali untuk kalimat dengan gerakan isyarat yang sangat berbeda. Tingkat akurasi menurun jika dibandingkan dengan percobaan dengan menggunakan dua kata dasar. Terutama untuk kalimat yang memiliki kemiripan gerak yang hanya berhasil mencapai tingkat akurasi 93.33% untuk kalimat ’adik kamu sakit’ dan 86.67% untuk kalimat ’saya belum haus’.
Tabel VIII: Hasil percobaanparsingkata
Kalimat Jumlah Data Jumlah data dengan akurasi 100% Rata-Rata Akurasi adik saya 10 10 100% adik saya minum 10 10 100% adik kamu 10 10 100% adik kamu sakit 10 8 93.33%
saya haus 10 10 100% saya belum haus 10 6 86.67%
V. KESIMPULAN DANSARAN
A. Kesimpulan
Dari hasil perancangan dan percobaan seluruh sistem dalam Tugas Akhir ini maka dapat diambil beberapa kesim-pulan :
1) Metode regresi polinomial dan deteksizero crossing da-pat digunakan untuk memenggal data isyarat gabungan kata yang direkam oleh finger motion capture
2) JikaParsingdata isyarat yang terdiri dengan n kata dasar maka derajat polinomial yang digunakan adalah n + 1. 3) Hasil akurasi parsing data isyarat yang terdiri dari
dua kata mencapai akurasi 100% untuk gabungan kata dengan gerakan yang berbeda maupun gabungan kata yang memiliki kemiripan gerak.
4) Hasil akurasi parsingisyarat yang terdiri dari tiga kata mencapai 100% untuk gabungan kata yang memiliki gerakan yang sangat berbeda. Sedangkan untuk gabun-gan kata yang memiliki kemiripan gerakan jari tangabun-gan, tingkat akurasi yang dicapai adalah sampai 93.33% dan untuk gabungan kata yang memiliki kemiripan posisi tangan tingkat akurasi yang dicapai adalah 86.67%.
B. Saran
Metode regresi polinomial dan deteksi zero crossing
ini masih belum optimal untuk parsingdengan isyarat yang memiliki kemiripan gerakan. Hal ini ditunjukkan dengan tingkat akurasi yang rendah untuk data dengan kata yang memiliki gerakan yang sama terutama untuk data sensor
accelerator. Untuk kedepannya diharapkan ada algoritma lain dalam metode ini sehingga akurasi bisa mencapai angka yang tinggi.
PUSTAKA
[1] Departemen Pendidikan dan Kebudayaan, 1995, Kamus Sistem Isyarat Bahasa IndonesiaLipschutz, Seymour and Lipson, Marc, “Linear Algebra third edition”, McGraw-Hill, USA, 2007. [2] Lipschutz, Seymour and Lipson, Marc, “Linear Algebra third
edition”, McGraw-Hill, USA, 2007
[3] http://en.wikipedia.org/wiki/Vandermonde_matrix, Terakhir diak-ses tanggal 17 Juni 2011
[4] Mathworks Inc, The. The Student Edition of MATLABT M.Prentice-Hall,Inc, 1992
[5] http://en.wikipedia.org/wiki/Zero_crossing, Terakhir diakses tanggal 17 Juni 2011
[6] http://en.wikipedia.org/wiki/Sign_function Terakhir diakses tang-gal 17 Juni 2011
[7] Eamonn Keogh (2002). Exact indexing of dynamic time warping. Proceedings of the 28th VLDB Conference, Hong Kong, China
Widda Ayui Silmadilahirkan di Jember pada tang-gal 5 Agustus 1989, merupakan anak kedua dari pasangan Abdul Wachid dan Rindawati. Ia menem-puh pendidikan pertama kali di TK ABA Kalisat, kemudian melanjutkan pendidikan dasar di SDN Ajung I Kalisat, pendidikan Menengah pertama di SLTP Negeri 1 Kalisat, dan pendidikan menengah atas di SMA Negeri I Jember. Setelah lulus dari SMA Negeri 1 Jember, ia memilih untuk melan-jutkan pendidikan tingginya di Jurusan Teknik Elek-tro, Fakultas Teknologi Industri, Intitut Teknologi Sepuluh Nopember Surabaya (ITS). Karena memang dari awal penulis telah tertarik dengan komputer, maka pada semester 5 (lima) ia memutuskan untuk mengambil Bidang Studi Teknik Komputer dan Telematika.
