Pembimbing: Prof. Dr. Ir. Mauridhi Hery Purnomo, M.Eng Dr. I Ketut Eddy Purnama, ST, MT

(1)

Pengenalan

Pengenalan BahasaBahasa IsyaratIsyarat Indonesia Indonesia Berbasis

Berbasis Sensor Sensor FlexFlex dan dan AccelerometerAccelerometer

Menggunakan

Menggunakan Dynamic Time WarpingDynamic Time Warping

Mohammad Iqbal Mohammad Iqbal

2209 205 024

Surabaya,

Surabaya, 7 7 JuliJuli 20112011

Pembimbing:

Prof. Dr. Ir. Mauridhi Hery Purnomo, M.Eng Dr. I Ketut Eddy Purnama, ST, MT

Presentasi Ujian Tesis Presentasi Ujian Tesis

(2)

BAHASA ISYARAT BAHASA ISYARAT

• Bahasa Isyarat:

– Umum bagi kaum tuna rungu – Asing bagi masyarakat

– Perlu perantara penerjemah antara kaum tuna rungu dan antara kaum tuna rungu dan masyarakat untuk

berkomunikasi

• Seorang penerjemah • Piranti penerjemah

(seperangkat alat)

Penelitian Bahasa Isyarat

Kategori:

Komputer Visi Sensor

(3)

Komponen

Komponen PembedaPembeda MaknaMakna SIBISIBI

• SIBI = Sistem Isyarat Bahasa Indonesia • Komponen Penentu (Pembeda) Makna

– Penampil tekukan jari-jari: menggengam, membuka, … – Posisi telapak tangan: hadap depan, atas, serong, … – Tempat

– Arah

(4)

Jenis Isyarat SIBI Jenis Isyarat SIBI

• Jenis isyarat – Isyarat pokok kata dasar – Isyarat tambahan imbuhan imbuhan – Isyarat bentukan gabungan isyarat – Abjad jari

digunakan untuk mengeja

(5)

Contoh

Contoh IsyaratIsyarat KataKata

agama

arah gerak

(1) kamus SIBI

(2) Video i-CHAT (http://i-chat.web.id)

(6)

Penelitian

Penelitian SIBISIBI

• Khusus SIBI

– Penelitian oleh Evita [2]

• Berdasarkan data sensor flex

jari, pergelangan lengan, siku, bahu • Metoda JST (Jaring Saraf Tiruan)

• Dataset: 72 isyarat kata statis SIBI • Dataset: 72 isyarat kata statis SIBI

• Hasil:

– 83,18% untuk 22 kata (hanya menggunakan senor fingers+wrist ) – 49,58% untuk 72 kata (menggunakan semua sensor)

(7)

Tentang

Tentang PenelitianPenelitian IniIni

• Untuk memperbaiki kinerja (akurasi): • Skenario:

1. Menambahkan sensor jenis lain

accelerometer 3 axis akselarasi telapak tangan

2. Membandingkan 2 metode dan 5 ekstraksi ciri untuk 2. Membandingkan 2 metode dan 5 ekstraksi ciri untuk

medapatkan akurasi yang optimal

• Membandingkan 2 metode classier (pengenalan):

DTW dan Euclidean Distance

• Membandingkan 5 ekstraksi ciri yang mengintegrasikan pendekatan statistik, histogram dan kuantisasi

(8)

Sistem

Sistem PengenalanPengenalan BahasaBahasa IsyaratIsyarat

(9)

Akusisi

Akusisi DataData

(10)

Data Sensor Data Sensor

raw data dari sensor

• tekukan jari jempol (c1) • tekukan jari telunjuk (c2) • tekukan jari tengah (c3) • tekukan jari kelingking (c4) • tekukan jari manis (c5)

Tabel 1. Contoh data sekuensial isyarat kata ‘kami’

KOLOM c1 c2 c3 c4 c5 c6 c7 c8 c9 r1 003 002 011 008 013 135 119 131 127 r2 003 002 011 008 013 134 108 135 127 r3 003 002 010 008 013 128 104 139 127 r4 003 002 010 008 013 130 102 139 127

• data counter akselarasi pada sumbu x (c6) • data counter akselarasi pada sumbu y (c7) • data counter akselarasi pada sumbu z (c8)

• data counter referensi (c9) BAR

IS r4 003 002 010 008 013 130 102 139 127 r5 003 002 010 008 013 127 103 135 127 r6 003 002 010 008 013 126 101 132 127 r7 003 002 010 008 013 134 101 136 127 r8 003 002 010 008 013 130 100 137 127 r9 002 002 010 007 013 133 104 141 127 r10 002 002 010 007 012 129 107 145 127 r11 002 002 010 007 012 130 107 143 127 r12 002 002 010 007 012 130 111 142 127 r13 003 002 009 006 010 130 120 141 127 r14 002 002 007 006 009 144 122 140 127 r15 002 002 006 005 008 153 132 138 127 r16 002 002 006 005 008 157 142 136 127 r17 002 002 006 005 007 145 156 133 127

(11)

Ekstraksi

Ekstraksi CiriCiri

– Histogram

– Nilai rata-rata (mean)

rata-rata tekukan jari selama gerak isyarat

∑

= n X_i

n

u 1

– Nilai simpangan baku (standard deviation)

perubahan tekukan jari selama gerak isyarat

∑

= i i n 1

∑

= − = n i i X X n s 1 2 ) ( 1

(12)

Ekstraksi

Ekstraksi CiriCiri

• Akselarasi Telapak Tangan

– nilai akselarasi aktual (a )

a = (c – reff) * 0.0022 * 16 c = data sensor c6;c7;c8 _{reff = data sensor c9}

– kuantisasi akselerasi (a) kuantisasi (k) a > 2g 16 g < a ≤_2g _{10 < k ≤ 15} 0 < a ≤_g _{1 < k ≤ 10} a= 0 k = 0 -g ≤ a < 0 -10 ≤ k < 0 -2g ≤ a < -g -15 ≤ k < -10 a < -2g -16

(13)

Ekstraksi

Ekstraksi CiriCiri AA

(14)

Ekstraksi

Ekstraksi CiriCiri BB

(15)

Ekstraksi

Ekstraksi CiriCiri CC

(16)

Ekstraksi

Ekstraksi CiriCiri DD

(17)

Ekstraksi

Ekstraksi CiriCiri EE

(18)

Euclidean Distance Euclidean Distance

• Misal, dua sekuensial, P dan Q, dengan panjang data sama yaitu n, maka

∑

= − = n i i i Euclidean P Q p q d 1 2 ) ( ) , ( = i 1

(19)

DTW (

DTW (Dynamic Time WarpingDynamic Time Warping))

• Misal, dua sekuensial, Q dan C, dengan panjang masing-masing n dan m

Q = q₁, q₂, ..., q_i, ..., q_n C = c₁, c₂, ..., c_j, ...., c_m • Warping path (W) W = w , w , ..., w , ..., w W = w₁, w₂, ..., w_k, ..., w_K dimana: max(m,n) ≤ K < m+n – 1 • Path (D(i,j)) D(i,j) = d(q_i,c_j) +min{D(i-1,j-1),D(i-1,j),D(i,j-1)} dengan d(q_i,c_j) = (q_i– c_j)2 • Warping cost (DTW(Q,C)) DTW(Q,C) = min       _∑ = K k 1wk

(20)

DTW

DTW vsvs EuclideanEuclidean

(21)

Pengujian Pengujian • Data Uji

– Isyarat kata SIBI yang diisyaratkan dengan satu tangan yaitu tangan kanan

– Jumlah kelas = 50 (isyarat kata)

– Jumlah sampel per kelas 20, terbagi atas

• 10 sampel untuk template • 10 sampel untuk testing • 10 sampel untuk testing

• Peranti

– Netbook Acer Aspire 3810T dengan spesifikasi Intel

Core2Solo 1,4GHz FSB 800MHz, RAM 2GB DDR3 dan Graphic Card Intel GMA 4500MHD

– Sistem operasi: Windows XP Professional SP2

• Tool

– Delphi versi 7.0 untuk proses akusisi data,

(22)

Hasil

Hasil PengujianPengujian

(23)

Hasil

(24)

Hasil

• Hasil perbandingan

– DTW: Akurasi terbesar 99,6%

– Euclidean: Waktu testing terkecil 7,797 detik

No Metode dan Ekstraksi Ciri yang digunakan Akurasi (%) Waktu Testing (detik)

1 Euclidean Distance dan Ekstraksi Ciri A 91.8 8.031

2 Euclidean Distance dan Ekstraksi Ciri B 97.6 7.797

3 DTW dan Ekstraksi Ciri A 67.4 523.7

4 DTW dan Ekstraksi Ciri B 95.8 25.39

5 DTW dan Ekstraksi Ciri C 96.6 428.23

6 DTW dan Ekstraksi Ciri D 87.2 203.16

(25)

Hasil

(26)

Hasil

(27)

Hasil

• Fluktuasi sensitivitas

– Penambahan jumlah sampel untuk data template tidak selalu memperbesar sensitivitas

– Sistem pengenal mengenali sampel baru yang ditambahkan sebagai sampel template yang paling mirip dengan sampel testing.

Isyarat Kata Jumlah Sampel per Kelas Data Template

1 2 3 4 5 6 7 8 9 10 Sen si ti v ita s belum * 90 90 100 90 100 100 100 100 100 100 harus * 100 80 100 100 100 100 100 100 100 100 lusa * 80 100 100 90 90 90 90 100 100 100 maaf * 60 40 40 90 100 100 100 100 100 100 pakai * 80 80 90 90 80 80 100 100 100 100 teh * 90 90 80 100 100 100 100 100 100 100 yang * 70 90 90 80 80 80 100 100 100 100

(28)

Hasil

• Isyarat kata tidak dapat dikenali

Isyarat Kata Jumlah Sampel per Kelas Data Template

1 2 3 4 5 6 7 8 9 10 Sen si ti v ita s pandai ** 80 80 80 90 90 90 90 90 90 90 – Pandai [034_pandai_019.ibi]

dikenali salah sebagai selesai [038_selesai_004.ibi]

– Senang [039_senang_020.ibi]

dikenali salah sebagai sopan [041_sopan_005.ibi]

Sen si ti v ita s senang ** 50 70 80 80 80 80 80 90 90 90

(29)

Hasil

(30)

Hasil

(31)

Hasil Pengujian Hasil Pengujian

• Menghitung akurasi rata-rata

– Metode validasi: 3-fold cross validation – Akurasi rata-rata terbesar 95,6%

(32)

Hasil

• Online testing

(33)

KESIMPULAN KESIMPULAN

1. Metode Dynamic Time Warping (DTW) dengan

ekstraksi ciri menggunakan pendekatan statistik dan kuantisasi menghasilkan akurasi yang paling besar pada pengujian perbandingan metode pengenal dan ekstraksi ciri. Akurasi rata-rata terbesar yang diperoleh adalah 95,6% dengan menggunakan teknik validasi adalah 95,6% dengan menggunakan teknik validasi

3-fold cross validation.

2. DTW kurang cocok digunakan untuk mendapatkan

tingkat kemiripin dua data sekuensial dengan panjang data sama, jika urutan data pada data sekuensial

mempunyai nilai yang sudah ditentukan sebelumnya. Metode yang lebih cocok digunakan adalah Euclidean

Distance.

(34)