PENGENALAN POSE BAHASA ISYARAT MENGGUNAKAN EKSTRAKSI CIRI MOMENT INVARIANT HU

i

TUGAS AKHIR

PENGENALAN POSE BAHASA ISYARAT

MENGGUNAKAN EKSTRAKSI CIRI MOMENT

INVARIANT HU

Diajukan untuk memenuhi syarat memperoleh gelar Sarjana Teknik pada

Program Studi Teknik Elektro

Fakultas Sains dan Teknologi Universitas Sanata Dharma

disusun oleh :

MONICA CRISMACENTIA VIANNY

NIM : 165114011

PROGRAM STUDI TEKNIK ELEKTRO

FAKULTAS SAINS DAN TEKNOLOGI

UNIVERSITAS SANATA DHARMA

YOGYAKARTA

ii

FINAL PROJECT

IDENTIFICATION OF SIGN LANGUAGE POSE

USING MOMENT INVARIANT HU

Presented as Partial Fullfillment of the Requirements To Obtain the Bachelor of Engineering Degree

In Study Program of Electrical Engineering

Faculty of Science and Technology, Sanata Dharma University

Constructed by :

MONICA CRISMACENTIA VIANNY

NIM : 165114011

DEPARTMENT OF ELECTRICAL ENGINEERING

FACULTY OF SCIENCE AND TECHNOLOGY

SANATA DHARMA UNIVERSITY

YOGYAKARTA

vi

HALAMAN PERSEMBAHAN

“Cintailah PROSES yang merupakan perjuanganmu mencapai HASIL yang luar biasa”

Skripsi ini kupersembahkan untuk :

Tuhan Yesus, Bunda Maria, Santo Santa Bapak, Ibu, dan Mas Kristo tercinta Teman-teman Tuli Pusat Studi Individu Berkebutuhan Khusus (PSIBK)

viii

INTISARI

Universitas Sanata Dharma merupakan salah satu universitas yang sangat terbuka terhadap keberagaman. Salah satunya adalah menerima mahasiswa disabilitas serta memberikan fasilitas sesuai kebutuhan mereka. Bermula dari pengalaman ketika mendampingi mahasiswa Tuli dalam kegiatan perkuliahan, hingga menemukan keinginan untuk mengembangkan penelitian mengenai sistem pengenalan Bahasa Isyarat.

Sistem pengenalan dibuat dengan menggunakan software Matlab yang terdapat pada laptop dan dihubungkan dengan webcam untuk mengambil citra yang hendak dikenali. Citra pose American Sign Language akan di capture terlebih dahulu dan diolah melalui tahap

preprocessing. Tahap ini akan menghasilkan citra dalam bentuk biner yang akan mengenali

citra yang berwarna kuning. Kemudian akan diolah kembali dengan menggunakan ektraksi ciri moment invariant hu dan menggunakan template matching similaritas kosinus dan klasifikasi k-Nearest Neighbour (k-NN).

Pengujian sistem pengenalan pose American Sign Language dilakukan secara real

time maupun non real time. Tingkat pengenalan rata-rata pengujian non real time pada

variasi translasi mencapai 91,88% dengan k=3. Variasi rotasi mencapai 97,5% dengan sudut 45o. Hasil pengujian secara real time menggunakan data uji peneliti maupun subjek penelitian orang lain. Tingkat pengenalan rata-rata pengujian real time pada variasi translasi mencapai 76,88% dengan nilai k=1. Variasi rotasi mencapai 85,5% dengan sudut 0o_{. Hasil} pengujian subjek penelitian lainnya memiliki tingkat pengenalan rata-rata tertinggi pada variasi rotasi 0o sebesar 66,5% dengan k=3.

Kata kunci : American Sign Language, preprocessing, moment invariant hu, similaritas kosinus, dan k-Nearest Neighbour (k-NN).

ix

ABSTRACT

Sanata Dharma University is one of many universities that is very open to diversity. This university accepts students with disabilities and provides facilities according to their needs. Starting from the experience when accompanying deaf student in the class, the author found the desire to develop research about Sign Language recognition system.

The recognition system in this research was created using Matlab software on a laptop connected to a webcam to retrieve images to be recognized. Images of the American Sign Language pose was captured first and processed through the preprocessing stage. This stage produced binary images which recognized yellow-colored parts of the images. After that, it was reprocessed using moment invariant hu's feature extraction and cosine similarity's template matching and k-Nearest Neighbour (k-NN) classification.

The American Sign Language pose recognition system testing was done in real-time and non-real-time. The average of recognition in non real-time testing on translation variations was reached 91,88% using k=3. The rotation variations were reached 97,5% with an angle of 45o. The results in real-time testing using data from researchers and other research subjects. The average of recognition in real-time testing on translation variations was reached 76,88% using k=1. The rotation variations were reached 85,5% with an angle of 0o. The results of other research subjects had average recognition was reached 66,5% with k=3 and an angle of 0o_.

Keywords: American Sign Language, preprocessing, moment invariant hu, cosine similarity, and k-Nearest Neighbour

xii

DAFTAR ISI

HALAMAN PERSETUJUAN ... iii

HALAMAN PENGESAHAN ... iv

LEMBAR PERNYATAAN KEASLIAN KARYA ... v

HALAMAN PERSEMBAHAN ... vi

LEMBAR PERNYATAAN PERSETUJUAN PUBLIKASI KARYA ILMIAH UNTUK KEPENTINGAN AKADEMIS ... vii

INTISARI ... viii

ABSTRACT ... ix

KATA PENGANTAR ... x

DAFTAR ISI ... xii

DAFTAR GAMBAR ... xv

DAFTAR TABEL ... xvii

BAB I PENDAHULUAN ... 1

1.1. Latar Belakang ... 1

1.2. Tujuan dan Manfaat Penelitian ... 2

1.3. Batasan Masalah ... 2

1.4. Metodologi Penelitian ... 3

BAB II DASAR TEORI ... 5

2.1. Pose Angka American Sign Language ... 5

2.2. Pengolahan Citra ... 5

2.2.1. Citra Red, Green and Blue (RGB) ... 6

2.2.2. Hue, Saturation, and Value (HSV) ... 7

2.2.3. Citra Biner ... 10

2.3. Moment Invariant Hu ... 11

xiii

2.4. Template Matching ... 16

2.4.1 Similaritas Kosinus ... 16

2.5. K-Nearest Neighbour ... 17

BAB III RANCANGAN PENELITIAN ... 19

3.1. Perancangan Sistem ... 19

3.2. Proses Kerja Sistem ... 20

3.2.1. Input Data ... 21

3.2.2. Preprocessing ... 22

3.2.3. Tahap Ekstraksi Ciri Moment Invariant Hu ... 25

3.2.4. Log Scale Moment Invariant Hu ... 26

3.2.5. Perhitungan Similaritas Kosinus ... 27

3.2.6. Penentuan Keluaran... 29

3.3. Pembuatan Database ... 30

3.3. Pengujian Pose Jari Tangan ... 33

3.4.1. Pengujian secara Non Real Time ... 34

3.4.2. Pengujian secara Real Time... 35

3.4.3. Menentukan Tingkat Pengenalan ... 36

3.5. Perancangan Tampilan GUI ... 36

3.5.1 Perancangan GUI Database ... 36

3.5.2. Perancangan GUI Non Real Time ... 39

3.5.3. Perancangan GUI Real Time ... 40

BAB IV HASIL DAN PEMBAHASAN ... 42

4.1. Hasil Pengujian dan Analisis Data ... 42

4.1.1. Pengujian secara Non Real Time ... 42

4.1.1.1. Pengaruh Translasi ... 43

4.1.1.2. Pengaruh Rotasi ... 44

xiv

4.1.1.3.1. Pengaruh Translasi ... 47

4.1.1.3.2. Pengaruh Rotasi ... 49

4.1.2. Pengujian Secara Real Time ... 51

4.1.2.1. Pengaruh Translasi ... 51

4.1.2.2. Pengaruh Rotasi ... 52

4.1.2.3. Pengaruh Rotasi Subjek Penelitian Lainnya ... 53

4.2. Catatan dalam Metode Penelitian ... 58

4.3. Hasil Perbandingan Penelitian ... 59

4.4. Hasil Tampilan GUI ... 59

4.4.1. GUI Database ... 60

4.4.2. GUI Non Real Time ... 61

4.4.3. GUI Real Time ... 62

BAB V KESIMPULAN DAN SARAN ... 64

5.1. Kesimpulan ... 64 5.2. Saran ... 64 DAFTAR PUSTAKA ... 65 LAMPIRAN 1 ... L-1 LAMPIRAN 2 ... L-3 LAMPIRAN 3 ... L-5 LAMPIRAN 4 ... L-22

xv

DAFTAR GAMBAR

Gambar 2.1. Pose Isyarat Angka American Sign Language ... 5

Gambar 2.2. (a) Representasi RGB dalam Koordinat 3D ; (b) Representasi RGB dalam Koordinat 2D [8] ... 6

Gambar 2.3. (a) Contoh Citra RGB ; (b) Komponen Red ; (c) Komponen Green ; (d) Komponen Blue ... 7

Gambar 2.4. Koordinat Silindris 3-D HSV [9] ... 7

Gambar 2.5. (a) Level HSV [10]... 8

Gambar 2.6. (a) Citra HSV ; (b) Komponen Hue ; (c) Komponen Saturation ; (d) Komponen Value ... 9

Gambar 2.7. Contoh Citra Biner ... 11

Gambar 2.8. Contoh Perhitungan Manual ... 13

. Gambar 3.1. Diagram Blok Sistem Pengenalan Pose Angka ASL ... 19

Gambar 3.2. Diagram Alir Keseluruhan Proses Kerja Sistem ... 20

Gambar 3.3. Diagram Alir Pengambilan Citra ... 22

Gambar 3.4. Diagram Alir Preprocessing ... 23

Gambar 3.5. Diagram Alir Konversi RGB ke HSV ... 24

Gambar 3.6. Diagram Alir Segmentasi HSV ... 25

Gambar 3.7. Diagram Alir Moment Invariant Hu ... 26

Gambar 3.8. Diagram Alir Moment Invariant Hu Terskala ... 27

Gambar 3.9. . Diagram Alir Similaritas Kosinus ... 28

Gambar 3.10. Diagram Alir Penentuan Keluaran k-NN ... 29

Gambar 3.11. Diagram Alir Database ... 30

Gambar 3.12. Pembuatan Database dalam Bentuk Array ... 30

Gambar 3.13. Proses Pengambilan Data pada Masing-Masing File... 32

Gambar 3.14. Database Gabungan ... 33

Gambar 3.15. Proses Membandingkan Kemiripan Data Uji dan Database ... 33

Gambar 3.16. Diagram Alir Penggunaan GUI Database ... 37

Gambar 3.17. GUI Database ... 38

Gambar 3.18. GUI Non Real Time ... 39

Gambar 3.19. GUI Real Time ... 41

xvi

Gambar 4.1. Variasi Translasi... 43

Gambar 4.2. Rotasi 45o ... 45

Gambar 4.3. Rotasi -45o ... 46

Gambar 4.4. Variasi Translasi dengan Moment Invariant Hu Modifikasi... 48

Gambar 4.5. Perbandingan Variasi Rotasi ... 50

Gambar 4.6. Variasi Translasi... 51

Gambar 4.7. Variasi Rotasi ... 53

Gambar 4.8. Pengujian Rotasi 0o ... 54

Gambar 4.9. Pengujian Rotasi 45o _{... 55}

Gambar 4.10. Pengujian Rotasi -45o ... 56

Gambar 4.11. Variasi Rotasi Subjek Penelitian Orang Lain... 57

Gambar 4.12. Tampilan Penggunaan GUI Database ... 60

Gambar 4.13. Hasil Penggunaan GUI Non Real Time yang Benar ... 61

Gambar 4.14. Hasil Penggunaan GUI Non Real Time yang Benar ... 62

Gambar 4.15. Hasil Penggunaan GUI Real Time yang Benar ... 62

Gambar 4.16. Hasil Penggunaan GUI Real Time yang Salah ... 63

.

xvii

DAFTAR TABEL

Tabel 2.1. Hasil Momen Pusat ... 14

Tabel 2.2. Hasil Momen Pusat Ternormalisasi ... 15

Tabel 2.3. Hasil Moment Invariant Hu ... 15

Tabel 2.4. Hasil Perhitungan Log Scale ... 16

Tabel 2.5. Hasil Perhitungan Similaritas Kosinus ... 17

Tabel 2.6. Urutan Similaritas Kosinus ... 18

Tabel 2.7. Pengambilan Nilai Sebanyak k=3 ... 18

Tabel 2.8. Pengambilan Nilai Sebanyak k=5 ... 18

. Tabel 3.1. Database File.mat ... 31

Tabel 3.2. Pengujian Non Real Time ... 34

Tabel 3.3. Nama dan Fungsi Ikon GUI Database ... 38

Tabel 3.4. Nama dan Fungsi Ikon GUI Non Real Time ... 40

Tabel 3.5. Nama dan Fungsi Ikon GUI Real Time ... 41

. Tabel 4.1. Rata-Rata Variasi Jarak ... 44

Tabel 4.2. Rata-Rata Masing-Masing Variasi Nilai k... 44

Tabel 4.3. Rata-Rata Variasi Jarak ... 45

Tabel 4.4. Rata-Rata Masing-Masing Variasi Nilai k... 46

Tabel 4.5. Rata-Rata Variasi Jarak ... 47

Tabel 4.6. Rata-Rata Masing-Masing Variasi Nilai k... 47

Tabel 4.7. Perbandingan Persamaan Moment Invariant Hu ... 48

Tabel 4.8. Perbandingan Persamaan Log Scale ... 48

Tabel 4.9. Rata-Rata Variasi Jarak ... 49

Tabel 4.10. Rata-Rata Variasi Nilai k ... 49

Tabel 4.11. Rata-Rata Variasi Jarak ... 52

Tabel 4.12. Rata-Rata Variasi Nilai k ... 52

Tabel 4.13. Rata-Rata Variasi Jarak ... 54

Tabel 4.14. Rata-Rata Masing-Masing Variasi Nilai k... 54

Tabel 4.15. Rata-Rata Variasi Jarak ... 55

Tabel 4.16. Rata-Rata Masing-Masing Variasi Nilai k... 55

xviii

Tabel 4.18. Rata-Rata Masing-Masing Variasi Nilai k... 57 Tabel 4.19. Hasil Perbandingan Penelitian ... 59

.

Tabel L1. Confusion Matrix untuk Variasi Nilai k=1 (Jarak 50 cm) [12] ... L-5 Tabel L2. Confusion Matrix untuk Variasi Nilai k=1 (Jarak 1 m) [12] ... L-5 Tabel L3. Confusion Matrix untuk Variasi Nilai k=1 (Jarak 1,5 m) [12] ... L-5 Tabel L4. Confusion Matrix untuk Variasi Nilai k=1 (Jarak 2 m) [12] ... L-6 Tabel L5. Confusion Matrix untuk Variasi Nilai k=1 (Jarak 2,5 m) [12] ... L-6 Tabel L6. Confusion Matrix untuk Variasi Nilai k=3 (Jarak 50 cm) [12] ... L-6 Tabel L7. Confusion Matrix untuk Variasi Nilai k=3 (Jarak 1 m) [12] ... L-7 Tabel L8. Confusion Matrix untuk Variasi Nilai k=3 (Jarak 1,5 m) [12] ... L-7 Tabel L9. Confusion Matrix untuk Variasi Nilai k=3 (Jarak 2 m) [12] ... L-7 Tabel L10. Confusion Matrix untuk Variasi Nilai k=3 (Jarak 2,5 m) [12] ... L-8 Tabel L11. Confusion Matrix untuk Variasi Nilai k=5 (Jarak 50 cm) [12] ... L-8 Tabel L12. Confusion Matrix untuk Variasi Nilai k=5 (Jarak 1 m) [12] ... L-8 Tabel L13. Confusion Matrix untuk Variasi Nilai k=5 (Jarak 1,5 m) [12] ... L-9 Tabel L14. Confusion Matrix untuk Variasi Nilai k=5 (Jarak 2 m) [12] ... L-9 Tabel L15. Confusion Matrix untuk Variasi Nilai k=5 (Jarak 2,5 m) [12] ... L-9 Tabel L16. Confusion Matrix untuk Variasi Nilai k=7 (Jarak 50 cm) [12] ... L-10 Tabel L17. Confusion Matrix untuk Variasi Nilai k=7 (Jarak 1 m) [12] ... L-10 Tabel L18. Confusion Matrix untuk Variasi Nilai k=7 (Jarak 1,5 m) [12] ... L-10 Tabel L19. Confusion Matrix untuk Variasi Nilai k=7 (Jarak 2 m) [12] ... L-11 Tabel L20. Confusion Matrix untuk Variasi Nilai k=7 (Jarak 2,5 m) [12] ... L-11 Tabel L21. Confusion Matrix untuk Variasi Nilai k=1 (Jarak 50 cm) [20] ... L-11 Tabel L22. Confusion Matrix untuk Variasi Nilai k=1 (Jarak 1 m) [20] ... L-12 Tabel L23. Confusion Matrix untuk Variasi Nilai k=1 (Jarak 1,5 m) [20] ... L-12 Tabel L24. Confusion Matrix untuk Variasi Nilai k=1 (Jarak 2 m) [20] ... L-12 Tabel L25. Confusion Matrix untuk Variasi Nilai k=1 (Jarak 2,5 m) [20] ... L-13 Tabel L26. Confusion Matrix untuk Variasi Nilai k=3 (Jarak 50 cm) [20] ... L-13 Tabel L27. Confusion Matrix untuk Variasi Nilai k=3 (Jarak 1 m) [20] ... L-13 Tabel L28. Confusion Matrix untuk Variasi Nilai k=3 (Jarak 1,5 m) [20] ... L-14 Tabel L29. Confusion Matrix untuk Variasi Nilai k=3 (Jarak 2 m) [20] ... L-14 Tabel L30. Confusion Matrix untuk Variasi Nilai k=3 (Jarak 2,5 m) [20] ... L-14 Tabel L31. Confusion Matrix untuk Variasi Nilai k=5 (Jarak 50 cm) [20] ... L-15

xix

Tabel L32. Confusion Matrix untuk Variasi Nilai k=5 (Jarak 1 m) [20] ... L-15 Tabel L33. Confusion Matrix untuk Variasi Nilai k=5 (Jarak 1,5 m) [20] ... L-15 Tabel L34. Confusion Matrix untuk Variasi Nilai k=5 (Jarak 2 m) [20] ... L-16 Tabel L35. Confusion Matrix untuk Variasi Nilai k=5 (Jarak 2,5 m) [20] ... L-16 Tabel L36. Confusion Matrix untuk Variasi Nilai k=7 (Jarak 50 cm) [20] ... L-16 Tabel L37. Confusion Matrix untuk Variasi Nilai k=7 (Jarak 1 m) [20] ... L-17 Tabel L38. Confusion Matrix untuk Variasi Nilai k=7 (Jarak 1,5 m) [20] ... L-17 Tabel L39. Confusion Matrix untuk Variasi Nilai k=7 (Jarak 2 m) [20] ... L-17 Tabel L40. Confusion Matrix untuk Variasi Nilai k=7 (Jarak 2,5 m) [20] ... L-18 Tabel L41. Pengujian dilakukan terhadap 10 Objek Angka pada Rotasi 45o. Hasil yang Ditampilkan : Tingkat Pengenalan (%) ... L-18

Tabel L42. Pengujian dilakukan terhadap 10 Objek Angka pada Rotasi -45o. Hasil yang Ditampilkan : Tingkat Pengenalan (%) ... L-18

Tabel L43. Pengujian dilakukan terhadap 10 Objek Angka. Hasil yang ditampilkan :

Banyaknya Data Uji yang Benar (@50 Data) ... L-19

Tabel L44. Pengaruh Rotasi. Pengujian dilakukan terhadap 10 Objek Angka. Hasil yang

ditampilkan : Tingkat Pengenalan (%) ... L-19

Tabel L45. Pengujian dilakukan terhadap 10 Objek Angka oleh Subjek Penelitian 1. Hasil

yang Ditampilkan : Tingkat Pengenalan (%) ... L-20

Tabel L46. Pengujian dilakukan terhadap 10 Objek Angka oleh Subjek Penelitian 2. Hasil

1

BAB I

PENDAHULUAN

1.1. Latar Belakang

Hellen Keller, salah satu tokoh Tuli dunia pernah mengungkapkan bahwa dalam setiap keindahan, selalu ada mata yang memandang. Dalam setiap kebenaran, selalu ada telinga yang mendengar. Dalam setiap kasih, selalu ada hati yang menerima. [1]

Universitas Sanata Dharma merupakan salah satu universitas yang sangat terbuka dan sangat menghargai setiap keunikan masing-masing individu. Hal ini dapat dibuktikan dengan adanya pribadi-pribadi yang berasal dari beragam suku, agama, ras, hingga menerima mahasiswa disabilitas. Mahasiswa-mahasiswa disabilitas ini tentulah difasilitasi oleh kampus sesuai kebutuhan. [2] Salah satu yang menjadi perhatian adalah ketika memiliki pengalaman mendampingi salah satu mahasiswa Tuli dalam kegiatan perkuliahan di Universitas Sanata Dharma. Kendala yang seringkali terjadi adalah ketika mahasiswa Tuli melakukan presentasi di depan kelas namun sulit dipahami oleh mahasiswa Dengar.

Sebelumnya telah dilakukan penelitian terhadap American Sign Language (ASL) berupa pengenalan angka oleh Lebukan. [3] Perbedaan penelitian yang akan dilakukan ini dengan penelitian sebelumnya dibagi menjadi beberapa poin besar antara lain : orientasi tangan, background, dan metode yang digunakan. Pada penelitian ini, orientasi tangan tidak harus tegak, dalam hal ini disesuaikan dengan teori dari ekstraksi ciri moment invariant hu. Berbeda dengan penelitian sebelumnya dengan menggunakan ekstraksi ciri wavelet, dan orientasi tangan tegak.

Perbedaan lainnya terdapat pada background yang digunakan. Pada penelitian ini,

background tidak harus berwarna hitam, dikarenakan adanya proses segmentasi warna pada

tahap preprocessing. Proses ini bertujuan untuk mengambil hue pada objek yang hendak dikenali. Objek yang ingin dikenali pada penelitian ini berwarna kuning, sehingga

background dapat berwarna apapun selain warna kuning yang menjadi objek pengenalan.

Penjelasan mengenai segmentasi warna pada HSV akan dijelaskan pada subbab 2.2.2 mengenai Hue, Saturation, and Value (HSV).

Berdasarkan penelitian tersebut, diadakan penelitian lanjutan dengan menggunakan metode yang berbeda serta fungsi yang berbeda. Hal ini bertujuan untuk mengembangkan penelitian-penelitian yang telah dilakukan sebelumnya.

1.2. Tujuan dan Manfaat Penelitian

Tujuan dari penelitian ini adalah mengembangkan penelitian mengenai sistem pengenalan angka 0-9 pada American Sign Language agar fleksibel terhadap berbagai warna

background (terkecuali warna objek yang hendak dikenali).

Manfaat dari penelitian ini adalah :

a. Sebagai penelitian lanjutan mengenai pengenalan pose bahasa isyarat American

Sign Language.

b. Sebagai pengembangan media pembelajaran mengenai computer vision yang diharapkan dapat memberikan gambaran terhadap pengembangan penelitian selanjutnya.

1.3. Batasan Masalah

Penelitian ini berfokus pada pengenalan angka dengan menggunakan jari tangan, dan beberapa batasan masalah dalam penelitian ini, antara lain :

a. Objek yang dikenali berupa pose angka 0 sampai 9, selain angka ini akan dikenali sebagai angka 0 sampai 9.

b. Pola isyarat angka menggunakan pose American Sign Language.

c. Ekstraksi ciri yang digunakan adalah ekstraksi ciri moment invariant hu. d. Segmentasi berdasarkan Hue, Saturation, and Value.

e. Software menggunakan Matlab.

f. Perangkat yang digunakan untuk mengambil citra berupa webcam Logitech C270. g. Warna objek yang dikenali berwarna kuning.

h. Output berupa teks angka.

i. Variasi jarak yang digunakan adalah 50 cm, 1 m, 1.5 m, 2 m, dan 2.5 m.

j. Variasi translasi dilakukan di 5 titik yang berbeda pada masing-masing angka dan jarak.

k. Variasi rotasi yang digunakan adalah 45o, 0o, dan -45o

1.4. Metodologi Penelitian

Berdasarkan tujuan dan manfaat yang hendak dicapai, perlu dilakukan pengujian dengan metode-metode yang digunakan dalam pembuatan Tugas Akhir ini, antara lain:

a. Studi literatur

Hal ini dilakukan dengan cara mempelajari jurnal-jurnal dan penelitian-penelitian yang telah ada sebelumnya, baik dalam lingkup Universitas Sanata Dharma maupun penelitian yang dilakukan di luar Sanata Dharma. Studi literatur dilakukan untuk memperdalam metode yang digunakan yaitu menggunakan ekstraksi ciri moment

invariant hu, template matching menggunakan similaritas kosinus dan klasifikasi

k-NN.

b. Perancangan software

Pada tahap ini dilakukan perancangan pada software Matlab. Tahap ini ditujukan untuk memberikan gambaran bagaimana sistem dapat bekerja seperti yang diharapkan. Hal ini dilakukan dengan cara mengetahui terlebih dahulu garis besar proses program, kemudian menggambarkan kerangka GUI dan button apa saja yang sekiranya dibutuhkan.

c. Pembuatan software

Pembuatan software dilakukan untuk mengimplementasikan perancangan yang telah dilakukan pada tahap sebelumnya. Pembuatan software dilakukan dengan membuat GUI yang terdiri dari axes, button, serta beberapa ikon static text dan edit

text. Setelah GUI telah dibuat, kemudian beralih ke editor, dimana fungsi-fungsi

beberapa ikon tersebut diprogram. Diawali dengan memprogram dari citra pose bahasa isyarat berupa citra RGB dikonversi ke citra HSV. Kemudian dilakukan segmentasi HSV, dan perhitungan dengan menggunakan fungsi similaritas kosinus, serta penentuan keluaran menggunakan klasifikasi k-NN. Hasil keluaran akan ditampilkan pada GUI (secara real time) dan run pada command window matlab (secara non real time). Semua hal di atas dilakukan dengan menggunakan software

d. Pengambilan data

Pengambilan data yang dilakukan pertama kali adalah dalam pembuatan database untuk dapat dibandingkan dengan data pengujian. Data yang diambil berdasarkan tampilan pada GUI yaitu hasil ekstraksi ciri, fungsi similaritas kosinus, dan klasifikasi k-NN yang diperlukan pada tahap selanjutnya. Pengambilan data dilakukan dengan menggunakan jarak pengujian 50 cm, 1 m, 1.5 m, 2 m, dan 2.5 m. Pada masing-masing jarak, data diambil sebanyak lima titik pada masing-masing angka. Sehingga data keseluruhan yang diperoleh sebanyak 250 data (5 jarak x 5 titik x 10 angka pada masing-masing jarak).

Setelah sistem dibuat, maka untuk membuktikan apakah program sudah berjalan dengan benar diadakan uji coba memberikan input dengan perbedaan posisi, tempat, hingga kemiringan pose bahasa isyarat. Pada pengujian secara real time, dilakukan oleh peneliti maupun subjek penelitian orang lain. Hal ini bertujuan untuk mengetahui apakah sistem dapat fleksibel bila digunakan oleh orang lain, serta lokasi dan tingkat pencahayaan yang berbeda.

e. Analisa dan kesimpulan

Analisa dilakukan untuk mengetahui potensi keberhasilan penelitian dari beberapa bahasa isyarat. Analisa dilakukan dengan mencoba pengaruh cahaya terhadap metode yang digunakan, bagaimana pose jari tangan yang tepat untuk dapat ditangkap oleh webcam, diawali dengan jarak terdekat yaitu 50 cm untuk dijadikan perbandingan dengan penelitian sebelumnya menggunakan moment invariant Hu oleh Nobert [5], membandingkan pengaruh klasifikasi k-NN dan tanpa menggunakan k-NN, serta mencoba berbagai cara pengambilan database, dan lain-lain.

Kesimpulan merupakan hasil dari uji data dalam proses pengenalan bahasa isyarat. Kesimpulan diperoleh dengan menghitung persentase error yang terjadi. Hal ini diperoleh dengan melihat apakah hasil keluaran ketika pengujian sudah sesuai dengan database yang telah dibuat sebelumnya.

5

BAB II

DASAR TEORI

2.1. Pose Angka American Sign Language

Beberapa orang kerap mengandalkan bahasa tubuh dan gestur dalam berkomunikasi satu sama lain. Gestur dengan menggunakan jari tangan merupakan salah satu gestur yang seringkali ditemukan. Jari tangan manusia merupakan alat komunikasi bagi orang Tuli serta setiap pergerakan yang diberikan, tentu memiliki makna tersendiri di dalamnya.

Pada dasarnya bahasa isyarat terdiri dari berbagai macam jenis. Namun bahasa isyarat yang umum digunakan di Indonesia adalah SIBI dan BISINDO. Tak dapat dipungkiri bahwa pada masing-masing daerah di Indonesia pun memiliki bahasa isyarat masing-masing. SIBI pertama kali diluncurkan pada tahun 1997 oleh Kementerian Pendidikan dan Kebudayaan yang merupakan pengembangan dari beberapa organisasi dan yayasan yang berfokus pada disabilitas. Sebagian besar kosakata pada SIBI merupakan adaptasi dari ASL. [6]

Pada Gambar 2.1. merupakan pose isyarat angka American Sign Language yang menjadi objek pengembangan berdasarkan penelitian yang telah dilakukan sebelumnya.

Gambar 2.1. Pose Isyarat Angka American Sign Language

2.2. Pengolahan Citra

Pengolahan citra dapat dibagi menjadi beberapa kategori antara lain kategori rendah, menengah, dan tinggi. Kategori rendah memiliki input dan output berupa citra. Kategori ini

0

1

2

3

4

terkait dengan operasi-operasi sederhana seperti pengaturan kontras dan pengaturan ketajaman citra.

Kategori menengah melibatkan operasi-operasi seperti segmentasi dan klasifikasi citra. Sedangkan kategori tinggi melibatkan proses pengenalan dan deskripsi citra. [7]

Beberapa tahapan mengenai pengolahan citra dapat dijelaskan seperti di bawah ini :

2.2.1. Citra Red, Green and Blue (RGB)

Ruang warna RGB tentu tidak dapat terlepas dari warna cahaya-cahaya primer. Cahaya-cahaya primer terdiri dari tiga komponen warna antara lain merah, hijau, dan biru. Ketiga warna primer ini tidak terlepas dari adanya warna cahaya-cahaya sekunder (cyan, magenta, dan kuning). [7] Warna-warna sekunder dapat terbentuk karena adanya kombinasi dari dua macam cahaya, sedangkan warna-warna tersier (abu-abu, putih) dapat terlihat bila terdapat tiga cahaya primer.

(a) (b)

Gambar 2.2. (a) Representasi RGB dalam Koordinat 3D ;

(b) Representasi RGB dalam Koordinat 2D [8]

Pada perhitungan dalam program-program komputer, model warna direpresentasi dengan nilai komponennya. Seperti pada Gambar 2.2. (b) dimana masing-masing komponen terdapat 256 tingkat, sedangkan Gambar 2.2. (a) menunjukkan koordinat 3D RGB dengan nilai warna bernilai 1. Contoh pembagian ruang warna RGB dapat ditunjukkan pada Gambar 2.3. berikut.

Gambar 2.3. (a) Contoh Citra RGB ; (b) Komponen Red ;

(c) Komponen Green ; (d) Komponen Blue

2.2.2. Hue, Saturation, and Value (HSV)

HSV (Hue, Saturation, and Value) adalah suatu sistem warna yang digunakan untuk memilih warna. Hue, saturation, dan value berkaitan dengan tint, shade, dan tone. Sistem HSV memiliki kelebihan dalam mendeskripsikan warna dibandingkan sistem RGB. [7]

Gambar 2.4. Koordinat Silindris 3-D HSV [9]

Pada Gambar 2.4. merupakan distribusi nuansa warna dalam ruang 3-D silinder HSV. Semua nuansa warna yang terletak pada tepi atau dinding terluar cone merupakan warna

yang memiliki tingkat saturasi 100% (tidak mengandung cahaya putih), sedangkan nuansa warna yang semakin mendekati titik pusat cone atau sumbu vertikal adalah warna yang semakin banyak mengandung cahaya putih dan saturasinya semakin mendekati 0%. Semakin ke bawah maka nilai setiap nuansa warna semakin kecil dan tampak semakin pekat atau gelap, sedangkan semakin ke atas tampak semakin cerah.

Gambar 2.5 (a) menunjukkan derajat warna hue serta persentase saturation dan

brightness. Derajat warna hue berada pada rentang 0 hingga 360 derajat. Seperti yang telah

ditampilkan pada derajat warna hue pada Gambar 2.5 (a) dimana merah berada pada nol (0) derajat. Tetapi tidak hanya warna merah, kuning berada pada 60 derajat, 120 derajat adalah hijau, 180 derajat adalah cyan, 240 derajat adalah biru, dan 300 derajat adalah magenta. Corak warna pada hue dapat ditemukan dalam spektrum warna sehingga beberapa jenis warna seperti merah, biru ataupun kuning menunjukkan jenis warna dari hue.

Saturasi (saturation) memiliki nilai berupa persentase, dimana saturasi sendiri merupakan ukuran besarnya kemurnian pada warna tersebut. Sama halnya dengan saturasi , komponen ketiga dari HSV yaitu value atau disebut juga intensitas (intensity) memiliki nilai berupa persentase. Persentase ini menunjukkan besarnya kecerahan dari suatu warna atau besarnya cahaya datang dari suatu warna. Value dapat dikatakan sebagai brightness, dikarenakan nilai dengan value 100% menunjukkan bahwa warna tersebut sangat cerah dan kebalikan bila value 0% akan tampak segelap mungkin. [7]

Gambar 2.5. (a) Level HSV [10]

Gambar 2.5. (Lanjutan) (b) Level Warna Hue [11]

Pembagian sistem warna HSV dapat dilihat pada contoh Gambar 2.6. Pada Gambar 2.6. (a) menunjukkan citra RGB pada Gambar 2.3 (a) dikonversikan menjadi dalam bentuk sistem warna HSV. Gambar 2.6 (b), (c), dan (d) merupakan komponen masing-masing pada

Hue, Saturation, and Value.

Gambar 2.6. (a) Citra HSV ; (b) Komponen Hue ; (c) Komponen Saturation ; (d)

Komponen Value

Nilai Hue, Saturation, and Value dapat diperoleh dengan beberapa cara berdasarkan nilai Red, Green and Blue. Cara pertama yang paling sederhana adalah sebagai berikut [12]:

𝐻 = 𝑡𝑎𝑛 ( 3(𝐺−𝐵)

(𝑅−𝐺)+(𝑅−𝐵)) (2.1)

𝑆 = 1 −min⁡(𝑅,𝐺,𝐵)

⁡𝑉 =𝑅+𝐺+𝐵

3

Persamaan 2.1 merupakan perhitungan cara pertama untuk melakukan pencarian terhadap nilai Hue, Saturation and Value. H merupakan nilai Hue, S merupakan nilai

Saturation dan V merupakan Value.

Bila S bernilai nol akan membuat hue menjadi tidak terdefinisi, sehingga dapat dilakukan dengan memberikan normalisasi terhadap RGB seperti pada persamaan 2.2 sebagai berikut : 𝑟 = 𝑅 (𝑅+𝐺+𝐵)⁡; ⁡𝑔 = ⁡ 𝐺 (𝑅+𝐺+𝐵)⁡; 𝑏 = ⁡ 𝐵 (𝑅+𝐺+𝐵) (2.2)

Berdasarkan nilai normalisasi pada persamaan 2.2, maka dapat dilakukan perhitungan untuk memperoleh nilai HSV seperti pada persamaan 2.3 berikut :

𝑉 = max⁡(⁡𝑟, 𝑔, 𝑏) (2.3) 𝑆 = {⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡0⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡, jika⁡V = 0 1 −min(𝑟,𝑔,𝑏) 𝑉 ⁡⁡, V > 0 𝐻 = { ⁡⁡ ⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡0⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡, jika⁡𝑆 = 0 ⁡⁡⁡⁡⁡⁡⁡⁡60(g−b) (𝑆)(𝑉) ⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡⁡, jika⁡𝑉 = 𝑟 60 [2 + 𝑏−𝑟 (𝑆)(𝑉)]⁡⁡⁡⁡⁡, jika⁡𝑉 = 𝑔 60 [4 + 𝑟−𝑔 (𝑆)(𝑉)]⁡⁡⁡⁡⁡, jika⁡𝑉 = 𝑏 ⁡⁡𝐻 = 𝐻 + 360⁡⁡⁡⁡⁡⁡⁡⁡, jika⁡𝐻 < 0

2.2.3. Citra Biner

Citra biner adalah citra digital yang hanya memiliki dua kemungkinan nilai pixel yaitu hitam dan putih. Citra biner juga disebut sebagai citra black and white atau citra monokrom dimana hanya membutuhkan satu bit untuk mewakili nilai setiap pixel dari citra biner. [13] Kegunaan citra biner adalah untuk memudahkan dalam proses pengenalan.

Proses segmentasi hingga memperoleh hasil biner diperoleh dengan cara membedakan antara objek dan latar belakangnya. Hal ini dikarenakan citra yang hendak dikenali hanya

pada satu objek. Citra yang ingin dikenali sebagai objek adalah citra yang berwarna kuning menggunakan level warna hue seperti yang ditunjukkan pada Gambar 2.5.

Diawali dengan konversi citra RGB ke HSV, kemudian dilakukan segmentasi

foreground dan segmentasi warna dengan menggunakan rentang warna kuning pada hue.

Citra biner dibentuk dengan menggunakan operasi pengambangan (thresholding).

Thresholding berfungsi untuk memisahkan tingkat keabuan. Tingkat keabuan yang lebih

kecil dari thresholding akan masuk dalam kelas berwarna hitam, sedangkan tingkat keabuan yang lebih besar dari thresholding masuk dalam kelas berwarna putih. Contoh citra biner dapat ditampilkan pada Gambar 2.7., dimana objek ditunjukkan dengan warna putih, sedangkan latar belakang berwarna hitam.

Gambar 2.7. Contoh Citra Biner

2.3. Moment Invariant Hu

Momen dapat menggambarkan suatu objek dalam hal area, posisi, orientasi, dan parameter terdefinisi lainnya. Momen spasial orde (m,n) dapat didefinisikan seperti persamaan 2.4 berikut:

𝑀𝑖𝑗 = ⁡ ∑𝑀𝑋=1∑𝑁𝑦=1𝑥𝑖𝑦𝑗𝐼(𝑥, 𝑦) (2.4)

Keterangan :

i, j = 0,1,2,…, dengan i j menyatakan orde momen M = jumlah kolom pada citra

N = jumlah baris pada citra x = ordinat piksel

I(x,y) = intensitas piksel pada posisi (x,y)

Momen pusat adalah momen spasial yang dihitung relatif terhadap pusat massa. Jika pusat massa adalah (𝑦̅, 𝑥̅ ), momen pusat ditampilkan pada persamaan 2.5 berikut :

𝜇_𝑖𝑗 = ⁡ ∑ ∑𝑁 (𝑥 − ⁡ 𝑥̅)𝑖_{(𝑦 −⁡ 𝑦̅)}𝑗_{𝐼(𝑥, 𝑦)} 𝑦=1

𝑀

𝑥=1 (2.5)

Momen pada persamaan 2.5 bersifat invariant dimana tidak terpengaruh terhadap translasi. Dalam hal ini, 𝑥⁡̅ dan 𝑦̅ diperoleh melalui persamaan 2.6 :

𝑥̅ = ⁡𝑀10 𝑀₀₀, 𝑦̅ = ⁡

𝑀01

𝑀₀₀ (2.6) Normalisasi perlu dilakukan agar tidak terpengaruh tidak hanya terhadap translasi, namun juga terhadap penyekalaan serta rotasi. Momen pusat ternormalisasi dapat dilakukan dengan persamaan 2.7 berupa :

ƞ𝑖𝑗= ⁡ 𝜇𝑝𝑞 𝜇_⁡00𝑦 , 𝛾 = ⁡

⁡𝑖+𝑗+2

2 (2.7)

Moment invariant merupakan sebuah metode pengambilan ciri dari sebuah objek. Ciri

yang diambil dapat berupa posisi, area, orientasi, dan ciri lainnya. Metode ini dikenalkan oleh Hu pada tahun 1961.[12] Persamaan dasar dari momen suatu objek didefinisikan pada rumus yang ditampilkan pada persamaan 2.8 berikut :

∅1 = ŋ20 + ŋ02 (2.8) ∅2 = (ŋ20 − ŋ02)2 _{+ (2ŋ02)}2 ∅3 = (ŋ30 − 3ŋ12)2 _{+ (ŋ03 − 3ŋ21)}2 ∅4 = (ŋ30 + ŋ12)2 _{+ (ŋ03 + ŋ21)}2 ∅5 = (ŋ30 − 3ŋ12)(ŋ30 + ŋ12)[(ŋ30 + ŋ12)2 _{− 3(ŋ21 + ŋ03)}2_{] + (ŋ03 − 3ŋ12)(ŋ03 + ŋ21)[(ŋ03 + ŋ12)}2 ₋ 3(ŋ12 + ŋ30)2_] ∅6 = (ŋ20 − ŋ02)[(ŋ30 + ŋ12)2 _{− (ŋ21 + ŋ03)}2_{] + 4ŋ11(ŋ30 + ŋ12)(ŋ03 + ŋ21)} ∅7 = (3ŋ21 − ŋ03)(ŋ30 + ŋ12)[(ŋ30 + ŋ12)2 _{− 3(ŋ21 + ŋ03)}2_{] (ŋ30 − 3ŋ12)(ŋ21 + ŋ03)[(ŋ03 + ŋ21)}2 ₋ 3(ŋ30 + ŋ12)2_]

Pemahaman mengenai ekstraksi ciri moment invariant hu dapat dilakukan perhitungan secara manual dengan mengikuti tahapan dalam program. Setelah perhitungan dilakukan, hasil yang telah diperoleh dapat dicocokkan dengan program yang dijalankan, serta

disesuaikan dengan input yang sama. Perhitungan dapat dilakukan seperti contoh Gambar 2.8. berikut ini.

Gambar 2.8. Contoh Perhitungan Manual

Pertama kali dilakukan perhitungan untuk mencari nilai 𝑥̅ dan 𝑦̅ seperti persamaan 2.6.

𝑥̅ = ⁡

𝑀10 𝑀₀₀

=

∑𝑥1⁡𝑦0⁡(I(x,y)>0) ∑𝑥0⁡𝑦0⁡(I(x,y)>0)

=

∑𝑥1⁡𝑦0⁡(I(x,y)>0) ∑𝑥0⁡𝑦0⁡(I(x,y)>0)

=

(⁡31.20⁡+⁡31.30⁡+⁡41.30⁡+⁡31.40⁡+⁡41.40⁡+⁡51.40⁡+21.50⁡+⁡31.50⁡+⁡41.50⁡+⁡51.50⁡+⁡61.50⁡+⁡31.60⁡+⁡⁡41.60⁡+⁡⁡51.60⁡⁡) (⁡30.20⁡+⁡30.30⁡+⁡40.30⁡+⁡30.40⁡+⁡40.40⁡+⁡50.40⁡+⁡20.50⁡+⁡30.50⁡+⁡40.50⁡+⁡50.50⁡+⁡60.50⁡+⁡30.60⁡+⁡40.60⁡+⁡50.60

=

(⁡3⁡+⁡3⁡+⁡4⁡+⁡3⁡+⁡4⁡+⁡5⁡+⁡2⁡+⁡3⁡+⁡4⁡+⁡5⁡+⁡6⁡+⁡3⁡+⁡4⁡+⁡5) (1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+1⁡⁡)

=

54 14= 3,8571

𝑦̅ = ⁡

𝑀01 𝑀₀₀

=

∑𝑥0⁡𝑦1⁡(I(x,y)>0) ∑𝑥0⁡𝑦0⁡(I(x,y)>0)

=

∑𝑥0⁡𝑦1⁡(I(x,y)>0) ∑𝑥0⁡𝑦0⁡(I(x,y)>0)

=

(⁡3 0 .21⁡+⁡30.31⁡+⁡40.31⁡+⁡30.41⁡+⁡40.41⁡+⁡50.41⁡+20.51⁡+⁡30.51⁡+⁡40.51⁡+⁡50.51⁡+⁡60.51⁡+⁡30.61⁡+⁡⁡40.61⁡+⁡⁡50.61⁡⁡) (⁡30.20⁡+⁡30.30⁡+⁡40.30⁡+⁡30.40⁡+⁡40.40⁡+⁡50.40⁡+⁡20.50⁡+⁡30.50⁡+⁡40.50⁡+⁡50.50⁡+⁡60.50⁡+⁡30.60⁡+⁡40.60⁡+⁡50.60

=

(⁡2⁡+⁡3⁡+⁡3⁡+⁡4⁡+⁡4⁡+⁡4⁡+⁡5⁡+⁡5⁡+⁡5⁡+⁡5⁡+⁡5⁡+⁡6⁡+⁡6⁡+⁡6) (1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+⁡1⁡+1⁡⁡) ⁡

=

63₁₄= 4,5

Langkah selanjutnya adalah perhitungan terhadap momen pusat yang ditampilkan pada persamaan 2.5. 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 1 1 0 0 0 0 0 1 1 1 0 0 0 1 1 1 1 1 0 0 0 1 1 1 0 0 0 0 0 0 0 0 0



₂₀

= ⁡ ∑(

𝑥 − 𝑥

̅)

𝑖

(

𝑦 − 𝑦

̅)

𝑗(I(x, y) > 0) ⁡⁡⁡= ⁡ ∑(𝑥 − 𝑥̅)2_{(𝑦 − 𝑦̅)}0 = ( (3-3,8571)2_(2-4,5)0 _{+ (3-3,8571)}2_(3-4,5)0 _{+ (4-3,8571)}2_(3-4,5)0 _{+ (3-3,8571)}2 (4-4,5)0 _{+ (4-3,8571)}2_(4-4,5)0 _{+ (5-3,8571)}2_(4-4,5)0 _{+ (2-3,8571)}2_(5-4,5)0 ₊ (3-3,8571)2_(5-4,5)0 _{+ (4-3,8571)}2_(5-4,5)0 _{+ (5-3,8571)}2_(5-4,5)0 _{+ (6-3,8571)}2_(5-4,5)0 ₊ (3-3,8571)2_(6-4,5)0 _{+ (4-3,8571)}2_(6-4,5)0 _{+ (5-3,8571)}2_(6-4,5)0 = 15,7142



₀₂

= ⁡ ∑(

𝑥 − 𝑥

̅)

𝑖

(

𝑦 − 𝑦

̅)

𝑗(I(x, y) > 0) ⁡⁡⁡= ⁡ ∑(𝑥 − 𝑥̅)0(𝑦 − 𝑦̅)2 = ( (3-3,8571)0_(2-4,5)2 _{+ (3-3,8571)}0_(3-4,5)2 _{+ (4-3,8571)}0_(3-4,5)2 _{+ (3-3,8571)}0 (4-4,5)2 _{+ (4-3,8571)}0_(4-4,5)2 _{+ (5-3,8571)}0_(4-4,5)2 _{+ (2-3,8571)}0_(5-4,5)2 ₊ (3-3,8571)0_(5-4,5)2 _{+ (4-3,8571)}0_(5-4,5)2 _{+ (5-3,8571)}0_(5-4,5)2 _{+ (6-3,8571)}0_(5-4,5)2 ₊ (3-3,8571)0_(6-4,5)2 _{+ (4-3,8571)}0_(6-4,5)2 _{+ (5-3,8571)}0_(6-4,5)2 = 19,5

Berdasarkan perhitungan ₂₀ dan ₀₂ yang telah dilakukan, sehingga menghasilkan nilai normomen lainnya yang ditunjukkan pada Tabel 2.1.

Tabel 2.1. Hasil Momen Pusat

₂₀ ₀₂ ₁₁ ₃₀ ₁₂ ₂₁ ₀₃

15,7142 19,5 4 4,7755 -5,7143 4,1429 -12

Setelah perhitungan momen pusat telah dilakukan, maka tahap selanjutnya adalah perhitungan terhadap momen pusat ternormalisasi seperti persamaan 2.7.



20

=



₂₀



₀₀𝑦

(

𝑦 = ⁡ 2+0+2 2 = ⁡ 4

2= 2

)

( Rumus momen pusat ternormalisasi 2,0)

=

_20 002

=

15.7142₁₄₂

=

0,08017



02

=



₀₂



₀₀𝑦

(

𝑦 = ⁡ 0+2+2 2 = ⁡ 4

=

_02

002

=

19,5

142

=

0,09949

Berdasarkan perhitungan 20 dan 02 yang telah dilakukan sebelumnya, sehingga menghasilkan momen pusat ternormalisasi yang ditunjukkan pada Tabel 2.2.

Tabel 2.2. Hasil Momen Pusat Ternormalisasi

20 02 11 30 12 21 03

0,0802 0,0995 0,0204 0,0065 -0,0078 0,0056 -0,0164

Berdasarkan Tabel 2.2. dilakukan perhitungan moment invariant hu

∅1 = ŋ20 + ŋ02

=

0,08017 + 0,09949 = 0,17966

∅2 = (ŋ20 − ŋ02)2 _{+ (2ŋ02)}2 _{= (0,08017 – 0,0995)}2 _{+ (2 x 0,0995)}2 _{= 0,03997}

∅3 = (ŋ30 − 3ŋ12)2 _{+ (ŋ03 − 3ŋ21)}2 _{= (0,0065 – 3 (-0,0078))}2 _{+ ((-0,0164) – 3(0,0056))}2 ₌ 0,00199

Berdasarkan perhitungan moment invariant hu di atas menggunakan persamaan 2.8 dapat menghasilkan nilai moment invariant hu secara keseluruhan pada Tabel 2.3.

Tabel 2.3. Hasil Moment Invariant Hu

∅1 ∅2 ∅3 ∅4 ∅5 ∅6 ∅7

0,17966 0,03997 0,00199 1,164.10-4 _-3,035.10-8 _3,305.10-6 _-5,141.10-16

2.3.1. Log Scale Moment Invariant Hu

Moment invariant hu yang dihasilkan sebelumnya seperti contoh pada Gambar 2.8.,

memiliki rentang yang cukup besar pada masing-masing nilai yang dihasilkan. [14] Menggunakan moment invariant hu serta log scale dapat membantu mengurangi kemungkinan adanya persamaan antara satu objek dengan objek lainnya. Pada dasarnya,

moment invariant hu memiliki sensitivitas terhadap nilai piksel, hal ini dapat disebabkan

oleh beberapa hal seperti faktor penerangan, lingkungan dsb. Log scale pada moment

invariant hu dapat ditunjukkan pada persamaan 2.9 berikut [14]

𝐻𝑖 = ⁡ −𝑠𝑖𝑔𝑛(𝐼)log⁡ |𝐼| (2.9)

Berdasarkan contoh perhitungan manual pada Gambar 2.8. serta hasil moment

invariant hu yang telah diketahui pada Tabel 2.3, maka hasil log scale dapat menghasilkan

nilai seperti Tabel 2.4. berikut.

Tabel 2.4. Hasil Perhitungan Log Scale

H1 H2 H3 H4 H5 H6 H7

0,7455 1,3983 2,6984 3,9340 -7,5178 5,4808 15,2889

2.4. Template Matching

Template matching merupakan suatu teknik di dalam pengolahan citra digital yang

ditujukan untuk menemukan bagian-bagian kecil dari suatu gambar dan dibandingkan dengan template gambar. Metode template matching dapat mewakili bagaimana otak manusia dapat mengenali suatu bentuk atau pola. [16].

2.4.1 Similaritas Kosinus

Similaritas kosinus adalah metode yang digunakan untuk menghitung nilai kemiripan dengan membandingkan antara data uji dengan database. [17] Perhitungan similaritas kosinus yang ditunjukkan pada persamaan 2.10 melakukan perhitungan nilai kosinus sudut pada kedua vektor.

𝑆𝑐𝑜𝑠 = ⁡ ∑𝑑𝑖=1𝑃𝑖𝑄𝑖 √∑𝑑_𝑖=1𝑃_𝑖2√∑𝑑_𝑖=1𝑄_𝑖2

(2.10)

Perbandingan ini dilakukan untuk menentukan keluaran akhir dari sistem program. [18] Berdasarkan persamaan 2.10 dapat dibuktikan dengan menggunakan perhitungan secara manual sebagai berikut.

P = [7 2] Q = [5 2] R = [3 4] S = [1 1] T = [7 8] U = [9 5]

V = [6 3]

Berdasarkan persamaan 2.10 dapat dilakukan perhitungan sebagai berikut. P.Q = (7.5) + (2.2) = 39

‖𝑃‖ = √72_{+ 2}2 _{= 7,28} ‖𝑄‖ = √52_{+ 2}2 _{= 5,385}

Sehingga dapat menghasilkan nilai similaritas kosinus

𝑆𝑐𝑜𝑠 = ⁡ 𝑃. 𝑄 ‖𝑃‖‖𝑄‖= ⁡

39

(7,28)(5,385)= 0,9948

Berdasarkan nilai vektor P yang sama dan mengganti nilai Q seperti yang ditunjukkan pada nilai Q1 dan Q2 pada Tabel 2.5., dihasilkan nilai similaritas kosinus sebagai berikut.

Tabel 2.5. Hasil Perhitungan Similaritas Kosinus

Q1 Q2 P.Q ‖𝑃‖ ‖𝑄‖ Scos Kelas 1 D1 5 2 39 7,28 5,385 0,9948 D2 3 4 29 7,28 5 0,7967 D3 1 1 9 7,28 1,414 0,8743 Kelas 2 D4 7 8 65 7,28 10,63 0,8399 D5 9 5 73 7,28 10,296 0,9739 D6 6 3 48 7,28 6,708 0,9829

2.5. K-Nearest Neighbour

K-Nearest Neighbour atau yang biasa disebut dengan k-NN dilakukan dengan mencari

kelompok K dalam data training yang paling dekat dengan data testing. k-NN mengklasifikasikan objek berdasarkan data latih yang jaraknya paling dekat dari objek tersebut. [19]

Proses kerja klasifikasi k-NN sebagai berikut :

1. Hasil similaritas kosinus yang telah didapatkan sesuai pada persamaan 2.10, diurutkan dari nilai terbesar hingga terkecil.

2. Menentukan nilai K (jumlah tetangga terdekat) 3. Memilih kelas dengan kemunculan terbanyak 4. Hasil klasifikasi ditampilkan.

Berdasarkan Tabel 2.5. penerapan similaritas kosinus dan k-NN dapat dijelaskan sebagai berikut.

1. Mengurutkan nilai similaritas kosinus dari terbesar hingga terkecil seperti yang ditampilkan pada Tabel 2.6.

Tabel 2.6. Urutan Similaritas Kosinus

D1 (kelas 1) D6 (kelas 2) D5 (kelas 2) D3 (kelas 1) D4 (kelas 2) D2 (kelas 1) 0,9948 0,9829 0,9739 0,8743 0,8399 0,7967

2. Mengambil sebanyak k (k=3) yang paling tinggi tingkat kemiripannya dengan P seperti pada Tabel 2.7.

Tabel 2.7. Pengambilan Nilai Sebanyak k=3

D1 (kelas 1) D6 (kelas 2) D5 (kelas 2)

0,9948 0,9829 0,9739

Bila k = 5, sehingga nilai yang paling tinggi tingkat kemiripannya diambil sebanyak 5 nilai seperti pada Tabel 2.8.

Tabel 2.8. Pengambilan Nilai Sebanyak k=5

D1 (kelas 1) D6 (kelas 2) D5 (kelas 2) D3 (kelas 1) D4 (kelas 2)

0,9948 0,9829 0,9739 0,8743 0,8399

3. Pengklasifikasian dapat diketahui dengan cara memilih kelas dengan kemunculan terbanyak. Berdasarkan Tabel 2.7. dengan k=3, kelas 2 diwakili dengan nilai D6 dan D5, sedangkan kelas 1 hanya diwakili oleh nilai D1. Hal ini menunjukkan bahwa P masuk dalam kelas 2.

Berdasarkan Tabel 2.8. dengan k=5, kelas 2 diwakili dengan nilai D6, D5, dan D4, sedangkan kelas 1 diwakili oleh nilai D1 dan D3. Hal ini menunjukkan bahwa dengan k=5, P masuk dalam kelas 2.

Bila pada suatu kasus, terdapat dua nilai atau lebih yang sama, maka penentuan keluarannya adalah nilai yang paling tertinggi pada urutan pertama.

19

BAB III

RANCANGAN PENELITIAN

Pembahasan mengenai langkah-langkah perancangan yang dilakukan akan dikupas pada Bab III ini. Pembahasan akan mencakup blok diagram sistem yang akan ditampilkan pada Gambar 3.1. dan berbagai hal terkait proses perancangan.

3.1. Perancangan Sistem

Gambar 3.1. Diagram Blok Sistem Pengenalan Pose Angka ASL

Berdasarkan Gambar 3.1., proses pengambilan citra dilakukan dengan menggunakan

webcam. Kemudian citra yang telah diambil akan diproses melalui beberapa tahap. Diawali

dengan tahap preprocessing yaitu input yang berupa citra RGB akan dikonversi menjadi citra biner menggunakan segmentasi HSV. Proses segmentasi dilakukan untuk menemukan objek yang berwarna kuning yaitu tangan yang menggunakan sarung tangan berwarna kuning. Kemudian hasil preprocessing di ekstraksi menggunakan metode moment invariant

hu, dan hasil ekstraksi akan dilakukan proses template matching menggunakan similaritas

kosinus dibandingkan dengan database. Hasil similaritas kosinus kemudian akan diklasifikasi menggunakan k-NN, hingga memberikan kesimpulan berupa keluaran teks.

Tahapan-tahapan tersebut akan dibahas secara lebih rinci pada proses kerja sistem. Program yang akan dibuat dalam penelitian pengenalan pose bahasa isyarat ditulis menggunakan matlab versi R2014b. Program memiliki peran yang sangat andil untuk dapat memperoleh hasil pengenalan pose bahasa isyarat. Sistem pengujian yang akan digunakan dilakukan secara real time dan non real time.

3.2. Proses Kerja Sistem

Pengenalan pose jari tangan ASL yang akan ditampilkan dalam bentuk teks diperlukan beberapa tahap terlebih dahulu. Diawali dengan tahap preprocessing, menggunakan ekstraksi ciri moment invariant hu, similaritas kosinus, hingga k-NN. Proses kerja sistem secara keseluruhan dapat ditampilkan pada Gambar 3.2. berikut.

Gambar 3.2. (Lanjutan) Diagram Alir Keseluruhan Proses Kerja Sistem

3.2.1. Input Data

Input data yang akan menjadi objek pengenalan adalah pose jari tangan dalam

memperagakan bahasa isyarat angka. Citra pose bahasa isyarat akan diambil dengan menggunakan sebuah alat webcam Logitech C270 dengan resolusi 3 MP. Jarak pengambilan citra dilakukan dengan jarak yang berbeda-beda. Hal ini ditujukan untuk membandingkan kualitas proses pengenalan dengan metode ekstraksi ciri moment invariant hu, serta banyaknya isyarat angka yang dapat dikenali pada beberapa jarak yang telah ditentukan tersebut. Proses input data ditampilkan pada diagram alir Gambar 3.3. berikut.

Gambar 3.3. Diagram Alir Pengambilan Citra

3.2.2. Preprocessing

Tahap preprocessing terdiri dari beberapa tahapan, diawali dengan citra pose angka ASL dalam bentuk citra RGB dikonversikan ke HSV, kemudian segmentasi warna HSV, hingga citra hasil preprocessing dalam bentuk citra biner. Secara garis besar tahap ini dapat digambarkan melalui diagram alir pada Gambar 3.4 berikut.

Gambar 3.4. Diagram Alir Preprocessing

Citra pose bahasa isyarat yang telah diambil menggunakan webcam merupakan format citra RGB. Dalam proses segmentasi HSV, dibutuhkan proses konversi dari format citra RGB menjadi format citra HSV. Proses konversi citra RGB dibutuhkan karena operasi pemrosesan citra dapat berjalan pada citra biner. Citra biner dapat diperoleh bila sebelumnya citra RGB dikonversi terlebih dahulu.

Proses konversi dari format RGB menjadi HSV telah dijelaskan sebelumnya pada persamaan 2.1. Proses ini akan dijelaskan pula menggunakan diagram alir yang terdapat pada Gambar 3.5.

Gambar 3.5. Diagram Alir Konversi RGB ke HSV

Pada tahap segmentasi HSV bertujuan untuk melakukan pemilihan warna yang telah dikelompokkan menjadi tiga kategori antara lain ruang warna hue, saturation, dan value. Segmentasi dilakukan terhadap ruang warna hue dikarenakan objek yang ingin dikenali berupa bahasa isyarat menggunakan sarung tangan berwarna kuning. Berdasarkan penelitian yang telah dilakukan oleh Putra memaparkan bahwa warna kuning menjadi pilihan dalam suatu gambar karena pada webcam tidak terdapat warna kuning lainnya. [4] Hal ini dapat mempermudah dalam melakukan proses segmentasi warna. Segmentasi warna dilakukan pada nilai warna yang memiliki rentang hue berwarna kuning yang terdapat pada Gambar 2.5. disesuaikan dengan objek yang ingin dikenali berupa bahasa isyarat menggunakan sarung tangan berwarna kuning. Proses segmentasi HSV dapat dipelajari menggunakan diagram alir pada Gambar 3.6. berikut.

Gambar 3.6. Diagram Alir Segmentasi HSV

3.2.3. Tahap Ekstraksi Ciri Moment Invariant Hu

Pengurangan banyaknya data yang akan diproses terlebih dahulu untuk mempermudah proses pada tahapan selanjutnya merupakan tahap ekstraksi ciri. Masukan berupa citra yang telah mengalami preprocessing sebelumnya. Citra hasil preprocessing kemudian di ekstraksi. Penelitian ini menggunakan ekstraksi ciri moment invariant hu, dimana akan menghasilkan tujuh nilai ekstraksi ciri.

Berdasarkan persamaan untuk menentukan nilai moment invariant hu yang telah

dijelaskan pada persamaan 2.8, dapat ditampilkan oleh diagram alir pada Gambar 3.7 berikut.

Gambar 3.7. Diagram Alir Moment Invariant Hu

3.2.4. Log Scale Moment Invariant Hu

Pada tahap ini nilai ekstraksi ciri yang telah diperoleh kemudian dilakukan perhitungan kembali menggunakan log scale seperti pada persamaan 2.9. Ekstraksi ciri

moment invariant hu yang telah dihitung menggunakan log scale, akan memperoleh hasil

berupa moment invariant hu terskala.

Penggunaan log scale moment invariant hu dilakukan baik terhadap data uji maupun

database. Hal ini membantu mengurangi adanya kesamaan antara nilai ekstraksi ciri yang

satu dengan yang lainnya. Diagram alir mengenai penggunaan log scale sehingga menjadi

Gambar 3.8. Diagram Alir Moment Invariant Hu Terskala

3.2.5. Perhitungan Similaritas Kosinus

Proses ini merupakan tahap perbandingan antara database dengan objek bahasa isyarat yang telah di ekstraksi sebelumnya dengan data uji yang telah melalui tahap preprocessing hingga menghasilkan nilai ekstraksi ciri. Dalam proses similaritas kosinus, hasil yang paling baik adalah nilai similaritas terbesar.

Proses similaritas kosinus seperti yang telah dijelaskan pada persamaan 2.10, akan digambarkan melalui diagram alir pada Gambar 3.9.

3.2.6. Penentuan Keluaran

Hasil pengenalan pose angka American Sign Language dapat diketahui dengan melakukan klasifikasi k-NN. Keluaran ditampilkan dalam bentuk teks pada monitor. Proses ini merupakan tahap akhir dalam proses pengenalan citra pola angka American Sign

Language yang akan digambarkan pada diagram alir Gambar 3.10. berikut.

3.3. Pembuatan Database

Penggunaan similaritas kosinus memerlukan database agar dapat dilakukan perbandingan dengan masukan. Database merupakan pola isyarat angka American Sign

Language yang terdiri dari angka 0-9. Database dilakukan dengan pengambilan citra dalam

bentuk RGB, kemudian dikonversikan dalam bentuk HSV. Setelah itu dilakukan proses segmentasi HSV dan di ekstraksi ciri menggunakan metode moment invariant hu. Hasil ekstraksi ciri ditampilkan dan disimpan dalam bentuk .mat. Proses pembuatan database ditampilkan pada Gambar 3.11. berikut.

Gambar 3.11. Diagram Alir Database

Pembuatan database dilakukan secara bertahap dimulai dari jarak terdekat yaitu 50 cm hingga 2,5 m. Pada masing-masing objek angka ASL, pengambilan data dilakukan pada lima titik yang berbeda. Database akan ditampilkan dalam bentuk array. Penjelasan mengenai pembuatan database dijelaskan pada Gambar 3.12. berikut.

Z{0-9} menjelaskan bahwa Z merupakan database angka 0-9

Pada masing-masing Z{...} merupakan data moment invariant hu dengan banyaknya n pengambilan yang telah dilakukan.

Sebagai contoh angka 0 mempunyai tujuh data moment invariant hu, dengan melakukan sebanyak lima kali pengambilan database dengan letak yang berbeda, sehingga array dapat ditampilkan dalam bentuk :

Z{0(angka 0)} = (dmh1.1 dmh2.1 ... dmh7.1) (dmh1.2 dmh2.2 ... dmh7.2) (dmh1.3 dmh2.3 ... dmh7.3) ... (dmh1.5 ... dmh7.5) Keterangan : dmh (data moment invariant hu)

Rincian database dalam bentuk array dapat dijabarkan dalam bentuk file.mat seperti yang telah dipaparkan pada Tabel 3.1. berikut. Pada masing-masing database berisi tujuh nilai ekstraksi ciri moment invariant hu.

Tabel 3.1. Database File.mat

Jarak 50 cm Angka 0 0_50cm_1 ; 0_50cm_2 ; 0_50cm_3 ; 0_50cm_4 ; 0_50cm_5 Angka 1 1_50cm_1 ; 1_50cm_2 ; 1_50cm_3 ; 1_50cm_4 ; 1_50cm_5 Angka 2 2_50cm_1 ; 2_50cm_2 ; 2_50cm_3 ; 2_50cm_4 ; 2_50cm_5 Angka 3 3_50cm_1 ; 3_50cm_2 ; 3_50cm_3 ; 3_50cm_4 ; 3_50cm_5 Angka 4 4_50cm_1 ; 4_50cm_2 ; 4_50cm_3 ; 4_50cm_4 ; 4_50cm_5 Angka 5 5_50cm_1 ; 5_50cm_2 ; 5_50cm_3 ; 5_50cm_4 ; 5_50cm_5 Angka 6 6_50cm_1 ; 6_50cm_2 ; 6_50cm_3 ; 6_50cm_4 ; 6_50cm_5 Angka 7 7_50cm_1 ; 7_50cm_2 ; 7_50cm_3 ; 7_50cm_4 ; 7_50cm_5 Angka 8 8_50cm_1 ; 8_50cm_2 ; 8_50cm_3 ; 8_50cm_4 ; 8_50cm_5 Angka 9 9_50cm_1 ; 9_50cm_2 ; 9_50cm_3 ; 9_50cm_4 ; 9_50cm_5 Jarak 1 m Angka 0 0_1m_1 ; 0_1m_2 ; 0_1m_3 ; 0_1m_4 ; 0_1m_5 Angka 1 1_1m_1 ; 1_1m_2 ; 1_1m_3 ; 1_1m_4 ; 1_1m_5 Angka 2 2_1m_1 ; 2_1m_2 ; 2_1m_3 ; 2_1m_4 ; 2_1m_5 Angka 3 3_1m_1 ; 3_1m_2 ; 3_1m_3 ; 3_1m_4 ; 3_1m_5 Angka 4 4_1m_1 ; 4_1m_2 ; 4_1m_3 ; 4_1m_4 ; 4_1m_5 Angka 5 5_1m_1 ; 5_1m_2 ; 5_1m_3 ; 5_1m_4 ; 5_1m_5 Angka 6 6_1m_1 ; 6_1m_2 ; 6_1m_3 ; 6_1m_4 ; 6_1m_5 Angka 7 7_1m_1 ; 7_1m_2 ; 7_1m_3 ; 7_1m_4 ; 7_1m_5 Angka 8 8_1m_1 ; 8_1m_2 ; 8_1m_3 ; 8_1m_4 ; 8_1m_5 Angka 9 9_1m_1 ; 9_1m_2 ; 9_1m_3 ; 9_1m_4 ; 9_1m_5 Jarak 1,5 m Angka 0 0_1,5m_1 ; 0_1,5m_2 ; 0_1,5m_3 ; 0_1,5m_4 ; 0_1,5m_5 Angka 1 1_1,5m_1 ; 1_1,5m_2 ; 1_1,5m_3 ; 1_1,5m_4 ; 1_1,5m_5 Angka 2 2_1,5m_1 ; 2_1,5m_2 ; 2_1,5m_3 ; 2_1,5m_4 ; 2_1,5m_5 Angka 3 3_1,5m_1 ; 3_1,5m_2 ; 3_1,5m_3 ; 3_1,5m_4 ; 3_1,5m_5 Angka 4 4_1,5m_1 ; 4_1,5m_2 ; 4_1,5m_3 ; 4_1,5m_4 ; 4_1,5m_5 Angka 5 5_1,5m_1 ; 5_1,5m_2 ; 5_1,5m_3 ; 5_1,5m_4 ; 5_1,5m_5 Angka 6 6_1,5m_1 ; 6_1,5m_2 ; 6_1,5m_3 ; 6_1,5m_4 ; 6_1,5m_5 Angka 7 7_1,5m_1 ; 7_1,5m_2 ; 7_1,5m_3 ; 7_1,5m_4 ; 7_1,5m_5 Angka 8 8_1,5m_1 ; 8_1,5m_2 ; 8_1,5m_3 ; 8_1,5m_4 ; 8_1,5m_5 Angka 9 9_1,5m_1 ; 9_1,5m_2 ; 9_1,5m_3 ; 9_1,5m_4 ; 9_1,5m_5 Jarak 2 m Angka 0 0_2m_1 ; 0_2m_2 ; 0_2m_3 ; 0_2m_4 ; 0_2m_5 Angka 1 1_2m_1 ; 1_2m_2 ; 1_2m_3 ; 1_2m_4 ; 1_2m_5 Angka 2 2_2m_1 ; 2_2m_2 ; 2_2m_3 ; 2_2m_4 ; 2_2m_5 Angka 3 3_2m_1 ; 3_2m_2 ; 3_2m_3 ; 3_2m_4 ; 3_2m_5 Angka 4 4_2m_1 ; 4_2m_2 ; 4_2m_3 ; 4_2m_4 ; 4_2m_5 Angka 5 5_2m_1 ; 5_2m_2 ; 5_2m_3 ; 5_2m_4 ; 5_2m_5

Tabel 3.1. (Lanjutan) Database File.mat Angka 6 6_2m_1 ; 6_2m_2 ; 6_2m_3 ; 6_2m_4 ; 6_2m_5 Angka 7 7_2m_1 ; 7_2m_2 ; 7_2m_3 ; 7_2m_4 ; 7_2m_5 Angka 8 8_2m_1 ; 8_2m_2 ; 8_2m_3 ; 8_2m_4 ; 8_2m_5 Angka 9 9_2m_1 ; 9_2m_2 ; 9_2m_3 ; 9_2m_4 ; 9_2m_5 Jarak 2,5 m Angka 0 0_2,5m_1 ; 0_2,5m_2 ; 0_2,5m_3 ; 0_2,5m_4 ; 0_2,5m_5 Angka 1 1_2,5m_1 ; 1_2,5m_2 ; 1_2,5m_3 ; 1_2,5m_4 ; 1_2,5m_5 Angka 2 2_2,5m_1 ; 2_2,5m_2 ; 2_2,5m_3 ; 2_2,5m_4 ; 2_2,5m_5 Angka 3 3_2,5m_1 ; 3_2,5m_2 ; 3_2,5m_3 ; 3_2,5m_4 ; 2_2,5m_5 Angka 4 4_2,5m_1 ; 4_2,5m_2 ; 4_2,5m_3 ; 4_2,5m_4 ; 2_2,5m_5 Angka 5 5_2,5m_1 ; 5_2,5m_2 ; 5_2,5m_3 ; 5_2,5m_4 ; 2_2,5m_5 Angka 6 6_2,5m_1 ; 6_2,5m_2 ; 6_2,5m_3 ; 6_2,5m_4 ; 2_2,5m_5 Angka 7 7_2,5m_1 ; 7_2,5m_2 ; 7_2,5m_3 ; 7_2,5m_4 ; 7_2,5m_5 Angka 8 8_2,5m_1 ; 8_2,5m_2 ; 8_2,5m_3 ; 8_2,5m_4 ; 8_2,5m_5 Angka 9 9_2,5m_1 ; 9_2,5m_2 ; 9_2,5m_3 ; 9_2,5m_4 ; 9_2,5m_5

Setelah proses pengambilan data dilakukan seperti pada penjelasan Gambar 3.12., maka hasil pada masing-masing file.mat akan ditampilkan seperti Gambar 3.13. berikut.

Jarak 50 cm

Angka 0 Angka 1 Angka 2 Angka 9

[7x25]1 [7x25]2 [7x25]3 ... [7x25]10

Jarak 1 m

Angka 0 Angka 1 Angka 2 Angka 9

[7x25]1 [7x25]2 [7x25]3 ... [7x25]10

. . .

Jarak 2,5 m

Angka 0 Angka 1 Angka 2 Angka 9

[7x25]1 [7x25]2 [7x25]3 ... [7x25]10

[7x25] merupakan database hasil ekstraksi ciri moment invariant hu, dimana angka 7 merupakan ketujuh nilai ekstraksi ciri moment invariant hu. Angka 25 menunjukkan bahwa pada satu objek angka, berisi ekstraksi ciri di 5 jarak pada 5 titik yang berbeda di masing-masing jarak.

Data yang telah tersimpan pada masing-masing file.mat kemudian digabungkan menjadi satu file.mat. Penyimpanan database dalam satu file akan memberikan hasil pada masing-masing objek angka ASL bertambah. Hal ini ditampilkan pada Gambar 3.14. berikut.

Angka 0 Angka 1 Angka 2 Angka 9

[7x25]1 [7x25]2 [7x25]3 ... [7x25]10

Gambar 3.14. Database Gabungan

Pembuatan database dilakukan dengan menyimpan hasil pose angka ASL dengan menginisialisasinya terlebih dahulu. Proses pengenalan hasil pengujian dapat dibandingkan dengan database yang telah disimpan sebelumnya dalam format file .mat seperti ditunjukkan pada Gambar 3.15. berikut.

Pengujian Angka 0 Angka 9

[ 𝑄1 𝑄2 𝑄3 𝑄4 𝑄5 𝑄6 𝑄7] = { [𝑄1,1] [𝑄1,2] … [𝑄1,25] [𝑄2,1] [𝑄2,2] … [𝑄2,25] [𝑄3,1] [𝑄3,2] … [𝑄3,25] [𝑄4,1] [𝑄4,2] … [𝑄4,25] [𝑄5,1] [𝑄5,2] … [𝑄5,25] [𝑄6,1] [𝑄6,2] … [𝑄6,25] [𝑄7,1] [𝑄7,2] … [𝑄7,25]} ... ... { [𝑄1,1] [𝑄1,2] … [𝑄1,25] [𝑄2,1] [𝑄2,2] … [𝑄2,25] [𝑄3,1] [𝑄3,2] … [𝑄3,25] [𝑄4,1] [𝑄4,2] … [𝑄4,25] [𝑄5,1] [𝑄5,2] … [𝑄5,25] [𝑄6,1] [𝑄6,2] … [𝑄6,25] [𝑄7,1] [𝑄7,2] … [𝑄7,25]}

Gambar 3.15. Proses Membandingkan Kemiripan Data Uji dan Database

3.3. Pengujian Pose Jari Tangan

Pengujian pose jari tangan dilakukan secara non real time dan real time. Penjelasan lebih rinci mengenai masing-masing pengujian dapat dilihat pada subbab 3.4.1. dan subbab 3.4.2. berikut.

3.4.1. Pengujian secara Non Real Time

Pengujian secara non real time diawali dengan pengambilan citra menggunakan

webcam. Citra yang telah di capture, disimpan dalam sebuah folder dan diberi nama pada

masing-masing citra yang telah diambil. Hal ini dilakukan untuk dapat memudahkan dalam proses pemanggilan dan pengolahan. Data tersebut kemudian akan diproses melalui beberapa tahap preprocessing, ekstraksi ciri, hingga template matching menggunakan similaritas kosinus dan klasifikasi k-NN.

Pengujian secara non real time ditampilkan pada command window pada matlab. Pengujian dapat dilakukan dengan mencocokkan hasil keluaran pada command window dengan database yang digunakan. Hasil akhir akan ditampilkan dalam bentuk teks. Pengujian secara non real time dilakukan secara dua tahap. Tahap pertama adalah file.mat pada data uji sama dengan file.mat pada database. Ketika pada tahap pertama keberhasilan telah mencapai 100%, maka dilakukan tahap kedua.

Tahap kedua adalah data uji merupakan file.mat yang berbeda posisi dan kemiringan dibandingkan dengan file.mat pada database. Data uji dilakukan dengan membuat kembali data dengan empat posisi yang berbeda dari database. Data uji dapat ditampilkan dalam bentuk file.mat yang berisi hasil ekstraksi ciri seperti pada Tabel 3.2. berikut.

Tabel 3.2. Pengujian Non Real Time

Jarak 50 cm

Angka 0 0_Uji50cm_1 ; 0_Uji50cm_2 ; 0_Uji50cm_3 ; 0_Uji50cm_4 Angka 1 1_Uji50cm_1 ; 1_Uji50cm_2 ; 1_Uji50cm_3 ; 1_Uji50cm_4 Angka 2 2_Uji50cm_1 ; 2_Uji50cm_2 ; 2_Uji50cm_3 ; 2_Uji50cm_4 Angka 3 3_Uji50cm_1 ; 3_Uji50cm_2 ; 3_Uji50cm_3 ; 3_Uji50cm_4 Angka 4 4_Uji50cm_1 ; 4_Uji50cm_2 ; 4_Uji50cm_3 ; 4_Uji50cm_4 Angka 5 5_Uji50cm_1 ; 5_Uji50cm_2 ; 5_Uji50cm_3 ; 5_Uji50cm_4 Angka 6 6_Uji50cm_1 ; 6_Uji50cm_2 ; 6_Uji50cm_3 ; 6_Uji50cm_4 Angka 7 7_Uji50cm_1 ; 7_Uji50cm_2 ; 7_Uji50cm_3 ; 7_Uji50cm_4 Angka 8 8_Uji50cm_1 ; 8_Uji50cm_2 ; 8_Uji50cm_3 ; 8_Uji50cm_4 Angka 9 9_Uji50cm_1 ; 9_Uji50cm_2 ; 9_Uji50cm_3 ; 9_Uji50cm_4 Jarak 1 m

Angka 0 0_Uji1m_1 ; 0_Uji1m_2 ; 0_Uji1m_3 ; 0_Uji1m_4 Angka 1 1_Uji1m_1 ; 1_Uji1m_2 ; 1_Uji1m_3 ; 1_Uji1m_4 Angka 2 2_Uji1m_1 ; 2_Uji1m_2 ; 2_Uji1m_3 ; 2_Uji1m_4 Angka 3 3_Uji1m_1 ; 3_Uji1m_2 ; 3_Uji1m_3 ; 3_Uji1m_4 Angka 4 4_Uji1m_1 ; 4_Uji1m_2 ; 4_Uji1m_3 ; 4_Uji1m_4 Angka 5 5_Uji1m_1 ; 5_Uji1m_2 ; 5_Uji1m_3 ; 5_Uji1m_4 Angka 6 6_Uji1m_1 ; 6_Uji1m_2 ; 6_Uji1m_3 ; 6_Uji1m_4

Tabel 3.2. (Lanjutan) Pengujian Non Real Time

Angka 7 7_Uji1m_1 ; 7_Uji1m_2 ; 7_Uji1m_3 ; 7_Uji1m_4 Angka 8 8_Uji1m_1 ; 8_Uji1m_2 ; 8_Uji1m_3 ; 8_Uji1m_4 Angka 9 9_Uji1m_1 ; 9_Uji1m_2 ; 9_Uji1m_3 ; 9_Uji1m_4 Jarak 1,5 m

Angka 0 0_Uji1,5m_1 ; 0_Uji1,5m_2 ; 0_Uji1,5m_3 ; 0_Uji1,5m_4 Angka 1 1_Uji1,5m_1 ; 1_Uji1,5m_2 ; 1_Uji1,5m_3 ; 1_Uji1,5m_4 Angka 2 2_Uji1,5m_1 ; 2_Uji1,5m_2 ; 2_Uji1,5m_3 ; 2_Uji1,5m_4 Angka 3 3_Uji1,5m_1 ; 3_Uji1,5m_2 ; 3_Uji1,5m_3 ; 3_Uji1,5m_4 Angka 4 4_Uji1,5m_1 ; 4_Uji1,5m_2 ; 4_Uji1,5m_3 ; 4_Uji1,5m_4 Angka 5 5_Uji1,5m_1 ; 5_Uji1,5m_2 ; 5_Uji1,5m_3 ; 5_Uji1,5m_4 Angka 6 6_Uji1,5m_1 ; 6_Uji1,5m_2 ; 6_Uji1,5m_3 ; 6_Uji1,5m_4 Angka 7 7_Uji1,5m_1 ; 7_Uji1,5m_2 ; 7_Uji1,5m_3 ; 7_Uji1,5m_4 Angka 8 8_Uji1,5m_1 ; 8_Uji1,5m_2 ; 8_Uji1,5m_3 ; 8_Uji1,5m_4 Angka 9 9_Uji1,5m_1 ; 9_Uji1,5m_2 ; 9_Uji1,5m_3 ; 9_Uji1,5m_4 Jarak 2 m

Angka 0 0_Uji2m_1 ; 0_Uji2m_2 ; 0_Uji2m_3 ; 0_Uji2m_4 Angka 1 1_Uji2m_1 ; 1_Uji2m_2 ; 1_Uji2m_3 ; 1_Uji2m_4 Angka 2 2_Uji2m_1 ; 2_Uji2m_2 ; 2_Uji2m_3 ; 2_Uji2m_4 Angka 3 3_Uji2m_1 ; 3_Uji2m_2 ; 3_Uji2m_3 ; 3_Uji2m_4 Angka 4 4_Uji2m_1 ; 4_Uji2m_2 ; 4_Uji2m_3 ; 4_Uji2m_4 Angka 5 5_Uji2m_1 ; 5_Uji2m_2 ; 5_Uji2m_3 ; 5_Uji2m_4 Angka 6 6_Uji2m_1 ; 6_Uji2m_2 ; 6_Uji2m_3 ; 6_Uji2m_4 Angka 7 7_Uji2m_1 ; 7_Uji2m_2 ; 7_Uji2m_3 ; 7_Uji2m_4 Angka 8 8_Uji2m_1 ; 8_Uji2m_2 ; 8_Uji2m_3 ; 8_Uji2m_4 Angka 9 9_Uji2m_1 ; 9_Uji2m_2 ; 9_Uji2m_3 ; 9_Uji2m_4 Jarak 2,5 m

Angka 0 0_Uji2,5m_1 ; 0_Uji2,5m_2 ; 0_Uji2,5m_3 ; 0_Uji2,5m_4 Angka 1 1_Uji2,5m_1 ; 1_Uji2,5m_2 ; 1_Uji2,5m_3 ; 1_Uji2,5m_4 Angka 2 2_Uji2,5m_1 ; 2_Uji2,5m_2 ; 2_Uji2,5m_3 ; 2_Uji2,5m_4 Angka 3 3_Uji2,5m_1 ; 3_Uji2,5m_2 ; 3_Uji2,5m_3 ; 3_Uji2,5m_4 Angka 4 4_Uji2,5m_1 ; 4_Uji2,5m_2 ; 4_Uji2,5m_3 ; 4_Uji2,5m_4 Angka 5 5_Uji2,5m_1 ; 5_Uji2,5m_2 ; 5_Uji2,5m_3 ; 5_Uji2,5m_4 Angka 6 6_Uji2,5m_1 ; 6_Uji2,5m_2 ; 6_Uji2,5m_3 ; 6_Uji2,5m_4 Angka 7 7_Uji2,5m_1 ; 7_Uji2,5m_2 ; 7_Uji2,5m_3 ; 7_Uji2,5m_4 Angka 8 8_Uji2,5m_1 ; 8_Uji2,5m_2 ; 8_Uji2,5m_3 ; 8_Uji2,5m_4 Angka 9 9_Uji2,5m_1 ; 9_Uji2,5m_2 ; 9_Uji2,5m_3 ; 9_Uji2,5m_4

3.4.2. Pengujian secara Real Time

Pengujian secara real time diawali dengan menekan tombol “Webcam On” untuk mengaktifkan fungsi webcam terlebih dahulu. Kemudian untuk pengambilan citra, pengguna atau user menekan tombol “Capture”. Proses pengujian secara real time tidak jauh berbeda dengan pengujian secara non real time, dimana pengujian dilakukan dengan cara