PERBANDINGAN METODE HARRIS CORNER DETECTION, EDGE BASED CORNER DETECTION DAN FAST CORNER DETECTION DALAM APLIKASI PENDETEKSI SENYUM PADA WAJAH MANUSIA

(1)

PERBANDINGAN METODE HARRIS CORNER DETECTION,

EDGE BASED CORNER DETECTION DAN FAST CORNER

DETECTION DALAM APLIKASI PENDETEKSI SENYUM PADA

WAJAH MANUSIA

Oleh

Eduard Royce Siswanto

NIM : 612009003

Skripsi

Untuk melengkapi syarat-syarat memperoleh

Ijasah Sarjana Teknik

Fakultas Teknik Elektronika dan Komputer

Program Studi Teknik Elektro

Universitas Kristen Satya Wacana

Salatiga

(2)

(3)

(4)

(5)

i

INTISARI

Ekspresi wajah adalah salah satu cara komunikasi bagi manusia untuk mengungkapkan perasaan, maksud, tujuan, dan pendapatnya kepada orang lain. Senyum merupakan salah satu ekspresi yang mewakili momen, kejadian ataupun perasaan bahagia dan banyak orang berusaha mengabadikan ekspresi ini. Karena itu, suatu sistem yang mampu mendeteksi ekspresi senyum, kemudian memerintahkan sebuah kamera untuk mengambil gambar, akan mempermudah usaha mengabadikan momen tersebut.

Skripsi ini membandingkan metode Harris Corner Detection, Edge Based Corner Detection dan FAST Corner Detection dengan kombinasi pra proses color segmentation dalam mendeteksi senyuman. Untuk menilai performa dari sistem pendeteksi senyum, digunakan perhitungan akurasi.

Dari hasil pengujian perangkat lunak didapatkan metode Harris Corner Detection memberikan hasil terbaik jika dikombinasikan dengan pra proses color segmentation dengan tingkat akurasi sebesar 77.5% dengan waktu komputasi sebesar 49.2 mili detik. Sedangkan FAST Corner Detection memberikan hasil terbaik tanpa kombinasi pra proses color segmentation dengan tingkat akurasi sebesar 59.5% dengan waktu komputasi sebesar 13.1 mili detik.

Kata kunci: smile detector, color segmentation, Harris corner detection, edge

(6)

ii

ABSTRACT

Facial expression is one among many communication ways for human to express their feelings, means, purposes, and opinions to others. Smile is an expression that represents happy moment, event or feeling and many people have tried to capture this expression. This is the main reason we need a system that is capable of detecting smile on human face and execute the camera to capture this moment.

This final project compares Harris Corner Detection, Edge Based Corner Detection and FAST Corner Detection with combination of color segmentation pre processing in detecting smile on human face. Accuracy calculation is used to calculate system’s performance.

From the experiments, Harris Corner Detection gives the best result while combined with color segmentation pre processing resulted 77.5% accuracy and computation time for 49.2 millisecond. FAST Corner Detection gives the best result without pre processing combination resulted 59.5% and computation time for 13.1 millisecond.

Keywords: smile detector, color segmentation, Harris corner detection, edge based

(7)

iii

KATA PENGANTAR

Pertama-tama, penulis panjatkan puji syukur dan terima kasih kepada Yesus Kristus atas karunia dan berkat-Nya yang melimpah sehingga skripsi ini dapat diselesaikan dengan baik. Penulis juga ingin mengucapkan terima kasih kepada pihak-pihak berikut:

1. Ibunda tercinta, Orita Tamara, kakak terkasih, Pamela Marchelli dan nenek tersayang, Elia Tamara atas kesabaran, pengertian, dukungan semangat serta cinta kasih yang tak berkesudahan.

2. Fakultas Teknik Elektronika dan Komputer, UKSW atas kesempatan yang diberikan kepada penulis untuk dapat menuntut ilmu dan pengalaman yang tak ternilai.

3. Kedua dosen pembimbing, Bpk. Iwan Setyawan dan Ivanna K. Timotius atas ilmu dan kesempatan yang diberikan kepada penulis untuk dibimbing selama pembuatan skripsi ini. Tanpa beliau berdua, skripsi ini tidak akan terwujud.

4. Seluruh dosen, laboran, staf administrasi dan pegawai yang bekerja di FTEK. Terima kasih atas ilmu pengetahuan dan bantuan yang telah diberikan.

5. Teman terdekat penulis di Salatiga, Budhi K. Wangsa, Ricky Jeconiah, Krisma Putra Salim, Jeffrey Pratama Santoso, Aletheia Anggelia Tonoro dan Anneke Putri K.W. Terima kasih atas semua dukungan, canda, tawa, air mata dan kenangan selama 4.5 tahun ini.

6. RH, yang selalu meragukan kemampuan penulis dari awal perkuliahan hingga skripsi ini selesai ditulis. Terima kasih atas pandangan meremehkan anda, sehingga karenanya penulis terpacu untuk selalu menjadi lebih baik. Skripsi ini adalah pembuktian bahwa saya mampu menyelesaikan apa yang sudah saya mulai.

7. Staf pengajar dan teman-teman di Yeti English Course, terutama Ma’am Yeti yang selalu menjadi sumber inspirasi saya dengan pola pikirnya yang berbeda, unik, cerdas, dan orisinil serta Miss Ida yang ramah, sabar, dan lemah lembut.

8. Teman-teman FTEK yang sudah mau difoto untuk dijadikan dataset skripsi, baik secara sukarela maupun terpaksa. Tanpa kalian, skripsi ini tidak akan bisa selesai. 9. Pihak-pihak lain yang tidak dapat disebutkan satu per satu. Terima kasih untuk

(8)

iv

Akhir kata, penulis sadar bahwa skripsi yang dikerjakan ini jauh dari kata sempurna. Tetapi penulis berharap skripsi ini dapat dibaca dan dikembangkan lebih lanjut oleh pihak lain dan menjadi berkat buat semua yang membutuhkan.

Mengutip dari mantan Koordinator Asisten favorit penulis, Regina Lionnie: HARD WORK PAYS!

Salatiga, 26 September 2013

(9)

v

DAFTAR ISI

INTISARI ... i

ABSTRACT ... ii

KATA PENGANTAR ... iii

DAFTAR ISI ... v

DAFTAR GAMBAR ... viii

DAFTAR TABEL ... x

DAFTAR LAMBANG ... xi

DAFTAR SINGKATAN ... xiii

BAB I. PENDAHULUAN... 1

1.1 Latar Belakang Masalah ... 1

1.2 Tujuan ... 3

1.3 Batasan Masalah ... 3

1.4 Hipotesis Awal ... 4

1.5 Sistematika Pembahasan ... 4

BAB II. LANDASAN TEORI ... 5

2.1 Metode Viola Jones untuk Mendeteksi Wajah ... 5

2.2 Konversi Citra RGB ke Grayscale... 5

2.3 Color Segmentation ... 6

2.4 Harris Corner Detection ... 6

2.5 Edge Based Corner Detection ... 11

2.6 FAST Corner Detection ... 12

2.7 Deteksi Senyum ... 14

2.8 Perhitungan Akurasi ... 14

BAB III. PERANCANGAN PERANGKAT LUNAK ... 16

3.1 Sistem Pendeteksi Senyum ... 16

3.2 Pemrosesan Data ... 16

3.2.1 Konversi Citra RGB ke Grayscale ... 16

3.2.2 Color Segmentation ... 17

3.3 Harris Corner Detection ... 18

3.4 Edge Based Corner Detection ... 19

3.5 FAST Corner Detection ... 20

(10)

vi

3.7 Perhitungan Akurasi ... 22

3.8 Pembuatan Dataset Skripsi ... 22

3.9 Graphical User Interface ... 23

BAB IV. PENGUJIAN PERANGKAT LUNAK DAN ANALISIS HASIL PENGUJIAN... 25

4.1 Pengambilan Data dan Metode Pengujian ... 25

4.2 Hasil dan Analisis ... 26

4.3 Perbandingan Ketiga Metode pada Percobaan Pertama ... 26

4.3.1 Harris Corner Detection ... 27

4.3.2 Edge Based Corner Detection ... 29

4.3.3 FAST Corner Detection ... 31

4.4 Perbandingan Ketiga Metode pada Percobaan Kedua ... 33

4.5 Perbandingan Ketiga Metode pada Percobaan Ketiga ... 37

4.6 Pendeteksian Senyum pada Citra dengan Subyek Lebih Dari Satu ... 44

BAB V. KESIMPULAN ... 46

5.1 Kesimpulan ... 46

5.2 Saran ... 46

DAFTAR PUSTAKA ... 47

LAMPIRAN A. SOURCE CODE PEMROGRAMAN YANG DIBUAT DENGAN MATLAB ... 49

A.1 Source Code Color Segmentation ... 49

A.2 Source Code Harris Corner Detection ... 49

A.3 Source Code Edge Based Corner Detection ... 50

A.4 Source Code FAST Corner Detection ... 51

A.5 Source Code Citra dengan Subyek Lebih Dari Satu ... 52

A.6 Source Code Graphical User Interface ... 53

LAMPIRAN B. TABEL HASIL PENGUJIAN PERANGKAT LUNAK ... 65

(11)

vii

B.1.1 Metode Harris Corner Detection ... 65

B.1.2 Metode Edge Based Corner Detection ... 67

B.1.3 Metode FAST Corner Detection ... 69

B.2 Tabel Hasil Percobaan Kedua ... 70

B.3 Tabel Hasil Percobaan Ketiga ... 75

B.4 Tabel Hasil Penambahan Batas Nilai Rata-rata Metode FAST Corner Detection ... 80

LAMPIRAN C. PENURUNAN HUBUNGAN DETERMINAN, TRACE DAN METODE HARRIS CORNER DETECTION ... 81

LAMPIRAN D. CONTOH DATASET SISTEM PENDETEKSI SENYUM ... 83

D.1 Dataset Pelatihan ... 83

D.2 Dataset Pengujian Ekspresi Tersenyum Percobaan Pertama ... 88

D.3 Dataset Pengujian Ekspresi Tersenyum Percobaan Ketiga ... 90

D.4 Dataset Pengujian Ekspresi Bukan Tersenyum ... 92

(12)

viii

DAFTAR GAMBAR

Gambar 2.1 Gradien Garis dari Suatu Piksel ... 7

Gambar 2.2 Pergeseran Jendela Gaussian ke arah (1,0) ... 8

Gambar 2.3 Pergeseran Jendela Gaussian ke arah (0,1) ... 8

Gambar 2.4 Hasil Harris Corner Detection ... 11

Gambar 2.5 Hasil Edge Detection Menggunakan Operator Sobel ... 12

Gambar 2.6 Jendela FAST Corner Detection ... 14

Gambar 3.1 Contoh Citra RGB Bibir yang Digunakan Dalam Skripsi ... 16

Gambar 3.2 Contoh Citra Bibir yang Telah Dikonversi ke Citra Grayscale ... 16

Gambar 3.3 Diagram Alir Pra Proses Color Segmentation ... 17

Gambar 3.4 Diagram Alir Metode Harris Corner Detection ... 18

Gambar 3.5 Diagram Alir Metode Edge Based Corner Detection ... 19

Gambar 3.6 Diagram Alir metode FAST Corner Detection ... 20

Gambar 3.7 Diagram Alir Proses Pendeteksian Senyum... 21

Gambar 3.8 Contoh Dataset dengan Ekspresi Tersenyum Lebar ... 23

Gambar 3.9 Contoh Dataset dengan Ekspresi Tersenyum Tipis ... 23

Gambar 3.10 Contoh Dataset dengan Ekspresi Bukan Tersenyum ... 23

Gambar 3.11 Graphical User Interface Skripsi ... 24

Gambar 3.12 Contoh Eksekusi Graphical User Interface Skripsi ... 24

Gambar 4.1 Grafik Harris Corner Detection Percobaan Pertama ... 27

Gambar 4.2 Grafik Perbandingan Akurasi Terhadap Sigma Metode Harris Corner Detection dengan k = 0.04 Percobaan Pertama... 27

Gambar 4.3 Grafik Perbandingan Akurasi Terhadap k Metode Harris Corner Detection dengan Sigma = 2 Percobaan Pertama ... 28

Gambar 4.4 Perbandingan Hasil Penggunaan Nilai Sigma 1.5 dengan Sigma 5 ... 28

Gambar 4.5 Kesalahan Pendeteksian Titik Sudut Bibir pada Nilai Sigma yang Terlalu Kecil ... 29

Gambar 4.6 Grafik Edge Based Corner Detection Percobaan Pertama ... 30

Gambar 4.7 Grafik Perbandingan Akurasi Terhadap Sigma Metode Edge Based Corner Detection dengan k = 0.15 Percobaan Pertama... 30

Gambar 4.8 Grafik Perbandingan Akurasi Terhadap k Metode Edge Based Corner Detection dengan Sigma = 1.5 Percobaan Pertama ... 31

(13)

ix

Gambar 4.9 Grafik FAST Corner Detection pada Percobaan Pertama ... 32 Gambar 4.10 Hasil Penggunaan Nilai Batas Ambang yang Berbeda Pada Citra

Bibir ... 32 Gambar 4.11 Grafik Harris Corner Detection Percobaan Kedua ... 33 Gambar 4.12 Grafik Perbandingan Akurasi Terhadap Sigma Metode Harris Corner Detection dengan k = 0.08 Percobaan Kedua ... 34 Gambar 4.13 Grafik Perbandingan Akurasi Terhadap k Metode Harris Corner

Detection dengan Sigma = 0.5 Percobaan Kedua ... 34 Gambar 4.14 Perbandingan Hasil Harris Corner Detection... 35 Gambar 4.15 Grafik Edge Based Corner Detection Percobaan Kedua ... 35 Gambar 4.16 Grafik Perbandingan Akurasi Terhadap Sigma Metode Edge Based

Corner Detection dengan k = 0.04 Percobaan Kedua ... 36 Gambar 4.17 Grafik Perbandingan Akurasi Terhadap k Metode Edge Based Corner Detection dengan Sigma = 1.5 Percobaan Kedua ... 36 Gambar 4.18 Grafik FAST Corner Detection Percobaan Kedua ... 37 Gambar 4.19 Sampel Data Uji Ekspresi Tersenyum yang Dideteksi Salah Oleh

Ketiga Metode ... 38 Gambar 4.20 Grafik Harris Corner Detection pada Percobaan Ketiga ... 38 Gambar 4.21 Grafik Perbandingan Akurasi Terhadap Sigma MetodeHarris Corner Detection dengan k = 0.08 Percobaan Ketiga ... 39 Gambar 4.22 Grafik Perbandingan Akurasi Terhadap k Metode Harris Corner

Detection dengan Sigma = 0.5 Percobaan Ketiga ... 39 Gambar 4.23 Grafik Edge Based Corner Detection pada Percobaan Ketiga ... 40 Gambar 4.24 Grafik Perbandingan Akurasi Terhadap Sigma Metode Edge Based

Corner Detection dengan k = 0.04 Percobaan Ketiga ... 40 Gambar 4.25 Grafik Perbandingan Akurasi Terhadap k Metode Edge Based Corner

Detection dengan Sigma = 1.5 Percobaan Ketiga ... 41 Gambar 4.26 Grafik FAST Corner Detection pada Percobaan Ketiga ... 41 Gambar 4.27 Perbandingan Hasil Pendeteksian Sudut Dengan Pra Proses Color

Segmentation Pada Subyek Dengan Warna Kulit Berbeda ... 42 Gambar 4.28 Contoh Citra Dengan Subyek Lebih Dari Satu ... 43 Gambar 4.29 Hasil Pengujian Metode Harris Corner Detection Pada Citra Dengan

(14)

x

DAFTAR TABEL

Tabel 4.1 Akurasi dan Waktu Komputasi Sistem Pendeteksi Senyum ... 42

Tabel B.1 Akurasi Metode Harris Corner Detection Percobaan Pertama ... 63

Tabel B.2 Akurasi Metode Edge BasedCorner Detection Percobaan Pertama .... 65

Tabel B.3 Akurasi Metode FAST Corner Detection Percobaan Pertama ... 67

Tabel B.4 Akurasi Metode Harris Corner Detection Percobaan Kedua ... 68

Tabel B.5 Akurasi Metode Edge BasedCorner Detection Percobaan Kedua ... 70

Tabel B.6 Akurasi Metode FAST Corner Detection Percobaan Kedua ... 72

Tabel B.7 Akurasi Metode Harris Corner Detection Percobaan Ketiga ... 73

Tabel B.8 Akurasi Metode Edge BasedCorner Detection Percobaan Ketiga ... 75

Tabel B.9 Akurasi Metode FAST Corner Detection Percobaan Ketiga ... 77

Tabel B.10 Akurasi Metode FAST Corner Detection dengan Penambahan Batas Nilai Rata-rata ... 78

(15)

xi

DAFTAR LAMBANG

a konstanta variabel orde 2 dari persamaan kuadrat

b konstanta variabel orde 1 dari persamaan kuadrat

c konstanta variabel orde 0 dari persamaan kuadrat

d jendela pada metode FAST Corner Detection

( , ) fungsi citra digital dua dimensi ke arah sumbu x dan sumbu y

k konstanta sensitivitas dari Harris Corner Detection

l jumlah piksel dalam jendela yang tergeser di Harris Corner Detection jumlah piksel di sekitar titik pusat p pada FAST Corner Detection titik pusat pada metode FAST Corner Detection

batas ambang nilai intensitas yang ditoleransi

arah pergeseran jendela ke sumbu horisontal

arah pergeseran jendela ke sumbu vertikal jumlah baris pada citra masukan

xmax koordinat x maksimum citra bibir pelatihan

xmax_u koordinat x maksimum citra bibir pengujian

xmin koordinat x minimum citra bibir pelatihan

xmin_u koordinat x minimum citra bibir pengujian

xp koordinat x dari titik pusat p jumlah kolom pada citra masukan

yp koordinat y dari titik pusat p

yrata rata-rata koordinat y citra bibir pelatihan

yrata_u rata-rata koordinat y citra bibir pengujian

y1 koordinat y titik sudut bibir sebelah kiri citra bibir pelatihan

y1_u koordinat y titik sudut bibir sebelah kiri citra bibir pengujian

y2 koordinat y titik sudut bibir sebelah kanan citra bibir pelatihan

y2_u koordinat y titik sudut bibir sebelah kanan citra bibir pengujian

( , ) jendela biner, bernilai 1 di seluruh jendela dan 0 diluar jendela

nilai tiap elemen jendela Gaussian di posisi (u, v)

, posisi jendela di sumbu horisontal u dan sumbu vertikal v

(16)

xii

gradien intensitas piksel ke-m dengan arah sumbu horisontal

gradien intensitas piksel ke arah sumbu vertikal

gradien intensitas piksel ke-m dengan arah sumbu vertikal

eigenvalue dari matriks M

σ standar deviasi distribusi Gaussian komponen (1,1) dari matriks M

, nilai intensitas piksel di arah sumbu horisontal i dan sumbu vertikal j

nilai blue dalam color space RGB

komponen (2,2) dari matriks M keputusan titik p sebagai sudut

komponen (1,2) dan (2,1) dari matriks M

, variasi intensitas citra yang tergeser ke arah (x,y)

nilai green dalam color space RGB

I citra bibir

nilai intensitas piksel ke-m nilai intensitas piksel ke-n

nilai intensitas titik p

, intensitas citra di posisi (u, v)

, intensitas citra yang tergeser ke arah (1,0), (1,1), (0,1), atau (-1,1)

matriks persamaan diferensial Harris Corner Detection nilai red dalam color space RGB

nilai tanggapan detektor Harris citra

gradien gabungan dari operator Sobel vertikal dengan Sobel horisontal

matriks operator Sobel vertikal

matriks operator Sobel horisontal

nilai piksel hasil konversi citra RGB ke grayscale

(17)

xiii

DAFTAR SINGKATAN

FAST Features from Accelerated Segment Test FP False Positive

FN False Negative

GUI Graphical User Interface HSI Hue, Saturation, Intensity RGB Red, Green, Blue

TP True Positive TN True Negative