DETEKSI DAN REKOGNISI WAJAH MENGGUNAKAN METODE VIOLA-JONES DAN JARINGAN SARAF KONVOLUSIONAL (CONVOLUTIONAL NEURAL NETWORK) SKRIPSI

(1)

DETEKSI DAN REKOGNISI WAJAH MENGGUNAKAN METODE VIOLA-JONES DAN JARINGAN SARAF

KONVOLUSIONAL (CONVOLUTIONAL NEURAL NETWORK)

SKRIPSI

TARUNA PRAYANTA ABADI TARIGAN 171402130

PROGRAM STUDI S1 TEKNOLOGI INFORMASI

FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA

MEDAN 2021

Universitas Sumatera Utara

(2)

DETEKSI DAN REKOGNISI WAJAH MENGGUNAKAN METODE VIOLA-JONES DAN JARINGAN SARAF

KONVOLUSIONAL (CONVOLUTIONAL NEURAL NETWORK)

SKRIPSI

Diajukan untuk melengkapi tugas dan memenuhi syarat memperoleh ijazah Sarjana Teknologi Informasi

TARUNA PRAYANTA ABADI TARIGAN 171402130

PROGRAM STUDI S1 TEKNOLOGI INFORMASI

FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA

MEDAN 2021

(3)

i

(4)

ii

PERNYATAAN

DETEKSI DAN REKOGNISI WAJAH MENGGUNAKAN METODE VIOLA-JONES DAN JARINGAN SARAF KONVOLUSIONAL

(CONVOLUTIONAL NEURAL NETWORK)

SKRIPSI

Saya mengakui bahwa skripsi ini adalah hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya.

Medan, 15 Juli 2021

TARUNA PRAYANTA ABADI TARIGAN 171402130

(5)

iii

UCAPAN TERIMAKASIH

Penulis memanjatkan puji dan syukur kehadirat Tuhan Yang Maha Esa, karena berkat kesehatan dan rahmat yang dilimpahkan, penulis dapat menyelesaikan penyusunan skripsi yang berjudul “Deteksi dan Rekognisi Wajah Menggunakan Metode Viola- Jones dan Jaringan Saraf Konvolusional (Convolutional Neural Network) sebagai salah satu syarat untuk memperoleh gelar Sarjana di Program Studi S1 Teknologi Informasi, Fakultas Ilmu Komputer dan Teknologi Informasi, Universitas Sumatera Utara.

Dalam proses penyusunan skripsi ini tidak terlepas dari berbagai kendala yang telah dihadapi. Penyusunan skripsi ini tidak lepas dari bantuan dan dukungan dari beberapa pihak baik secara langsung maupun tidak langsung. Pada kesempatan ini penulis mengucapkan terimakasih kepada :

1. Keluarga Penulis, Ayah Jujurenna Tarigan, Ibu Analistianti Ginting, serta adik Rachel Tarigan yang selalu memberikan dukungan, doa, semangat senantiantiasa kepada penulis, dan juga mau menjadi bagian dari hasil pengujian didalam skripsi ini.

2. Kerabat Penulis, Bibi Nana Ginting dan Suami John Ketaren, serta anaknya Keisa Ketaren, tidak lupa juga kepada Sepupu dan Pacar yaitu Ayu Mika dan Dessy Rs yang selalu memberikan dukungan dan semangat kepada penulis serta juga menjadi bagian dari hasil pengujian didalam skripsi ini.

3. Bapak Dr. Muryanto Amin, S.Sos., M.Si selaku Rektor Universitas Sumatera Utara.

4. Ibu Dr. Maya Silvi Lydia, M.Sc selaku Dekan Fasilkom-TI USU.

5. Ibu Sarah Purnamawati, S.T., M.Sc selaku Ketua Program Studi S1 Teknologi Informasi Universitas Sumatera Utara.

6. Bapak Niskarto Zendrato, S.Kom., M.Kom selaku Dosen Pembimbing I dan juga Bapak Indra Aulia, S.TI., M.Kom selaku Dosen Pembimbing II yang telah meluangkan waktunya untuk memberikan bimbingan, petunjuk, dan semangat dalam proses penyelesaian skripsi ini.

7. Bapak/Ibu dosen penguji.

8. Seluruh Dosen Program Studi S1 Teknologi Informasi yang telah memberikan ilmu selama perkuliahan.

9. Para staff dan pegawai Fasilkom-TI Universitas Sumatera Utara yang telah membantu dalam segala urusan administrasi di masa perkuliahan dan penyelesaian skripsi.

10. Kakak/abang senior yang memberikan saran, kritik, maupun masukan dan bantuan kepada penulis selama masa perkuliahan maupun selama masa pengerjaan skripsi.

(6)

iv

11. Teman-teman angkatan 2017 yang telah memberikan dukungan dan semangat selama masa perkuliahan dan juga selama masa pengerjaan skripsi yang tidak dapat penulis sebutkan satu-persatu.

12. Teman-teman di Kom A yang tidak dapat penulis sebutkan satu-persatu.

13. Para sahabat di Kom A, yaitu Egi Sebayang, Arlin Telaumbanua, Vincent Simanjuntak, Allen Tampubolon, Moris Martua, dan Jonathan Simanjuntak yang selalu memberikan dukungan, doa, dan semangat dimasa perkuliahan sampai selesai penyusunan skripsi ini.

14. Anggota JJM (Jalan Jalan Malam) yaitu David, Steven, Dika, Felix, Reza, Agung, dan Jerry yang telah mendukung pengerjaan skripsi ini dan juga menemani waktu senggang penulis dalam bermain game Mobile Legends Bang Bang.

15. Semua pihak yang terlibat langsung maupun tidak langsung yang tidak dapat penulis sebutkan satu-persatu yang telah membantu dalam penyelesaian skripsi ini.

Medan, 15 Juli 2021

Penulis

(7)

v

ABSTRAK

Ilmu pengetahuan dan teknologi saat ini berkembang sangat pesat yang berkaitan dengan permasalahan pada bidang ilmu komputer terkhusus yang berkaitan dengan pengolahan citra dan pembelajaran mesin dimana salah satunya adalah rekognisi wajah.

Dalam penelitian ini, komputer dilatih untuk belajar sehingga dapat mengenali individu.

Penulis mengusulkan judul Deteksi dan Rekognisi Wajah Menggunakan Metode Viola- Jones dan Jaringan Saraf Konvolusional (Convolutional Neural Network) untuk permasalahan rekognisi wajah secara realtime. Dari hasil yang diperoleh sampel citra wajah diambil menggunakan webcam internal kemudian dilakukan ekstraksi citra wajah untuk proses pelatihan dalam mendapatkan model rekognisi secara realtime, sehingga telah dilakukan proses pengujian dengan perangkat webcam internal laptop, hasil akurasi dari proses pengujian yang telah dilakukan untuk proses deteksi wajah adalah sebesar 82%, dan untuk proses rekognisi wajah adalah sebesar 90%.

Kata Kunci : deteksi dan rekognisi wajah, Viola-Jones, Jaringan Saraf Konvolusional (Convolutional Neural Network),

(8)

vi

FACE DETECTION AND RECOGNITION USING VIOLA-JONES METHOD AND

CONVOLUTIONAL NEURAL NETWORK

ABSTRACK

Science and technology is currently developing very rapidly related to problems in the field of computer science, especially those related to image processing and machine learning, one of which is facial recognition. In this study, computers are trained to learn so that they can recognize individuals. The author proposes the title Face Detection and Recognition Using the Viola-Jones Method and Convolutional Neural Network for real-time facial recognition problems. From the results obtained, facial image samples were taken using an internal webcam and then facial image extraction was carried out for the training process in obtaining a real-time recognition model, so that the testing process was carried out with an internal laptop webcam device, the results of the accuracy of the testing process that had been carried out for the face detection process were by 82%, and for the face recognition process is 90%.

Keywords: face detection and recognition, Viola-Jones, Convolutional Neural Network

(9)

vii

DAFTAR ISI

Hal

PERSETUJUAN i

PERNYATAAN ii

UCAPAN TERIMAKASIH iii

ABSTRAK v

ABSTRACK vi

DAFTAR ISI vii

DAFTAR TABEL ix

DAFTAR GAMBAR x

BAB 1 PENDAHULUAN 1

1.1. Latar Belakang 1

1.2. Rumusan Masalah 2

1.3. Tujuan Penelitian 3

1.4. Batasan Masalah 3

1.5. Manfaat Penelitian 3

1.6. Metodologi Penelitian 3

1.7. Sistematika Penulisan 4

BAB 2 LANDASAN TEORI 6

2.1. Citra 6

2.1.1 Citra Digital 6

2.1.2 Representasi Citra Biner 7

2.1.3 Representasi Citra Keabuan 7

2.1.4 Representasi Citra Warna 8

2.2. Rekognisi Wajah 9

2.3. Metode Viola-Jones 10

2.4. Konsep Neural Network 12

2.4.1 Perceptron 12

2.4.2 Multi Layer Perceptron 12

2.5. Convolution Neural Network 13

2.5.1 Arsitektur Jaringan Saraf Konvolusional 14

(10)

viii

2.5.2 Open Computer Vision 19

2.6. Penelitian Terdahulu 19

BAB 3 METODOLOGI PENELITIAN 21

3.1 Pendahuluan 21

3.2 Dataset 21

3.3 Perangkat Keras dan Perangkat Lunak 22

3.4 Arsitektur Umum 23

3.5 Pra-Proses 25

3.5.1 Proses baca nilai piksel citra 25

3.5.2 Proses perhitungan pikcel citra Grayscale 25

3.6 Viola-Jones 27

3.6.1 Haar Cascade Classifier 27

3.6.2 Integral Image 27

3.6.3 Adaboost 29

3.6.4 Cascade Classifier 29

3.7 Proses Deteksi Citra Wajah 29

3.8 Perancangan Antarmuka Sistem 30

BAB 4 HASIL DAN PEMBAHASAN 32

4.1 Hasil Pengujian 32

4.1.1 Pengambilan Dataset 32

4.1.2 Deteksi Citra Wajah 33

4.1.3 Pelatihan Model 36

4.1.4 Rekognisi Wajah 37

4.2 Pembahasan 48

BAB 5 KESIMPULAN DAN SARAN 50

5.1. Kesimpulan 50

5.2. Saran 51

DAFTAR PUSTAKA 52

(11)

ix

DAFTAR TABEL

Hal

Tabel 3.1 Contoh Citra RGB 5x5 piksel 26

Tabel 3.2 Hasil Perhitungan Nilai Citra RGB ke Grayscale 26

Tabel 3.3 Nilai Citra Grayscale 5 x 5 27

Tabel 3.4 Perhitungan Integral Image 28

Tabel 3.5 Hasil Perhitungan Integral Image 28

Tabel 4.1 Contoh Hasil Pengambilan Dataset 32

Tabel 4.2 Proses Deteksi dan Ekstraksi 34

Tabel 4.3 Keterangan TP, TN, FP dan FN 35

Tabel 4.4 Rekognisi Wajah Individu Frontal / Tampak Depan Secara Realtime 37 Tabel 4.5 Hasil Pengujian Rekognisi Wajah Frontal / Tampak Depan 40 Tabel 4.6 Rekognisi wajah berdasarkan jarak secara realtime 41 Tabel 4.7 Hasil Pengujian Rekognisi Wajah Berdasarkan Jarak 42 Tabel 4.8 Rekognisi Wajah dengan Aksesoris secara realtime 43

Tabel 4.9 Rekognisi wajah menggunakan Aksesoris 45

Tabel 4.10 Analisa Pengujian Keseluruhan Parameter 45

Tabel 4.11 Performa sistem rekognisi wajah 46

(12)

x

DAFTAR GAMBAR

Hal

Gambar 2.1 Koordinat citra digital 6

Gambar 2.2 Representasi Citra Biner 7

Gambar 2.3 Representasi Citra Keabuan 8

Gambar 2.4 Representasi Citra Warna 8

Gambar 2.5 Fitur Persegi panjang Haar 10

Gambar 2.6 Perhitungan Integral Image 11

Gambar 2.7 Proses Cascade Classifier 11

Gambar 2.8 Proses Masukan dan Keluaran Perceptron 12

Gambar 2.9 Proses Masukan dan Keluaran MLP 13

Gambar 2.10 Operasi Konvolusi 15

Gambar 2.11 Proses pergeseran konvolusi 16

Gambar 2.12 Proses pergeseran Pertama 16

Gambar 2.13 Proses pergeseran Terakhir 16

Gambar 2.14 Operasi Max Pooling 17

Gambar 2.15 Ilustrasi Fully Connected Layer 18

Gambar 3.1 Pengambilan Dataset 22

Gambar 3.2 Arsitektur Umum 24

Gambar 3.3 Citra Warna RGB 25

Gambar 3.4 Contoh Implementasi Haar Cascade Classifier 27

Gambar 3.5 Diagram Alir Proses Deteksi Wajah 30

Gambar 3.6 Rancangan Tampilan Halaman Menu Local 31

Gambar 3.7 Rancangan Tampilan Halaman Menu Webcam Universitas Sumatera Utara 31

(13)

xi

Gambar 4.1 Proses Deteksi dan Ekstraksi Citra Wajah 34

Gambar 4.2 Grafik Deteksi Citra Wajah 36

Gambar 4.3 Proses Training Citra Wajah 36

Gambar 4.4 Rekognisi Wajah Berdasarkan Sudut Kemiringan 48

(14)

1 BAB 1 PENDAHULUAN

1.1. Latar Belakang

Ilmu pengetahuan dan Teknologi dewasa ini berkembang sangat pesat sehingga mampu menyelesaikan berbagai permasalahan yang berfokus pada ilmu komputer khususnya berhubungan dengan pengolahan citra. Perkembangan teknologi pengolahan citra, bukan hanya dikarenakan kebutuhan - kebutuhan manusia saja, namun tak terlepas dari perkembangan sistem yang ada saat ini, sebagai contoh yang paling umum dapat dijumpai seperti teknologi sidik jari (finger print), perangkat ini tidaklah memerlukan administrator, cukup hanya dilakukan konfigurasi awal termasuk didalamnya proses verifikasi dan identifikasi basisdata sidik jari para penggunanya, bukan hanya teknologi pengolahan citra saja, namun yang melatar belakanginya juga ikut berkembang seperti metode rekognisi (recognition method).

Dalam kehidupan sehari – hari manusia tentunya dapat melakukan deteksi dan rekognisi wajah, sehingga dalam penelitian tugas akhir ini, mencoba untuk mengimplementasikan deteksi dan rekognisi wajah secara realtime melalui perangkat komputer laptop, proses yang terjadi yaitu pengambilan dataset dilakukan dengan mengambil citra atau gambar wajah menggunakan webcam internal laptop, selanjutnya dataset – dataset ini akan dideteksi dengan algoritma viola-jones, dimana algoritma ini mampu melakukan deteksi sangat cepat yang hasilnya digunakan untuk data training. Hasil akhir data training ini akan digunakan sebagai model untuk pengujian sistem rekognisi wajah secara realtime dengan algoritma jaringan saraf konvolusional (convolutional neural network).

Menurut penelitian (Omoyiola et al, 2018) rekognisi (recognition), merupakan sistem biometrik yang memiliki mekanisme otentifikasi dengan identifikasi karakter unik dari setiap individu. Beberapa cakupan sistem biometrik, seperti: rekognisi sidik

(15)

2

jari (fingerprint recognition), pemindai retina (scanning retina), rekognisi wajah (face recognition).

Menurut penelitian (Yuan, 2020), deteksi dan rekognisi wajah merupakan permasalahan semantik yang memiliki kesulitan cukup tinggi, dikarenakan performa yang dibutuhkan sering menyebabkan terlewatkannya pendeteksian untuk mendapatkan hasil akhir yaitu analisis dari wajah.

Pada penelitian (Jiang et al, 2020) yang berjudul Fast and Efficient Facial Expression Recognition Using a Gabor Convolutional Network melakukan rekognisi emosi dengan cara mendeteksi wajah menggunakan algoritma Gabor Convolutional Network. Hasil percobaan metode GCN membandingkan performa data citra dengan tingkat akurasi 89,39 %.

Dalam pemecahan masalah (Youhui, 2020) yang berkaitan dengan rekognisi (recognition) diperlukan pemilihan metode atau algoritma dengan performa yang baik, pada tahap ini peran dari pembelajaran mesin (machine learning) sangat diperlukan.

Teknologi komputasi semakin meluas pemanfaatannya pada bidang kecerdasan buatan, yang memiliki metode - metode dalam pendeteksian area wajah, seperti : scale invariant feature transform (SIFT), Histogram of Oriented Gradients (HOG), Local Binary Pattern Histogram (LBPH), Principle Component Analysis (PCA), Convolution Neural Network (CNN) dan masih terdapat berbagai metode dalam rekognisi wajah.

Dengan melihat latar belakang penelitian diatas, permasalahan yang akan diangkat dalam penelitian ini ialah bagaimana mengidentifikasi citra dalam hal deteksi dan rekognisi wajah manusia, maka penulis tertarik untuk mengangkat judul pada tugas akhir ini “Deteksi dan Rekognisi Wajah Menggunakan Metode Viola-Jones dan Jaringan Saraf Konvolusional (Convolutional Neural Network)”.

1.2. Rumusan Masalah

Melihat latar belakang diatas, maka permasalahan yang akan dikaji dalam penelitian tugas akhir ini adalah sebagai berikut:

1. Seberapa besar hasil akurasi dari proses deteksi dengan menggunakan metode viola-jones pada dataset citra wajah.

2. Seberapa besar hasil akurasi rekognisi wajah dengan metode jaringan saraf konvolusional (convolutional neural network).

(16)

3

1.3. Tujuan Penelitian

Tujuan dari penelitian dalam tugas akhir ini, yaitu mendeteksi dan merekognisi wajah menggunakan metode Viola-Jones dan Jaringan Saraf Konvolusional (Convolutional Neural Network) untuk deteksi dan rekognisi wajah secara realtime.

1.4. Batasan Masalah

Penulis membuat batasan masalah didalam tugas akhir ini, yaitu:

1. Dataset gambar diambil menggunakan webcam laptop dengan berekstensi

*.jpg

2. Dataset citra training berukuran 640x480 pixel.

3. Deteksi dan rekognisi wajah menggunakan metode viola-jones dan jaringan saraf konvolusional (convolutional neural network).

1.5. Manfaat Penelitian

Adapun manfaat dari penelitian ini adalah sebagai berikut:

1. Diharapkan penelitian ini nantinya, dapat menjadi bahan referensi studi dalam pembelajaran berkaitan dengan pengenalan wajah.

2. Melalui penelitian ini akan mengetahui hasil identifikasi wajah, nilai akurasi pada proses deteksi dan rekognisi wajah manusia berbasis data citra dengan algoritma viola-jones dan jaringan saraf konvolusional (convolutional neural network).

1.6. Metodologi Penelitian

Adapun proses pelaksanaan penelitian ini dilakukan dengan berbagai tahapan, sebagai berikut:

1. Studi Literatur

Tahapan awal yang dilakukan untuk kebutuhan penelitian ini, bertujuan untuk mengumpulkan dan mempelajari informasi yang berkaitan dengan memperolehnya dari buku, skripsi, jurnal dan media informasi pendukung lainnya.

(17)

4

2. Analisis Permasalahan

Tahapan ini dilakukan untuk menganalisis informasi yang telah diperoleh dari berbagai sumber agar didapatkan metode yang tepat dalam menyelesaikan permasalahan terkait penelitian ini.

3. Perancangan Sistem

Penelitian ini membutuhkan perancangan sistem yang nantinya akan digunakan dalam menyelesaikan permasalahan sesuai dengan metode yang akan digunakan.

4. Implementasi

Dalam penelitian ini diperlukan proses penerapan sesuai dari analisa perancangan yang akan digunakan pada sistem.

5. Pengujian

Merupakan tahapan yang dilakukan untuk pengujian sistem yang telah diimplementasikan dengan metode yang digunakan dalam penelitian ini.

6. Penyusunan Laporan

Tahapan yang dilakukan berupa pembuatan laporan hasil dari analisa permasalahan, perancangan dan implementasi sistem agar dapat dipahami serta dapat menjadi bahan referensi untuk penelitian selanjutnya.

1.7. Sistematika Penulisan

Sistematika penulisan Tugas Akhir dalam penelitian ini terdiri dari beberapa bagian, seperti:

BAB 1 : Pendahuluan

Bagian dalam bab ini, menjabarkan mengenai latar belakang, rumusan masalah, tujuan penelitian, batasan masalah, manfaat penelitian, metodologi penelitian dan sistematika penulisan.

(18)

5

BAB 2 : Landasan Teori

Bagian dalam bab ini, menjabarkan teori dan metode yang mendukung dalam pemecahan masalah pada penelitian ini.

BAB 3 : Analisis dan Perancangan

Bagian dalam bab ini, menjabarkan mengenai analisa arsitektur dan konfigurasi perancangan sistem untuk penyelesaian permasalahan pada penelitian ini.

BAB 4 : Implementasi dan Pengujian

Bagian dalam bab ini, menjabarkan bagaimana menginplementasikan dan menganalisa sistem untuk memperoleh hasil dalam penelitian ini.

BAB 5 : Kesimpulan dan Saran

Bagian dalam bab ini, menjabarkan secara singkat mengenai hasil yang diperoleh dalam penelitian ini.

(19)

6 BAB 2

LANDASAN TEORI

2.1 Citra

Gambaran dari objek nyata adalah sebuah citra, yang memiliki dua tipe, yakni digital dan analog, sebagai contoh dapat dijumpai pada televisi, streaming video, gambar cetak pada kertas, dan yang lainnya (Sutoyo, 2010).

2.1.1 Citra Digital

Citra digital adalah representasi dari suatu objek yang terbentuk dari gambar analog dua dimensi, yang memiliki peranan penting sebagai informasi berbentuk visual dan mempunyai karakteristik yang tidak dimiliki oleh teks dan suara. Citra dapat didefinisikan sebagai fungsi dua dimensi f(x,y), dimana x dan y adalah koordinat bidang datar, dan harga f pada setiap koordinat (x,y) disebut intensitas atau level keabuan (gray level) dari citra di titik itu. Jika x, y, dan f semuanya berhingga dan nilainya diskrit maka citra itu disebut citra digital (Gonzalez R. C et al, 2002). Citra digital dapat dibedakan menjadi beberapa jenis yaitu citra biner (binary image), citra keabuan (grayscale image) dan citra warna (color image).

Gambar 2.1 Kordinat citra digital (Gonzalez R. C et al, 2002)

(20)

7

2.1.2 Representasi Citra Biner

Memiliki pewarnaan hitam dan putih, dimana setiap bit terdiri dari bilangan biner 0 dan 1 dengan intensitas warna yaitu 0 dan 255, representasinya banyak diterapkan pada citra jenis teks, dapat dilihat pada persamaan berikut :

( ) ( ) { ( )

( ) ( ) Dalam bentuk floating point dapat dilihat pada persamaan :

( ) ( ) { ( )

( ) ( )

Dimana :

Ibin(x,y), dimana (x,y) merupakan nilai titik keabuan pada piksel.

Ibin(x,y), dimana (x,y) merupakan nilai titik binary pada piksel.

T, merupakan nilai ambang batas (treshold).

[[255 255 255 ... 255 0 255]

[255 255 255 ... 255 255 255]

...

[255 255 255 ... 255 255 255]

[255 255 255 ... 255 255 255]]

Gambar 2.2 Representasi Citra Biner

2.1.3. Representasi Citra Keabuan

Citra digital keabuan memilliki gradasi warna mulai dari putih sampai hitam. Rentang warna pada grayscale image banyak digunakan dalam dunia kedokteran (X-ray).

Grayscale merupakan hasil rata-rata dari color image dengan persamaan sebagai berikut :

( ) ^{( )} ^{( )} ^{( )} ...(2.3)

(21)

8

IR(x,y) : merupakan nilai piksel R pada titik (x,y) IG(x,y) : merupakan nilai piksel G pada titik (x,y) IB(x,y) : merupakan nilai piksel B pada titik (x,y)

IBW(x,y) : merupakan nilai piksel Black dan White pada titik (x,y).

[[158 157 156 ... 129 127 128]

[154 154 153 ... 130 129 129]

[152 151 151 ... 132 130 130]

...

[170 171 173 ... 159 162 163]

[171 169 167 ... 157 155 160]

[178 171 164 ... 153 152 157]]

Gambar 2.3 Representasi Citra Keabuan

2.1.4. Representasi Citra Warna

Citra Warna merupakan penggabungan dari tiga warna primer yaitu merah, hijau, dan biru (RGB). Nilai intensitas RGB, berkisar antara 0 sampai 255, dimana setiap komponen memiliki nilai 8 bit atau 2⁸. Kemungkinan warna pada komponen RGB yang dapat dihasilkan berkisar 2²⁴ atau 256 x 256 x 256 (16.777.216) kombinasi warna.

R G B

[[[146 159 161] ...

[129 134 119]

[[140 155 158] ...

[130 134 122]

[[136 152 158] ...

[132 136 125]

...

[[228 170 148] ...

[219 158 138]

[[229 171 149]...

[219 156 136]

[[238 178 156] ...

[215 152 132]

[145 158 160]

[131 132 116]

[140 155 158]

[131 134 118]

[135 151 157]

[130 135 120]

[229 171 149]

[224 161 140]

[227 169 147]

[219 153 134]

[231 171 149]

[216 150 131]

[144 156 160]

[132 134 115]]

[139 154 157]

[131 135 116]]

[135 151 157]

[130 136 119]]

[231 173 151]

[227 162 141]]

[225 167 145]

[224 159 138]]

[224 164 142]

[221 156 135]]]

Gambar 2.4 Representasi Citra Warna

(22)

9

2.2 Rekognisi Wajah

Rekognisi wajah adalah metode biometrik untuk mengidentifikasi dan mengenali seseorang berdasarkan citra wajah mereka. Metode biometrik telah dikembangkan sejak akhir 1980-an. Sistem pengenalan wajah merupakan aplikasi yang telah mendapat perhatian tinggi dari sudut pandang pasar komersial dan merupakan area yang berkembang pesat, menantang dan menarik dalam setiap waktu. Pengenalan wajah adalah proses mengidentifikasi atau memverifikasi seseorang dari suatu gambar dan membandingkan fitur yang dipilih dari gambar dengan database yang diberikan (Kumar et al, 2016).

Proses rekognisi wajah (face recognition) secara umum adalah terdiri dari: (Wijaya, 2020)

1. Acquisition module, merupakan blok input dari proses pengenalan wajah, sumbernya bisa berasal dari kamera ataupun file gambar.

2. Pre-processing module, merupakan proses penyesuaian citra input yang meliputi, normalisasi ukuran gambar, histogram equalization untuk meningkatkan kualitas citra input untuk memudahkan proses pengenalan tanpa kehilangan informasi utamanya, median filtering untuk menghilangkan noise akibat kamera atau pergeseran frame, high pass filtering untuk menunjukkan bagian tepi dari gambar, background removal untuk menghilangkan latar belakang sehingga hanya bagian wajah saja yang diproses dan pencahayaan dinormalkan saat mengambil citra input. Bagian pre-processing ini untuk menghilangkan masalah yang akan terkait dengan proses pengenalan wajah seperti yang dijelaskan diatas.

3. Feature Extraction module, digunakan untuk mengekstrak property bagian-bagian penting seperti vector yang merepresentasikan wajah dan bersifat unik.

4. Classification module, pada modul ini dengan bantuan pemisahan pola, fitur wajah dibandingkan dengan fitur yang tersimpan di database, sehingga dapat diketahui apakah citra wajah dikenali.

5. Training set, modul ini digunakan pada saat proses pembelajaran untuk menyimpan dan melatih pengenalan wajah. Semakin kompleks dan umum, maka akan semakin baik proses pengenalan wajah.

6. Database, berisi kumpulan gambar wajah yang telah disimpan.

(23)

10

2.3 Metode Viola-Jones

Menurut penelitian (Phuc et al, 2019), metode yang digunakan untuk melatih pembelajaran mesin dalam mendeteksi objek pada sebuah gambar juga dikenal dengan nama fitur haar (haar-like features). Dalam hal ini dapat juga digunakan untuk mendeteksi wajah, dengan melakukan proses ekstraksi fitur (feature extraction) dan klasifikasi (classification) untuk memberikan indikasi secara spesifik pada sebuah citra. Pelatihan data gambar memerlukan 2 jenis gambar objek yaitu sampel positif dan negatif, dimana objek yang akan dideteksi adalah positive samples dalam hal ini wajah dan objek yang bukan wajah negative samples.

Klasifikasi pendeteksian wajah dengan metode viola-jones sangat sukses dilakukan (Cuimei et al, 2017), dengan beberapa tahapan sebagai berikut (Zhu et al, 2015):

1. Fitur Haar (Haar-like features)

Merupakan fitur dalam rekognisi objek dikenal juga dengan nama haar wavelets, ciri utamanya adalah bentuk kombinasi dari persegi panjang terang dan gelap serta memiliki panjang yang sama, dapat dilihat dibawah ini.

Gambar 2.5 Fitur Persegi panjang Haar

(24)

11

2. Gambar Integral (Integral Image)

Proses penjumlahan area tabel, dimana algoritma ini dianggap menggunakan komputasi yang cepat dan efisien dalam perhitungan jumlah pixel dalam gambar.

Gambar 2.6 Perhitungan Integral Image (https://theailearner.com/tag/cv2- integral/)

3. Adaboost

Merupakan algoritma pembelajaran, dimana dalam bentuk aslinya digunakan untuk meningkatkan kinerja klasifikasi yang lemah (weak classifier), dengan mengoptimalkan nilai ambang (treshold) fungsi klasifikasi, sehingga dengan adanya prosedur ini mendapatkan hasil klasifikasi yang kuat (strong classifier).

4. Cascade Classifier

Proses penyaringan citra dengan banyaknya fitur masukan oleh algoritma adaboost, dapat dilihat pada gambar 2.7 dibawah ini:

Gambar 2.7 Proses Cascade Classifier (Cuimei et al, 2017)

(25)

12

2.4 Konsep Neural Network

Perceptron adalah unit yang paling dasar untuk memperkuat dalam hal pembelajaran mendalam (Deep Learning), merupakan saraf tiruan (artificial neuron) yang apabila disatukan dapat memecahkan permasalahan yang kompleks, layaknya permasalahan yang dikerjakan manusia (Syafeeza, 2014).

2.4.1 Perceptron

Merupakan algoritma klasifikasi biner sederhana yang diusulkan oleh ilmuwan Cornell Frank Rosenblatt, tujuannya untuk membantu sekumpulan sinyal masukan menjadi dua bagian 1 atau 0.

Gambar 2.8 Proses Masukan dan Keluaran Perceptron (Syafeeza, 2014)

2.4.2 Multi Layer Perceptron (MLP)

Merupakan sekumpulan perceptron yang bekerja sama dengan perceptron tambahan, ditumpuk menjadi beberapa lapisan dalam menyelesaikan permasalahan yang kompleks.

(26)

13

Gambar 2.9 Proses Masukan dan Keluaran MLP (ICHI.org)

2.5. Convolutional Neural Network (CNN)

Convolutional Neural Network (CNN) adalah pengembangan dari Multilayer Perceptron (MLP) yang dirancang untuk memproses data dua dimensi. CNN termasuk dalam jenis jaringan saraf dalam karena kedalaman jaringannya yang tinggi dan diterapkan secara luas pada data gambar. Pada kasus penggolongan gambar, MLP kurang sesuai untuk dipakai karena tidak menyimpan informasi spasial dari data gambar dan mengasumsikan bahwa setiap piksel adalah fitur independen, yang mengarah pada hasil yang buruk.

CNN pertama kali dikembangkan dengan nama NeoCognitron oleh Kunihiko Fukushima, seorang peneliti di NHK Broadcasting Science Research Laboratories, Kinuta, Setagaya, Tokyo, Jepang. Konsep ini kemudian dikembangkan oleh Yann LeChun, seorang peneliti di AT&T Bell Laboratories di Holmdel, New Jersey, USA.

Model CNN yang disebut LeNet berhasil diterapkan oleh LeChun dalam penelitiannya tentang pengenalan angka dan tulisan tangan. Pada tahun 2012, Alex Krizhevsky memenangkan ImageNet Large Scale Visual Recognition Challenge 2012 dengan aplikasi CNN-nya. Keberhasilan ini menjadi momen uji coba metode deep learning, terkhusus untuk CNN. Metode CNN terbukti lebih berhasil dalam mengklasifikasikan objek gambar dibandingkan metode pembelajaran mesin lainnya seperti SVM.

(27)

14

2.5.1 Arsitektur Jaringan Saraf Konvolusional

Jaringan saraf konvolusional terdiri dari beberapa lapisan dan beberapa neuron di setiap lapisan. Kedua hal ini tidak dapat ditentukan dengan aturan yang tepat dan berlaku secara berbeda pada data yang berbeda. Dalam kasus MLP, jaringan tanpa lapisan tersembunyi dapat memetakan persamaan linier apapun, sedangkan jaringan dengan satu atau dua lapisan tersembunyi dapat memetakan sebagian besar persamaan dalam data sederhana. Namun MLP memiliki keterbatasan untuk data yang lebih kompleks. Dengan permasalahan jumlah lapisan yang tersembunyi dibawah tiga lapisan, maka dilakukan pendekatan untuk menentukan jumlah neuron pada setiap lapisan agar lebih mendekati hasil yang optimal. Penggunaan lebih dari dua lapisan umumnya tidak dianjurkan karena akan mengakibatkan overfitting dan secara signifikan mengurangi kekuatan dari backpropagation.

Dengan berkembangnya deep learning, ditemukan bahwa untuk mengatasi kekurangan MLP dalam menangani data yang kompleks, diperlukan suatu fungsi yang mengubah data masukan menjadi bentuk yang lebih mudah dipahami oleh MLP.

Pengembangan model jaringan saraf dengan beberapa lapisan di atas tiga. Namun karena peran lapisan pertama sebagai metode ekstrasi fitur, jumlah lapisan dalam DNN tidak memiliki aturan universal dan diterapkan secara berbeda tergantung pada kumpulan data yang digunakan. Jaringan dan jumlah neuron di setiap lapisan dianggap sebagai hyperparameter dan dioptimalkan menggunakan pendekatan pencarian. Sebuah CNN terdiri dari beberapa lapisan. Menurut arsitektur LeNet5 [8], ada empat jenis lapisan utama di CNN, tetapi hanya tiga lapisan yang berlaku untuk tugas akhir ini, yaitu:

1) Lapisan Konvolusional

Lapisan Konvolusi melakukan operasi konvolusi pada output lapisan sebelumnya.

Lapisan ini merupakan proses utama yang mendasari sebuah CNN. Konvolusi adalah istilah matematis yang berarti berulang kali menerapkan suatu fungsi ke keluaran fungsi lainnya. Dalam pemrosesan gambar, konvolusi berarti menerapkan kernel (kotak kuning) ke gambar di semua kemungkinan offset, seperti yang ditunjukkan pada gambar 2.10. Kotak hijau secara keseluruhan adalah citra yang akan di konvolusi. Kernel bergerak dari sudut kiri atas ke kanan bawah. Hasil pelipatan gambar dapat dilihat di sebelah kanannya.

(28)

15

Gambar 2.10 merupakan operasi konvolusi yang tujuan dilakukannya konvolusi pada data citra adalah untuk mengekstraksi fitur dari citra input. Konvolusi akan menghasilkan transformasi linear dari data input sesuai informasi spasial pada data.

Bobot pada layer tersebut menspesifikasikan kernel konvolusi yang digunakan, sehingga kernel konvolusi dapat dilatih berdasarkan input pada CNN.

Gambar 2.10 Operasi Konvolusi

proses konvolusi yang terjadi pada gambar diatas dapat dilihat pada persamaan (2.4) + 1 ... (2.4)

dimana :

W adalah ukuran citra masukan F adalah ukuran kernel atau feature P adalah padding

S adalah stride

Pada gambar 2.11 dapat diketahui bahwa W = 5 x 5, F = 3x3, P = 0 dan S = 1.

Sehingga hasil perhitungan sebagai berikut : ( )

Tahapan selanjutnya adalah proses pergeseran konvolusi dari awal sampai dengan terakhir dapat dilihat pada gambar dibawah ini:

(29)

16

4 3 4

=

Posisi 1 Posisi 2 Posisi 3

Gambar 2.11 Proses pergeseran konvolusi

0 2 1 1 1

1 1 1 1 2 1 0 1 5

2 0 1 1 1 X 0 1 0 =

0 1 1 1 2 1 0 1

1 0 2 1 1 Kernel 3 x 3 Feature Map

Citra Masukan

Gambar 2.12 Proses pergeseran Pertama

0 2 1 1 1

1 1 1 1 2 1 0 1 5 5 5

2 0 1 1 1 X 0 1 0 = 3 5 7

0 1 1 1 2 1 0 1 7 3 6

1 0 2 1 1 Kernel 3 x 3 Feature Map

Citra Masukan

Gambar 2.13 Proses pergeseran Terakhir

Sehingga dari hasil proses pergeseran konvolusi pada gambar 2.11 dan 2.12 diatas dapat dituliskan perhitungan setiap perpindahan posisi sebagai berikut :

Posisi 1 :

(0 x 1) + (2 x 0) + (1 x 1) + (1 x 0) + (1 x 1) + (1 x 0) + (2 x 1) + (0 x 1) + (1 x 1) = 5 Posisi 2 :

(1 x 1) + (1 x 0) + (1 x 1) + (2 x 0) + (0 x 1) + (1 x 0) + (0 x 1) + (0 x 1) + (1 x 1) = 3

(30)

17

Posisi 5 :

(1 x 1) + (1 x 0) + (1 x 1) + (1 x 0) + (1 x 1) + (2 x 0) + (2 x 1) + (1 x 0) + (1 x 1) = 6

2) Max Pooling

Max pooling adalah proses memperkecil ukuran data suatu citra. Dalam pengolahan citra, juga bertujuan untuk meningkatkan invariansi posisi dari fitur. Di sebagian besar CNN, pengelompokan maksimum membagi output dari lapisan konvolusi menjadi beberapa grid kecil dan kemudian mengambil nilai maksimum dari setiap grid untuk membuat matriks gambar yang direduksi. Seperti ditunjukkan pada gambar 2.14, grid merah, hijau, kuning, dan biru adalah grup grid yang nilai maksimumnya dipilih. Oleh karena itu, hasil proses dapat dilihat di sebelah kanan dalam kumpulan grid, yang memastikan bahwa fitur yang diperoleh tetap sama meskipun objek citra mengalami pergeseran.

Gambar 2.14 Operasi Max Pooling (Sena, 2017)

(31)

18

Menurut Springenberg et al, penggunaan pooling layer pada CNN hanya dimaksudkan untuk memperkecil ukuran gambar sehingga dapat dengan mudah digantikan oleh convolution layer dengan stride yang sama dengan pooling layer yang berkaitan.

3) Fully Connected Layer

Layer ini merupakan layer yang biasa digunakan dalam pengaplikasian MLP yang bertujuan untuk mentransformasikan dimensi data sehingga data dapat diklasifikasikan secara linier. Setiap neuron pada lapisan konvolusional harus diubah menjadi data satu dimensi sebelum dapat memasuki lapisan yang terhubung penuh.

Akibatnya, data kehilangan informasi spasialnya dan tidak dapat dibalik, lapisan yang terhubung penuh hanya dapat diimplementasikan di ujung jaringan. Dalam sebuah jurnal oleh Lin et al, dijelaskan bahwa lapisan konvolusi dengan ukuran kernel 1 x 1 melakukan fungsi yang sama dengan lapisan yang sepenuhnya terhubung, tetapi mempertahankan karakter spasial data sehingga penggunaan lapisan yang sepenuhnya terhubung di CNN saat ini tidak banyak digunakan. Blok arsitektur dapat dilihat dibawah ini:

Gambar 2.15 Gambaran Fully Connected Layer (Herlambang, 2019)

(32)

19

1.5.2 Open Computer Vision (OpenCV)

Merupakan pustaka perangkat lunak visi computer open source dan pembelajaran mesin (Machine Learning). OpenCV dibangun untuk menyediakan infrastruktur umum untuk aplikasi visi komputer dan untuk mempercepat penggunaan persepsi alat berat pada produk komersial. Menjadi produk berlisensi BSD, OpenCV memudahkan bisnis untuk dapat dimanfaatkan dan dimodifikasi (OpenCV Team, 2019).

Pustaka OpenCV memiliki lebih dari 2500 algoritma yang dioptimalkan, yang mencakup serangkaian komprehensif visi komputer dan algoritma mesin pembelajaran yang mutakhir. Algoritma ini dapat digunakan untuk mendeteksi dan mengenali wajah, mengidentifikasi objek, melacak objek bergerak dan mengekstraksi model objek 3D.

1.6 Penelitian Terdahulu

Beberapa penelitian telah dilakukan antara lain:

No Nama Penulis Judul

1 Jiang et al (2020) Fast and Efficient Facial Expression Recognition Using a Gabor Convolutional Network mengatakan Pengenalan ekspresi wajah otomatis adalah topik mendasar dalam visi komputer. Banyak penelitian telah menunjukkan bahwa perubahan emosi wajah sangat terkait dengan wilayah minat tertentu (ROI), seperti mulut, mata, alis, dan hidung;

oleh karena itu, fitur ROI wajah ini sangat penting untuk mengidentifikasi ekspresi. Dalam penelitiannya menggunakan metode Garbor Convolutional Network untuk melakukan rekognisi ekspresi wajah. Hasil eksperimen metode GCN membandingkan performa data citra dengan akurasi 89,39%.

2 Yuan, 2020 Face Detection and Recognition Based on Visual Attention Mechanism Guidance Model

(33)

20

in Unrestricted Posture, mengatakan Kinerja deteksi dan pengenalan wajah terpengaruh dan rusak karena oklusi sering menyebabkan deteksi yang terlewatkan, masalah deteksi wajah disederhanakan menjadi masalah deteksi fitur semantik tingkat tinggi melalui jaringan analitik yang ditingkatkan, dan lokasi serta skala wajah diprediksi oleh peta aktivasi untuk menghindari pengaturan parameter tambahan. Dalam penelitiannya, rekognisi wajah merupakan permasalahan semantik yang memiliki kesulitan cukup tinggi, dikarenakan performa yang dibutuhkan sering menyebabkan terlewatkannya pendeteksian untuk mendapatkan hasil akhir yaitu analisis dari wajah.

3 Omoyiola et al (2018) Overview of Biometric and Facial Recognition Techniques mengatakan Keamanan telah menjadi isu utama secara global dan untuk mengelola tantangan keamanan dan mengurangi risiko keamanan di dunia, sistem biometrik seperti deteksi wajah dan sistem pengenalan telah dibangun. Sistem ini mampu menyediakan layanan keamanan biometrik, pencegahan kejahatan, dan pengawasan video karena verifikasi dan identifikasi bawaannya.

Rekognisi (recognition), merupakan sistem biometrik yang memiliki mekanisme otentifikasi dengan identifikasi karakter unik dari setiap individu. Beberapa cakupan sistem biometrik, seperti: rekognisi sidik jari, pemindai retina dan rekognisi wajah.

(34)

21 BAB 3

METODOLOGI PENELITIAN

3.1 Pendahuluan

Penelitian pada skripsi ini akan melakukan deteksi dan rekognisi wajah menggunakan metode viola-jones dan jaringan saraf konvolusional (convolutional neural network).

Adapun langkah-langkah penelitian ini adalah sebagai berikut:

1. Metode Viola-Jones, berfungsi untuk melakukan proses deteksi wajah pada data citra.

2. Metode Jaringan Saraf Konvolusional, berfungsi untuk melakukan rekognisi wajah dari data citra hasil deteksi metode Viola-Jones.

3.2 Dataset

Dalam penelitian ini, proses pengambilan dataset ini dilakukan didalam dan diluar ruangan rumah masing-masing individu dengan menggunakan webcam internal dari Notebook ASUS dengan berbagai variasi dan sudut kemiringan posisi wajah antara lain: sisi kanan, sisi kiri, dan sisi depan secara realtime yang digunakan untuk data training sebanyak 9 individu, dimana setiap individu akan diambil 200 frame citra, sehingga total keseluruhan dataset berjumlah 1800 dataset. Dapat dilihat pada Gambar 3.1 dibawah ini. Hasil dari dataset ini, akan melalui proses deteksi sehingga didapatkan sebanyak 1468 data training.

(35)

22

Gambar 3.1 Pengambilan Dataset

3.3 Perangkat Keras (Hardware) dan Perangkat Lunak (Software)

Sistem Rekognisi wajah yang dibangun dalam penelitian skripsi ini menggunakan perangkat pendukung seperti hardware dan software, antara lain :

1. Perangkat Keras :

a. Laptop Asus A455L dengan spesifikasi sebagai berikut :

 Processore, Intel® Core^TM i7-4510U CPU @ 2.00GHz x 4

 RAM, 4 GB

 Hardisk, 1,0 TB

 Graphics, NVIDIA Corporation GM108M [GeForce 840M]

 Webcam internal, VGA Webcam Camera dengan resolusi 640x480 piksel

2. Perangkat Lunak :

a. OS Name, Ubuntu 20.04.2 LTS 64-bit b. Anaconda3, Version 4.9.2

c. Text Editor, Notepadqq d. Paket – paket pendukung :

 Python 3.6.3

 dlib 19.22.0

(36)

23

 face-recognition 1.3.0

 face-recognition-models 0.3.0

 opencv-python 4.5.2.52

 PyQt5 5.15.4

 keras 2.4.3

 tensorflow 2.5.0

 imutils 0.5.4

 libopenblas-dev

3.4 Arsitektur Umum

Metode yang diajukan pada penelitian ini dapat dilihat pada Gambar 3.2 yang menunjukkan bagan penelitian pendeteksian wajah berbasis gambar. Rangkaian langkah yang dimaksud adalah sebagai berikut: input file citra; pengubahan citra warna tersebut menjadi citra abu-abu dengan proses grayscaling; perhitungan fitur dengan citra integral; pendeteksian objek dengan cascade classifier. Setelah rangkaian langkah di atas maka akan ditampilkan bagian objek yang terdeteksi sebagai wajah manusia atau bukan dan dilanjutkan dengan proses pendeteksian identitas wajah.

(37)

24

Gambar 3.2 Arsitektur Umum Keterangan:

1. Input file citra adalah pemilihan file citra oleh user.

2. Resize citra adalah normalisasi ukuran dimensi citra (lebar x tinggi) agar sesuai dengan sistem.

3. Baca nilai piksel citra adalah pembacaan nilai intensitas piksel citra.

4. Grayscale adalah konversi piksel citra dalam intensitas keabuan.

5. Metode Viola-Jones, mendeteksi ada atau tidaknya wajah pada data citra, dengan tahapan, seperti: haar-like features, integral image, adaboost dan cascade classifier.

6. Metode Jaringan Saraf Konvolusional (convolutional neural network), melakukan proses rekognisi wajah.

(38)

25

3.5 Pra-Proses

Pada diagram blok pra-proses dilakukan untuk pengambilan dataset citra sebanyak 200 frame dari 9 (sembilan) individu, sehingga jumlah total dataset 200 x 9 - 1800 frame citra yang berekstensi *.jpg.

3.5.1 Proses baca nilai piksel citra

Pada data inputan berupa citra warna dengan nilai intensitas warna 3 byte yaitu Red-Green-Blue (RGB) direpresentasikan dalam bentuk biner, untuk memperoleh nilainya masing-masing byte terdiri dari 8 bit sehingga jumlahnya 24 bit, sebagai contoh sebuah citra warna seperti pada gambar 3.4 dibawah ini:

Gambar 3.3 Citra Warna RGB

Pada contoh gambar diatas, komposisi intensitas warna RGB adalah 24 bit, yang masing - masing merupakan kombinasi bilangan biner 8 bit yang memiliki rentang nilai antara (0000000 sd 11111111) atau dalam bilangan desimal 0 sampai dengan 255.

3.5.2 Proses Perhitungan Piksel Citra Grayscale

Citra grayscale atau keabuan memilikin gradasi warna mulai dari putih sampai hitam dengan cara merata - ratakan nilai intensitas citra warna RGB maka didapatlah nilai intensitas citra keabuan. Dapat dilihat proses perhitungan citra grayscale pada tabel 3.1 dibawah ini:

(39)

26

Tabel 3.1 Contoh Citra RGB 5x5 piksel

R G B R G B R G B R G B R G B

200 125 206 100 179 145 45 100 119 100 179 145 200 125 206 189 245 230 209 30 117 125 206 89 209 30 117 100 179 145 125 90 128 200 125 206 117 125 206 117 125 206 209 30 117 100 179 145 117 125 206 76 89 200 125 206 90 117 125 206 209 30 117 45 100 119 117 125 206 45 100 119 67 112 190

dari tabel diatas dapat dihitung perolehan nilai citra grayscale dengan menggunakan persamaan (2.3) sebagai berikut:

( ) ( ) ( ) ( )

( ) ( )

Sehingga, jika seluruh data citra pada contoh citra RGB 5 x 5 piksel diatas diubah ke nilai grayscale atau keabuan seperti tabel dibawah ini:

Tabel 3.2 Hasil Perhitungan Nilai Citra RGB ke Grayscale

177 141 88 141 177

221 119 140 119 141 114 177 149 149 119 141 149 122 140 149

119 88 149 88 123

(40)

27

3.6 Viola-Jones

Konsep dalam metode viola-jones dalam penelitian tugas akhir ini digunakan untuk mengekstrak citra pada dataset untuk proses deteksi ada atau tidaknya wajah yang nantinya hasil deteksi citra wajah digunakan untuk data latih (training) dengan pemrosesan citra piksel per piksel, proses pencarian dengan menggunakan fitur persegi panjang (Haarcasecade feature). dapat dilihat pada gambar dibawah ini:

Gambar 3.4 Contoh Implementasi Haar Cascade Classifier (OpenCV, 2021)

3.6.1 Haar Cascade Classifier

Tiap feature terbagi atas dua bagian warna yaitu putih dan hitam. pemanfaatan fitur ini dikarenakan pemrosesan fitur lebih cepat dibandingkan dengan pemrosesan citra secara per piksel, sehingga cocok dan dapat dilakukan proses pendeteksian objek secara real time dengan menggunakan teknik integral image.

3.6.2 Integral Image

Digunakan untuk menentukan ada atau tidaknya fitur Haar pada sebuah citra dan pada skala yang berbeda secara efisien, adapun citra integral merupakan gambaran citra yang tersusun dari nilai piksel keabuan, misalkan pada tabel 3.2 terdapat citra ukuran 5 x 5 piksel, maka proses perhitungan integral image nya, sebagai berikut:

Tabel 3.3 Nilai Citra Grayscale 5 x 5

177 141 88 141 177

221 119 140 119 141 114 177 149 149 119 141 149 122 140 149

119 88 149 88 123

(41)

28

proses perhitungan nilai grayscale dengan integral image pada tabel dibawah ini:

Tabel 3.4. Perhitungan Integral Image

177 177+141 177+141+88 177+141+88+141 177+141+88+141+177 177+221 177+141+221+

119

177+141+221+119 +88+140

177+141+221+119+88+1 40+141+119

177+141+221+119+88+140+1 41+119+177+141

177+221+114 177+221+114+

141+119+177

177+141+221+119 +88+140+114+177 +149

177+141+221+119+88+1 40+114+177+149+141+1 19+149

177+141+221+119+88+140+1 14+177+149+141+119+149+1 77+141+119

177+221+114+

141

177+221+114+

141+119+177+

141+149

177+221+114+141 +119+177+141+14 9+88+140+149+12 2

177+221+114+141+119+

177+141+149+88+140+1 49+122+141+119+149+1 40

177+221+114+141+119+177+

141+149+88+140+149+122+1 41+119+149+140+177+141+1 19+149+123

177+221+114+

141+119

177+221+114+

141+119+141+

119+177+149+

88

177+221+114+141 +119+141+119+17 7+149+88+88+140 +149+122+149

177+221+114+141+119+

141+119+177+149+88+8 8+140+149+122+149+14 1+119+149+140+88

177+221+114+141+119+141+

119+177+149+88+88+140+14 9+122+149+141+119+149+14 0+88+177+141+119+149+123

dari tabel 3.4 diatas, maka dapat diperoleh hasil perhitungan pada tabel dibawah ini:

Tabel 3.5 Hasil Perhitungan Integral Image

177 318 406 547 724

398 658 886 1146 1464

512 949 1326 1735 2172

653 1239 1738 2287 2873 772 1446 2094 2731 3440

Sehingga dari tabel diatas dapat dilakukan contoh perhitungan perhitungan nilai fitur citra 5 x 5, sebagai berikut:

177 318 406 547 724

398 658 886 1146 1464

512 949 1326 1735 2172

653 1239 1738 2287 2873 772 1446 2094 2731 3440

Nilai Fitur = |(Total piksel Hitam) - (Total Piksel Putih)|

= |[1239+177 - (663+318)]|

(42)

29

= 435

3.6.3 Adaboost

Metode machine learning yang disebut Adaboost digunakan dalam memilih fitur Haar yang spesifik. Hal ini dilakukan dengan cara mengevaluasi setiap fitur terhadap data latih dengan menggunakan nilai dari fitur tersebut. Algoritma Adaboost adalah algoritma yang berusaha membangun strong classifier dengan mengkombinasikan sejumlah simple atau weak classifier dengan tujuan untuk membentuk suatu template objek yang akan dideteksi, dalam hal ini adalah wajah.

3.6.4 Cascade Classifier

Merupakan metode klasifikasi bertingkat, dimana setiap sub citra dikelompokkan menggunakan satu fitur. Jadi jika hasil perolehan nilai fitur-nya dari filter tidak termasuk kriteria yang dikehendaki, maka hasil klasifikasinya ditolak. Pada classifier tingkat pertama, yang menjadi inputan adalah seluruh citra sub-window. Semua citra sub-window yang berhasil melewati classifier pertama akan dilanjutkan ke classifier ke dua, dan seterusnya. Apabila suatu sub-window berhasil melewati semua tingkat classifier, maka sub-window tersebut dinyatakan sebagai wajah. Sedangkan untuk sub-window yang gagal melewati suatu tingkat classifier akan langsung dieliminasi dan dinyatakan sebagai bukan wajah (tidak akan diproses lagi).

3.7 Proses Deteksi Wajah

Proses pendeteksian wajah pada citra dilakukan dengan pelacakan dan yang menerapkan kondisi posisi wajah, tingkat pencahayaan, perbedaan ukuran citra yang dipengaruhi oleh jarak objek wajah menghadap kamera, sehingga akan diketahui sejauh pendeteksian berhasil dilakukan, memanfaatkan library openCV yakni:

Haarcascade_classifier_frontalface_default.xml, yang ditunjukkan fdiagram alir deteksi wajah pada gambar 3.6 dibawah ini:

(43)

30

Ya

Gambar 3.5 Diagaram Alir Proses Deteksi Wajah

3.8 Perancangan Antarmuka Sistem

Perancangan antarmuka sistem dalam penelitian ini, sebagai berikut :

1. Halaman Utama, bagian ini memuat dua menu tab yaitu : Webcam dan Local.

Dalam proses Deteksi dan Rekognisi Wajah Menggunakan Metode Viola- Jones dan Jaringan Saraf Konvolusional (Convolutional Neural Network).

2. Tombol RealTime, berfungsi untuk menjalan rekognisi wajah secara realtime.

3. Tombol Training Wajah, berfungsi untuk melakukan pelatihan dataset yang diambil dari webcam untuk mendapatkan model yang nantinya digunakan dalam rekognisi wajah secara realtime.

Mulai

Baca Citra img_id = 1 to 200

Resize Citra

Proses Graysclae

Metode Viola- Jones

Deteksi Wajah Tidak

cropping citra wajah

Simpan Citra Wajah

Selesai

(44)

31

4. Tombol Ambil Dataset, berfungsi untuk melakukan pengambilan dataset dari webcam sejumlah 200 frame citra per individu.

Gambar 3.6 Rancangan Tampilan Halaman Menu Local

Gambar 3.7 Rancangan Tampilan Halaman Menu Webcam

(45)

32 BAB 4

HASIL DAN PEMBAHASAN

Dalam bab ini membahas mengenai hasil penelitian dari Metode Viola-Jones dan Jaringan Saraf Konvolusional (Convolutional Neural Network) pada permasalahan deteksi dan rekognisi wajah secara realtime.

4.1 Hasil Pengujian 4.1.1 Pengambilan dataset

Tahapan ini dilakukan untuk mengumpulkan data citra sebanyak 200 frame dari 9 individu sehingga berjumlah 1800 dataset yang nantinya dilakukan proses deteksi citra wajah. Dapat dilihat pada tabel dibawah ini.

Tabel 4.1 Contoh Hasil Pengambilan Dataset No Nama Individu Sampel Data

Gambar Jumlah

1 Abadi Tarigan 200 frame

2 Ayu Mika 200 frame

(46)

33

3 Bik Nana 200 frame

4 Dessy Rs 200 frame

5 John Ketaren 200 frame

6 Jujuren Tarigan 200 frame

7 Keisa Ketaren 200 frame

8 Mamak Ana 200 frame

9 Rachel Tarigan 200 frame

4.1.2 Deteksi Citra Wajah

Data citra hasil pengumpulan dataset dari built-in webcam akan dilakukan proses deteksi area wajah untuk mendapatkan citra wajah kemudian dilakukan proses

(47)

34

cropping, piksel citra yang awalnya merupakan citra RGB (Red, Green, Blue) akan diubah nilai pewarnaannya ke citra keabuan, dengan menggunakan persamaan (2.3).

Hasil dari deteksi citra wajah dengan menggunakan metode viola-jones setelah wajah terdeteksi kemudian dilakukan pemotongan (crop) dan proses grayscaling yang nantinya data wajah ini akan digunakan untuk data training untuk mendapatkan model rekognisi wajah pada metode convolutional neural network.

(a) Dataset wajah diambil melalui (b) hasil deteksi wajah webcam

Gambar 4.1 Proses Deteksi dan Ektsraksi Citra Wajah

Selanjutnya data hasil deteksi dan ekstraksi citra wajah dapat dilihat pada tabel dibawah ini

Tabel 4.2 Proses Deteksi dan Ekstraksi

No Nama Individu TP TN FP FN

1 Abadi Tarigan 189 0 0 11

2 Ayu Mika 200 0 0 0

3 Bik Nana 169 0 0 31

4 Dessy Rs 168 0 0 32

5 John Ketaren 131 0 0 69

6 Jujuren Tarigan 144 0 0 56

7 Keisa Ketaren 170 0 0 30

8 Mamak Ana 125 0 0 75

9 Rachel Tarigan 172 0 0 28

Total 1468 0 0 332

(48)

35

Dari tabel diatas dapat dijabarkan bahwa TP, TN, FP dan FN pada tabel dibawah ini:

Tabel 4.3 Keterangan TP, TN, FP dan FN

Positif Negatif

P os iti f

True Positif (TP), kondisi aktual dimana berhasil diidentifikasi oleh

sistem sebagai citra wajah

False Positif (FP), kondisi aktual dimana citra wajah namun bukan bagian kelas atau citra

tidak lengkap

N eg at if

False Negatif (FN), kondisi aktual dimana citra wajah tidak terdeteksi

oleh classifier

True Negatif (TN), kondisi aktual tidak dikenal atau gagal diidentifikasi oleh sistem

sebagai bukan wajah

Dari tabel 4.1 dapat diukur performa dengan mencari tingkat akurasi dapat dilihat pada persamaan dan gambar dibawah ini:

Sehingga dari persamaan diatas maka dapat dihitung tingkat akurasi dalam deteksi dan ekstraksi citra wajah dengan metode haar cascade classifier pada dataset yang digunakan dalam penelitian tugas akhir ini, sebagai berikut:

x 100%

Dari hasil deteksi wajah pada dataset untuk 9 individu, maka diperoleh hasil sebanyak 1468 frame citra wajah. Dapat dilihat pada grafik dibawah ini.

(49)

36

Gambar 4.2 Grafik Deteksi Citra Wajah

4.1.3 Pelatihan Model

Data citra wajah hasil ekstraksi selanjutnya akan dilatih untuk mendapatkan model rekognisi wajah. Proses pelatihan dapat dilihat pada gambar dibawah ini:

Gambar 4.3 Proses Training Citra Wajah

Dari gambar diatas citra wajah yang telah diekstrak akan dilakukan proses training dengan metode jaringan saraf konvolusional agar didapatkan model yang nantinya digunakan untuk rekognisi wajah secara realtime.

0 50 100 150 200 250

Abadi Tarigan

Ayu Mika

Bik Nana Dessy Rs Jhon Ketaren

Jujuren Tarigan

Keisa Ketaren

Mamak Ana

Rachel Tarigan

Grafik Deteksi Citra Wajah

TP TN FP FN

(50)

37

4.1.4 Rekognisi Wajah

Tahapan selanjutnya adalah proses rekognisi wajah secara realtime melalui webcam internal laptop dimana webcam akan menangkap citra yang ada didepannya apakah wajah seseorang dikenali atau tidak dengan mencocokkan model dataset yang telah dilatih sebelumnya. Pengujian dalam penelitian ini nantinya akan dihitung nilai akurasinya dengan menggunakan persamaan dibawah ini.

Selanjutnya proses pengujian yang dilakukan dalam penelitian tugas akhir ini adalah sebagai berikut:

a) Rekognisi Wajah Individu Frontal Secara Realtime

Pengujian dilakukan menggunakan webcam built-in dari laptop untuk masing – masing individu secara realtime secara frontal atau tampak depan. Dapat dilihat pada tabel dibawah ini:

Tabel 4.4 Rekognisi Wajah Individu Frontal / Tampak Depan Secara Realtime No Nama Individu Rekognisi Wajah Frontal Jumlah Data

Pengujian

1 Abadi Tarigan

1

(51)

38

2 Ayu Mika

1

3 Bik Nana

1

4 Dessy Rs

1