IMPLEMENTASI METODE OBJECT DETECTION UNTUK SISTEM PENGAWASAN CERDAS DI FAKULTAS TEKNIK UNIVERSITAS SEBELAS MARET (UNS) SURAKARTA

(1)

IMPLEMENTASI METODE OBJECT DETECTION UNTUK SISTEM PENGAWASAN CERDAS DI FAKULTAS TEKNIK

UNIVERSITAS SEBELAS MARET (UNS) SURAKARTA

HALAMAN JUDUL

SKRIPSI

Diajukan sebagai salah satu syarat untuk memperoleh gelar

Sarjana Teknik

Oleh:

ARIS MAULANA FAUZAN NIM. I0715006

PROGRAM STUDI TEKNIK ELEKTRO

FAKULTAS TEKNIK UNIVERSITAS SEBELAS MARET SURAKARTA

2021

commit to user

(2)

HALAMAN SURAT PENUGASAN

commit to user

library.uns.ac.id digilib.uns.ac.id

(3)

ii

HALAMAN PERNYATAAN INTEGRITAS PENULIS

Saya mahasiswa Program Studi Sarjana Teknik Elektro Universitas Sebelas Maret yang bertanda tangan di bawah ini:

Nama : Aris Maulana Fauzan

NIM : I0715006

Judul tugas akhir : Implementasi Metode Object Detection untuk Sistem Pengawasan Cerdas di Fakultas Teknik Universitas Sebelas Maret (UNS) Surakarta

Dengan ini menyatakan bahwa tugas akhir yang saya susun tidak mencontoh atau melakukan plagiat dari karya tulis orang lain. Jika terbukti tugas akhir yang saya susun tersebut merupakan hasil plagiat dari karya orang lain maka tugas akhir yang saya susun tersebut dinyatakan batal dan gelar sarjana yang saya peroleh dengan sendirinya dibatalkan atau dicabut.

Demikian surat pernyataan ini saya buat dengan sebenarnya dan apabila dikemudian hari terbukti melakukan kebohongan maka saya sanggup menanggung segala konsekuensinya.

Surakarta, 5 April 2021

Aris Maulana Fauzan NIM. I0715006

commit to user

(4)

HALAMAN PENGESAHAN TIM PEMBIMBING DAN TIM PENGUJI IMPLEMENTASI METODE OBJECT DETECTION UNTUK SISTEM PENGAWASAN CERDAS DI FAKULTAS TEKNIK UNIVERSITAS SEBELAS

MARET (UNS) SURAKARTA Disusun Oleh

ARIS MAULANA FAUZAN NIM I0715006 Pembimbing 1

Sutrisno S.T., M.Sc, Ph.D.

NIP 198705062019031009

Pembimbing 2

Meiyanto Eko Sulistyo S.T., M.Eng.

NIP 197705132009121004 Telah dipertahankan di hadapan Tim Dosen Penguji pada hari Senin tanggal 05 April 2021

1. Sutrisno S.T., M.Sc, Ph.D.

NIP. 198705062019031009

...

2. Meiyanto Eko Sulistyo S.T., M.Eng.

NIP. 198705062019031009

...

3. Dr. Eng. Faisal Rahutomo, S.T., M.Kom.

NIP. 198705062019031009

...

4. Joko Slamet Saputro, S.Pd., M.T.

NIP. 198705062019031009

...

Kepala Prodi Teknik Elektro

Feri Adriyanto, Ph.D.

NIP. 196801161999031001

Mengetahui,

Koordinator Tugas Akhir

Muhammad Hamka I, S.T., M.Eng.

NIP. 198812292019031011

commit to user

(5)

iv

IMPLEMENTASI METODE OBJECT DETECTION UNTUK SISTEM PENGAWASAN CERDAS DI FAKULTAS TEKNIK UNIVERSITAS

SEBELAS MARET (UNS) SURAKARTA

Aris Maulana Fauzan

Program Studi Teknik Elektro, Fakultas Teknik, Universitas Sebelas Maret Email: [email protected]

Abstrak

Jumlah kasus positif Covid-19 di Indonesia terus mengalami peningkatan.

Hal ini dipengaruhi oleh pola perilaku warga Indonesia dalam menghadapi pandemi tersebut, salah satunya jarang memakai masker. Dalam penelitian ini, akan diterapkan ISS pada sistem pengawasan CCTV di Fakultas Teknik Universitas Sebelas Maret. Dengan mengimplementasikan deteksi dan pengenalan wajah, sistem pengawasan dapat mengenali apakah seseorang dalam frame video CCTV mengenakan masker atau tidak. Selain itu, juga diterapkan deep metric learning dan histogram of gradient (HOG) untuk mengenali wajah orang tanpa masker pada gambar. Hasil pengujian menunjukkan sistem pengawasan telah dapat mengenali penggunaan masker dengan tingkat akurasi 75%-87%. Adapun tingkat akurasi pengenalan wajah pada gambar untuk tiap-tiap orang berkisar antara 69%-100%.

Kata kunci: Intelligent Surveillance Systems (ISS), Covid-19, deteksi wajah, pengenalan wajah, deep metric learning, histogram of gradient (HOG)

Abstract

The number of positive Covid-19 cases in Indonesia continue to increase.

This increase influenced by the behavior of Indonesian citizens in dealing with the pandemic, one of which is rarely wearing masks. In this study, ISS will be applied to the CCTV system at the engineering college of Universitas Sebelas Maret (UNS). By implementing face detection and recognition, the surveillance system can recognize whether a person in a CCTV video frame is wearing a mask or not.

In addition, deep metric learning and histogram of gradient (HOG) are applied to recognize faces of unmasked people in images. The test results show that the surveillance system can recognize the use of masks with 75%-87% accuracy rate.

Furthermore, the accuracy rate for facial recognition on images ranges from 69%

-100% for each person.

Keyword: Intelligent Surveillance Systems (ISS), Covid-19, face detection, face recognition, deep metric learning, histogram of gradient (HOG)

commit to user

(6)

v

KATA PENGANTAR

Puji dan syukur kepada Tuhan Yang Maha Esa, atas rahmat dan karunianya, penulis dapat menyelesaikan penyusunan skripsi dengan judul Implementasi Metode Object Detection untuk Sistem Pengawasan Cerdas di Fakultas Teknik Universitas Sebelas Maret (UNS) Surakarta. Dalam penyusunan skripsi ini, tentu perlu melewati serangkaian proses. Sebagaimana kita ketahui bahwa dalam berproses tidak selamanya jalan yang harus dilalui mulus. Kadang kalanya jalan berlubang dan berliku menjadi bagian dari perjalanan proses yang harus dilalui.

Semakin panjang perjalanan yang telah ditempuh, maka semakin jauh kita telah bepergian. Semakin jauh kita bepergian, maka pengalaman yang kita lalui pun semakin banyak. Dan akhirnya, semakin banyak pengalaman akan memberikan semakin banyak pelajaran hidup sebagai bekal masa depan.

Dalam menyusun skripsi ini, empat tahun perkuliahan di Program Studi Teknik Elektro telah penulis lalui. Skripsi bukan tentang menyelesaikan sebuah proyek dan menuliskannya, namun di dalamnya terkandung segala aspek materi dan kebijaksanaan yang telah diasah menjadi lebih runcing selama empat tahun lebih perkuliahan di Teknik Elektro. Oleh karena itu, skripsi ini penulis persembahkan bagi segala pihak yang telah menjadi bagian dalam perjalanan empat tahun lebih dalam dunia perkuliahan.

Menyelesaikan tugas akhir atau skripsi ini tentu bukanlah perkara mudah.

Sebagai wujud apresiasi, melalui kata pengantar ini, penulis hendak menyampaikan ucapan terima kasih kepada:

1. Orang tua dan keluarga yang tercinta: Pardiyem, Titik Mulyani, Anik Mufidah, Siti Faozah, Muhammad Toyib Setyanto, dan Galih Irsyad Pamungkas yang selalu memberikan motivasi dan semangat serta doa restu sehingga penulisan tugas akhir ini dapat terselesaikan.

2. Bapak Feri Adriyanto, S.Pd., M.Si., Ph.D. selaku Kepala Program Studi Teknik Elektro yang telah memberikan arahan dan motivasi selama pengerjaan tugas akhir ini.

3. Bapak Sutrisno, S.T., M.Sc., Ph.D. selaku Pembimbing I yang setia memberikan dukungan, ide, arahan, bimbingan, dan motivasi selama commit to user

(7)

vi

perkuliahan di Teknik Elektro, khususnya selama mengerjakan tugas akhir ini hingga selesai.

4. Bapak Meiyanto Eko Sulistyo, S.T., M.Eng. selaku Pembimbing II yang selalu setia memberikan dukungan, ide, arahan, bimbingan, dan motivasi selama pengerjaan tugas akhir ini.

5. Bapak Dr. Augustinus Sujono, M.T. selaku ketua KBK Mekatronika sekaligus Pembimbing Akademins yang selalu setia memberikan dukungan, ide, arahan, bimbingan, dan motivasi selama pengerjaan tugas akhir ini.

6. Bapak Muhammad Hamka Ibrahim S.T., M.Eng. dan Bapak Jaka Sulistya Budi, S.T. selaku koordinator tugas akhir.

7. Bapak Subhan selaku staff ICT yang telah memberikan bantuan dan ilmu selama pengerjaan tugas akhir ini.

8. Seluruh Dosen Program Studi Teknik Elektro yang telah memberikan ilmu yang bermanfaat, motivasi, dan inspirasi yang luar biasa selama menjalani masa perkuliahan selama kurang lebih 4 tahun ini.

9. Seluruh teman-teman Teknik Elektro terutama angkatan 2015 yang tidak bisa disebutkan satu persatu yang telah sama-sama berjuang selama 4 tahun ini atas bantuan dan semangat yang diberikan untuk segera mendapatkan gelar Sarjana Teknik ini.

Surakarta, 5 April 2021

Aris Maulana Fauzan I0715006

commit to user

(8)

vii DAFTAR ISI

HALAMAN JUDUL ... i

HALAMAN SURAT PENUGASAN ... ii

HALAMAN PERNYATAAN INTEGRITAS PENULIS ... ii

HALAMAN PENGESAHAN TIM PEMBIMBING DAN TIM PENGUJI ... iii

Abstrak ... iv

Abstract ... iv

KATA PENGANTAR ... v

DAFTAR ISI ... vii

DAFTAR GAMBAR ... x

DAFTAR TABEL ... xii

BAB I PENDAHULUAN ... 1

Latar Belakang Masalah ... 1

1.1 Rumusan Masalah ... 2

1.2 Tujuan Penelitian ... 2

1.3 Manfaat Penelitian ... 2

1.4 Sistematika Penulisan ... 2

1.5 BAB II TINJAUAN PUSTAKA ... 4

Penjelasan Singkat ... 4

2.1 Sensor dan Alat Elektronik untuk ISS ... 4

2.2 Tahapan-Tahapan Pemrosesan Data Pada ISS ... 6

2.3 2.3.1 Data acquisition ... 6

2.3.2 Foreground-background segmenation ... 6

2.3.3 Object detection and classification ... 7

2.3.4 Object tracking ... 7

2.3.5 Behavioral analysis ... 8

Penelitian Sebelumnya Terkait Deteksi dan Pengenalan Wajah ... 9

2.4 Pengolahan Citra ... 10

2.5 2.5.1 Citra ... 10

2.5.2 Deteksi dan Pengenalan Wajah (Face Detection and Recognition) 13 Machine Learning ... 14

2.6 2.6.1 Artificial Neural Network (ANN) ... 14

2.6.2 Deep Neural Network (DNN) ... 17 commit to user

(9)

viii

Convolutional Neural Network ... 18

2.7 2.7.1 Deep Residual Network (ResNet) ... 22

2.7.2 MobileNetV2 ... 24

OpenCV (Open Computer Vision) ... 28

2.8 Tensorflow ... 28

2.9 Caffe... 29

2.10 Histogram of Oriented Gradients (HOG) ... 29

2.11 Deep Metric Learning ... 31

2.12 Sistem CCTV Fakultas Teknik Universitas Sebelas Maret (UNS) .... 33

2.13 BAB III METODOLOGI PENELITIAN... 37

Instrumentasi Penelitian ... 37

3.1 Tahapan Penelitian ... 37

3.2 3.2.1 Studi Literatur ... 37

3.2.2 Perancangan Konsep ... 37

Data Penelitian ... 38

3.3 3.3.1 Pengumpulan Dataset ... 39

3.3.2 Pengumpulan Database ... 42

3.3.3 Video CCTV ... 43

Training dataset ... 43

3.4 3.4.1 Preproses Training data ... 43

3.4.2 Pemodelan ... 45

3.4.3 Training Model ... 45

Training database ... 46

3.5 3.5.1 Preproses Training data ... 46

3.5.2 Pemodelan ... 46

3.5.3 Encoding Wajah ... 47

Metode Pengujian ... 48

3.6 3.6.1 Pengujian Pada CCTV ... 48

3.6.2 Pengujian Pada Gambar ... 49

BAB IV HASIL DAN PEMBAHASAN ... 50

Face Mask Detector Model ... 50

4.1 4.1.1 Arsitektur Jaringan ... 50

4.1.2 Training Loss and Accuracy ... 52

Implementasi Deteksi dan Pengenalan Wajah ... 53 4.2

4.2.1 Deteksi dan Pengenalan Wajah ... 53commit to user

(10)

ix

4.2.2 Hasil Implementasi Pada Video CCTV ... 55

4.2.3 Hasil Implementasi Pada Gambar ... 58

BAB V KESIMPULAN DAN SARAN ... 63

Kesimpulan ... 63

5.1 Saran ... 63

5.2 DAFTAR PUSTAKA ... 65

LAMPIRAN ... 71

commit to user

(11)

x

DAFTAR GAMBAR

Gambar 2.1 Penerapan ISS untuk monitoring lalu lintas [6] ... 4

Gambar 2.2 Gambar yang ditangkap menggunakan (a) visible camera dan (b) kamera termal [7] ... 5

Gambar 2.3 Sensor untuk ISS: (a) kamera CCTV [8]; (b) kamera inframerah [9] . 5 Gambar 2.4 Tahapan-tahapan pemrosesan data pada ISS ... 6

Gambar 2.5 Segmentasi foreground-background: (a) gambar asli, (b) MOG, (c) Kernel, dan (d) Codebook [12]... 6

Gambar 2.6 Pendeteksian orang dengan RGB-depth [14] ... 7

Gambar 2.7 Automatic people tracking [15] ... 8

Gambar 2.8 Kamera mampu mengenali “perilaku berkelahi” [17] ... 8

Gambar 2.9 Citra warna ... 12

Gambar 2.10 Citra skala keabuan (grayscale) ... 12

Gambar 2.11 Citra biner dan representasinya dalam data digital ... 12

Gambar 2.12 Ilustrasi Neuron Tunggal [31] ... 15

Gambar 2.13 Ilustrasi ANN [32] ... 15

Gambar 2.14 Multilayer Network [32] ... 16

Gambar 2.15 Backpropagation Network [32] ... 16

Gambar 2.16 DNN dengan N hidden layer [34] ... 17

Gambar 2.17 Arsitektur CNN [35] ... 18

Gambar 2.18 Ilustrasi operasi konvolusi ... 19

Gambar 2.19 Penerapan ReLU [35] ... 20

Gambar 2.20 Pooling: (a) max; (b) average; (c) global max; (d) gobal average [36] ... 20

Gambar 2.21 Penerapan dropout regularization [37] ... 22

Gambar 2.22 Tingkat error pada nn dengan 20 layer dan 56 layer [38] ... 23

Gambar 2.23 Blok diagram deep residual network [38] ... 23

Gambar 2.24 Ilustrasi standar convolution... 24

Gambar 2.25 Ilustrasi filter yang digunakan [39] ... 25

Gambar 2.26 blok bottleneck residual [40] ... 27

Gambar 2.27 ilustrasi pemrosesan data [40] ... 27

Gambar 2.28 Logo OpenCV ... 28

Gambar 2.29 Piksel semakin gelap ke arah kanan atas [46] ... 30

Gambar 2.30 Representasi HOG [46] ... 31

Gambar 2.31 Proses Single triplet training step [46] ... 32

Gambar 2.32 Area Fakultas Teknik UNS ... 33

Gambar 2.33 Hasil tangkapan kamera dan letak kamera CCTV di lembah teknik ... 33

Gambar 2.34 Hasil tangkapan kamera dan letak kamera CCTV di halaman parkir ... 34

Gambar 2.35 Hasil tangkapan kamera dan letak kamera CCTV di halaman depan gedung 3 Fakultas Teknik ... 34

Gambar 2.36 Hasil tangkapan kamera dan letak kamera CCTV di lobby gedung 3 ... 34

Gambar 2.37 Server sistem kamera CCTV Fakultas Teknik UNS [47] ... 35 commit to user

(12)

xi

Gambar 2.38 Tampilan website untuk monitoring sistem CCTV FT UNS ... 35

Gambar 2.39 Konfigurasi kamera CCTV FT UNS [47] ... 36

Gambar 3.1 Diagram Alir Penelitian ... 38

Gambar 3.2 Bing Search API Key untuk mengunduh dataset ... 39

Gambar 3.3 API Key yang diperoleh ... 39

Gambar 3.4 Import packages dan pengaturan awal API... 40

Gambar 3.5 Kata kunci pencarian people wearing mask ... 40

Gambar 3.6 Perulangan menyimpan gambar ... 41

Gambar 3.7 Dataset ... 42

Gambar 3.8 Masked face oleh Adnane Cabani dkk. ... 42

Gambar 3.9 Beberapa gambar database Galih Irsyad dan Nisa Nurul ... 43

Gambar 3.10 Preproses data ... 44

Gambar 3.11 Beberapa gambar teraugmentasi pada dataset ... 45

Gambar 3.12 Pemodelan face mask detector ... 45

Gambar 3.13 Compile model... 46

Gambar 3.14 Pemodelan training database ... 47

Gambar 3.15 Program encoding wajah ... 47

Gambar 3.16 Embedding wajah ... 47

Gambar 3.17 Tahapan pengujian pada CCTV ... 48

Gambar 3.18 Tahapan pengujian gambar ... 49

Gambar 4.1 Arsitektur jaringan model... 50

Gambar 4.2 Tingkat akurasi pengujian dengan test set mencapai 99% ... 52

Gambar 4.3 Kurva model training menunjukkan tingkat akurasi yang baik ... 52

Gambar 4.4 Facial landmark [46] ... 54

Gambar 4.5 Kesalahan pengenalan ... 54

Gambar 4.6 Pengenalan “No Mask” pada kamera 02 ... 55

Gambar 4.7 Pengenalan “With Mask” pada kamera 02 ... 55

Gambar 4.12 Pengenalan “With Mask” pada gambar ... 59

Gambar 4.13 Pengenalan wajah pada gambar ... 60

Gambar 4.14 Ben Affleck tidak dikenali (unknown) ... 60

Gambar 4.15 Kesalahan pengenalan pada orang berkulit hitam ... 61

commit to user

(13)

xii

DAFTAR TABEL

Tabel 2.1 Penelitian terkait deteksi dan pengenalan wajah... 9

Tabel 3.1 Sumber data penelitian ... 38

Tabel 3.2 Database penelitian ... 43

Tabel 4.1 Arsitektur jaringan model ... 51

Tabel 4.2 Jumlah data dan test set pada dataset ... 52

Tabel 4.3 Hasil deteksi pada CCTV ... 58

Tabel 4.4 Tingkat akurasi pada CCTV ... 58

Tabel 4.5 Hasil deteksi pada gambar ... 62

commit to user