SKRIPSI IMPLEMENTASI MODEL DEEP LEARNING UNTUK DETEKSI OBJEK CANDI PRAMBANAN, CANDI BOROBUDUR, DAN CANDI RATU BOKO MENGGUNAKAN YOLO V5

SKRIPSI

IMPLEMENTASI MODEL DEEP LEARNING UNTUK DETEKSI OBJEK CANDI PRAMBANAN, CANDI

BOROBUDUR, DAN CANDI RATU BOKO MENGGUNAKAN YOLO V5

IMPLEMENTATION OF DEEP LEARNING MODEL FOR OBJECT DETECTION OF PRAMBANAN TEMPLE, BOROBUDUR TEMPLE, AND RATU BOKO TEMPLE USING

YOLO V5

Disusun oleh LEVINA ANORA

18101054

PROGRAM STUDI S1 TEKNIK TELEKOMUNIKASI FAKULTAS TEKNIK TELEKOMUNIKASI DAN ELEKTRO

INSTITUT TEKNOLOGI TELKOM PURWOKERTO

2022

SKRIPSI

IMPLEMENTASI MODEL DEEP LEARNING UNTUK DETEKSI OBJEK CANDI PRAMBANAN, CANDI

BOROBUDUR, DAN CANDI RATU BOKO MENGGUNAKAN YOLO V5

IMPLEMENTATION OF DEEP LEARNING MODEL FOR OBJECT DETECTION OF PRAMBANAN TEMPLE, BOROBUDUR TEMPLE, AND RATU BOKO TEMPLE USING

YOLO V5

Disusun oleh LEVINA ANORA

18101054

PROGRAM STUDI S1 TEKNIK TELEKOMUNIKASI FAKULTAS TEKNIK TELEKOMUNIKASI DAN ELEKTRO

INSTITUT TEKNOLOGI TELKOM PURWOKERTO

2022

i

IMPLEMENTASI MODEL DEEP LEARNING UNTUK DETEKSI OBJEK CANDI PRAMBANAN, CANDI

BOROBUDUR, DAN CANDI RATU BOKO MENGGUNAKAN YOLO V5

IMPLEMENTATION OF DEEP LEARNING MODEL FOR OBJECT DETECTION OF PRAMBANAN TEMPLE, BOROBUDUR TEMPLE, AND RATU BOKO TEMPLE USING

YOLO V5

Skripsi ini digunakan sebagai salah satu syarat untuk memperoleh Gelar Sarjana Teknik (S.T.)

Di Institut Teknologi Telkom Purwokerto 2022

Disusun oleh LEVINA ANORA

18101054

DOSEN PEMBIMBING

Zein Hanni Pradana, S.T., M.T.

Raditya Artha Rochmanto, S.T., M.T.

PROGRAM STUDI S1 TEKNIK TELEKOMUNIKASI

FAKULTAS TEKNIK TELEKOMUNIKASI DAN ELEKTRO

INSTITUT TEKNOLOGI TELKOM PURWOKERTO

2022

ii

HALAMAN PENGESAHAN SKRIPSI

IMPLEMENTASI MODEL DEEP LEARNING UNTUK DETEKSI OBJEK CANDI PRAMBANAN, CANDI BOROBUDUR, DAN CANDI RATU

BOKO MENGGUNAKAN YOLO V5

IMPLEMENTATION OF DEEP LEARNING MODEL FOR OBJECT DETECTION OF PRAMBANAN TEMPLE, BOROBUDUR TEMPLE, AND

RATU BOKO TEMPLE USING YOLO V5

Disusun oleh LEVINA ANORA

18101054

Telah dipertanggungjawabkan di hadapan Tim Penguji pada tanggal 22 Februari 2022

Susunan Tim Penguji

Pembimbing Utama : Zein Hanni Pradana, S.T., M.T. ( ) NIDN. 0604039001

Pembimbing Pendamping : Raditya Artha Rochmanto, S.T., M.T. ( ) NIDN. 030920194

Penguji 1 : Agung Wicaksono, S.T., M.T. ( ) NIDN. 0614059501

Penguji 2 : Petrus Kerowe Goran, S.T., M.T. ( ) NIDN. 0620018502

Mengetahui,

Ketua Program Studi S1 Teknik Telekomunikasi Institut Teknologi Telkom Purwokerto

Prasetyo Yuliantoro, S.T., M.T.

NIDN. 0620079201

iv

PRAKATA

Puji syukur kehadirat Tuhan Yang Maha Esa yang telah memberikan anugerah-Nya sehingga penulis sangat bersyukur dapat menyelesaikan skripsi dengan judul “Implementasi Model Deep Learning untuk Deteksi Objek Candi Prambanan, Candi Borobudur, dan Candi Ratu Boko Menggunakan YOLO v5” dengan baik, lancar, dan tepat waktu.

Tujuan dari penulisan skripsi ini adalah untuk memenuhi syarat dalam kelulusan program MBKM yang telah diikuti di mitra Orbit Future Academy yang telah dilaksanakan pada tanggal 23 Agustus 2021 hingga 21 Januari 2022 dan sekaligus sebagai syarat dalam menempuh ujian sarjana Teknik Telekomunikasi pada Fakultas Teknik Telekomunikasi dan Elektro Institut Teknologi Telkom Purwokerto.

Dalam penyusunan skripsi ini, penulis mendapatkan bantuan dan dukungan dari berbagai pihak. Oleh karena itu penulis mengucapkan terima kasih yang sebesar-besarnya kepada

1. Tuhan Yang Maha Esa.

2. Kedua orangtua dan adik tercinta yang selalu memberikan dukungan, doa, dan semangat.

3. Bapak Dr. Arfianto Fahmi, S.T., M.T. selaku Rektor Institut Teknologi Telkom Purwokerto.

4. Ibu Dr. Anggun Fitrian, S.T., M.Eng. selaku Dekan Fakultas Teknik Telekomunikasi dan Elektro

5. Bapak Prasetyo Yuliantoro, S.T., M.T. selaku Ketua Program Studi S1 Teknik Telekomunikasi.

6. Bapak Zein Hanni Pradana, S.T., M.T. selaku pembimbing I yang selalu memberikan pengarahan dalam penyusunan skripsi.

7. Bapak Raditya Artha Rochmanto, S.T., M.T. selaku pembimbing II yang selalu bersedia untuk meluangkan waktunya dalam membimbing penulis dalam penyusunan skripsi.

8. Bapak Agung Wicaksono, S.T., M.T. selaku penguji I yang telah menguji dan memberikan masukan dalam penyusunan skripsi.

v

9. Bapak Petrus Kerowe Goran, S.T., M.T. selaku penguji II yang telah menguji dan memberikan arahan dalam penulisan skripsi.

10. Coach Habib Abdurrasyid, S.Kom. selaku Mentor dari mitra Orbit Future Academy yang telah membimbing dan membantu dalam pembelajaran.

11. Seluruh teman-teman Program Studi S1 Teknik Telekomunikasi angkatan 2018 S1 TT06B yang telah menemani hari perkuliahan, membantu, serta mendukung dalam perkuliahan.

12. Seluruh anggota grup riset Hexacomm IT Telkom Purwokerto yang selalu memberikan dukungan dan ilmu yang sangat bermanfaat.

13. Seluruh anggota tim startup Olligence yang telah bekerja sama dalam team startup dan memberikan dukungan penuh.

14. Serta semua pihak yang tidak bisa penulis sebut satu persatu.

Purwokerto, 20 Januari 2022

(Levina Anora)

vi

ABSTRAK

Pandemi Covid-19 yang merebak di Indonesia mengakibatkan devisa Indonesia di sektor pariwisata menurun pesat serta kunjungan wisata candi di daerah Yogyakarta dan sekitarnya dimana merupakan salah satu destinasi wisata terkenal juga sangat menurun. Untuk mengatasi hal tersebut, digital tourism diperlukan dalam bentuk sistem deteksi objek candi untuk menambah minat kunjungan wisata pasca pandemi. Deteksi objek merupakan salah satu penerapan visi komputer dimana sistem AI yang dilatih dapat melakukan tugas tertentu. Pada penelitian ini, tugas utama yang dilakukan oleh sistem AI yang dibuat adalah mendeteksi objek candi dimana terdiri dari 3 kelas yaitu Candi Prambanan, Candi Borobudur, dan Candi Ratu Boko yang terletak di Yogyakarta dan sekitarnya.

Penelitian dilakukan dengan tujuan untuk memperoleh performa model YOLOv5 untuk mendeteksi objek candi. AI project cycle digunakan sebagai tahapan dan metode yang digunakan dalam penelitian ini. Parameter evaluasi yang digunakan adalah confusion matrix, mean Average Precision (mAP), Precision, Recall, dan akurasi. Komparasi yang dibuat yaitu pada epoch ke 25, 50, 75, dan 100 dengan kombinasi batch size 16, 32, dan 64. Pemrosesan data dan pelatihan model dilakukan menggunakan Roboflow dan Google Colab. Hasil eksperimen menunjukkan bahwa model terbaik dicapai pada skenario epoch ke 25 pada batch size ke 16 dengan mAP sebesar 0.955, precision sebesar 0.90, dan recall sebesar 0.947 dengan hasil akurasi data uji sebesar 78.5%.

Kata Kunci: Deteksi Objek, YOLOv5, Deep Learning, Kecerdasan Artifisial, Visi Komputer

vii

ABSTRACT

The Covid-19 pandemic that has spread in Indonesia has resulted in a rapid decline in the Indonesia's foreign exchange in the tourism sector and temple tourism visits in the Yogyakarta area and its surroundings, which is one of the well-known tourist destinations, have also greatly decreased. To overcome this, digital tourism is needed in the form of a temple object detection system to increase interest in post-pandemic tourist visits. Object detection is one of the applications of computer vision where the trained AI system can perform certain tasks. In this study, the main task carried out by the AI system created is to detect temple objects which consist of 3 classes, namely Prambanan Temple, Borobudur Temple, and Ratu Boko Temple which are located in Yogyakarta and its surroundings. The research was conducted with the aim of obtaining the best performance of the YOLOv5 model for detecting temple objects. The AI project cycle is used as the stages and methods used in this research. The evaluation parameters used are confusion matrix, mean Average Precision (mAP), Precision, Recall and Accuracy.

Comparisons were made on the 25, 50, 75, and 100 epochs with a combination of batch sizes 16, 32, and 64. The data preprocessing and training model were carried out using Roboflow and Google Colab. The experimental results show that the best model is achieved in the scenario of epoch 25 in batch size 16 with a Mean Average Precision (mAP) of 0.955, precision is 0.90, and recall is 0.947 with accuracy of testing data is 78.5%.

Keywords: Object Detection, YOLOv5, Deep Learning, Artificial Intelligence, Computer Vision

viii

DAFTAR ISI

HALAMAN PENGESAHAN ... II HALAMAN PERNYATAAN ORISINALITAS ... III PRAKATA ... IV ABSTRAK ... VI ABSTRACT ... VII

DAFTAR ISI... VIII DAFTAR GAMBAR ... X DAFTAR TABEL ... XIII

BAB 1 PENDAHULUAN ... 1

1.1 LATARBELAKANG ... 1

1.2 RUMUSANMASALAH ... 2

1.3 BATASANMASALAH ... 2

1.4 TUJUAN ... 3

1.5 MANFAAT ... 3

1.6 SISTEMATIKAPENULISAN ... 4

BAB 2 DASAR TEORI ... 5

2.1 KAJIANPUSTAKA ... 5

2.2 DASARTEORI ... 6

2.2.1 ARTIFICIAL INTELLIGENCE (AI) ... 6

2.2.2 DEEP LEARNING ... 7

2.2.3 COMPUTER VISION ... 9

2.2.4 OBJECT DETECTION ... 10

2.2.5 ALGORITMA YOU ONLY LOOK ONCE (YOLO) ... 11

2.2.5.1 DESKRIPSI YOLO V5 ... 12

2.2.5.2 ARSITEKTUR YOLO V5 ... 13

2.2.5.3 TIPE YOLO V5 ... 14

2.2.6 ROBOFLOW ... 15

2.2.7 GOOGLE COLABORATORY ... 16

2.2.8 AIPROJECT LIFE CYCLE ... 17

2.2.9 PARAMETER EVALUASI DALAM OBJECT DETECTION ... 18

2.2.10 DATASET ... 21

2.2.11 AUGMENTASI DATA ... 21

2.2.12 UNDERFITTING DAN OVERFITTING ... 22

2.2.13 EPOCH DAN BATCH SIZE ... 23

2.2.14 CANDI PRAMBANAN ... 23

2.2.15 CANDI BOROBUDUR ... 24

2.2.16 CANDI RATU BOKO ... 25

2.2.17 CITRA DIGITAL PADA KANAL RGB ... 25

2.2.18 TANTANGAN KLASIFIKASI GAMBAR PADA DETEKSI OBJEK ... 26

BAB 3 METODE PENELITIAN ... 28

ix

3.1 ALUR KERJA PEMBUATAN PROJEK AI OBJECT DETECTION ... 28

3.1.1 PROBLEM SCOPING ... 29

3.1.2 DATA ACQUISITION ... 29

3.1.3 DATA EXPLORATION ... 32

3.1.4 MODELLING ... 36

3.1.5 EVALUATION ... 37

3.1.5.1 CONFUSION MATRIX ... 37

3.1.5.2 RECALL ... 38

3.1.5.3 PRECISION ... 39

3.1.5.4 MEAN AVERAGE PRECISION (MAP) ... 39

3.1.5.5 AKURASI... 39

3.1.6 PENGUJIAN DATA TEST ... 40

3.1.7 ANALISA DAN PEMBAHASAN ... 40

BAB 4 HASIL DAN PEMBAHASAN ... 41

4.1 HASIL PROSES LATIH MODEL YOLOV5 ... 41

4.1.1 HASIL PELATIHAN MODEL YOLOV5 PADA EPOCH 25 DAN BATCH SIZE 16 ... 41

4.1.2 HASIL PELATIHAN MODEL YOLOV5 PADA EPOCH 25 DAN BATCH SIZE 32 ... 43

4.1.3 HASIL PELATIHAN MODEL YOLOV5 PADA EPOCH 25 DAN BATCH SIZE 64 ... 44

4.1.4 HASIL PELATIHAN MODEL YOLOV5 PADA EPOCH 50 DAN BATCH SIZE 16 ... 46

4.1.5 HASIL PELATIHAN MODEL YOLOV5 PADA EPOCH 50 DAN BATCH SIZE 32 ... 47

4.1.6 HASIL PELATIHAN MODEL YOLOV5 PADA EPOCH 50 DAN BATCH SIZE 64 ... 49

4.1.7 HASIL PELATIHAN MODEL YOLOV5 PADA EPOCH 75 DAN BATCH SIZE 16 ... 50

4.1.8 HASIL PELATIHAN MODEL YOLOV5 PADA EPOCH 75 DAN BATCH SIZE 32 ... 52

4.1.9 HASIL PELATIHAN MODEL YOLOV5 PADA EPOCH 75 DAN BATCH SIZE 64 ... 53

4.1.10 HASIL PELATIHAN MODEL YOLOV5 PADA EPOCH 100 DAN BATCH SIZE 16 ... 55

4.1.11 HASIL PELATIHAN MODEL YOLOV5 PADA EPOCH 100 DAN BATCH SIZE 32 ... 56

4.1.12 HASIL PELATIHAN MODEL YOLOV5 PADA EPOCH 100 DAN BATCH SIZE 64 ... 58

4.2 PERBANDINGANPERFORMAPELATIHANMODEL ... 59

4.3 HASILPENGUJIANMODELYOLOV5 ... 63

BAB 5 PENUTUP ... 70

5.1 KESIMPULAN ... 70

5.2 SARAN ... 71

DAFTAR PUSTAKA ... 72

LAMPIRAN... 77

x

DAFTAR GAMBAR

Gambar 2. 1 Korelasi antara AI, Machine Learning, dan Deep Learning [12].... 7

Gambar 2. 2 Arsitektur CNN [13]... 9

Gambar 2. 3 Tugas dalam Computer Vision [16] ... 10

Gambar 2. 4 Arsitektur Konsep Object Detection [18] ... 11

Gambar 2. 5 Arsitektur YOLOv5 [8] ... 14

Gambar 2. 6 Performa Tipe Model YOLOv5 [20] ... 14

Gambar 2. 7 Roboflow [21] ... 15

Gambar 2. 8 Alur Kerja Computer Vision pada Roboflow [21] ... 16

Gambar 2. 9 Google Colaboratory [23] ... 17

Gambar 2. 10 AI Project Life Cycle [24] ... 17

Gambar 2. 11 Ilustrasi Intersection Over Union (IOU) [25] ... 19

Gambar 2. 12 Confusion Matrix [26] ... 20

Gambar 2. 13 Pembagian Dataset [27] ... 21

Gambar 2. 14 Candi Prambanan [33] ... 24

Gambar 2. 15 Candi Borobudur [35] ... 25

Gambar 2. 16 Candi Ratu Boko [37] ... 25

Gambar 2. 17 Tantangan pada Klasifikasi Gambar [39]... 26

Gambar 3. 1 Alur Kerja Projek AI ... 28

Gambar 3. 2 Hasil Scraping Data Foto Candi Prambanan... 29

Gambar 3. 3 Hasil Scraping Data Foto Candi Borobudur ... 30

Gambar 3. 4 Hasil Scraping Data Foto Candi Ratu Boko ... 30

Gambar 3. 5 Hasil Pengumpulan Data Manual Foto Candi Prambanan ... 31

Gambar 3. 6 Hasil Pengumpulan Data Manual Foto Candi Borobudur ... 31

Gambar 3. 7 Hasil Pengumpulan Data Manual Foto Candi Ratu Boko... 31

Gambar 3. 8 Hasil Pengumpulan Data Manual Foto Candi Ratu Boko... 31

Gambar 3. 9 Alur kerja pada Roboflow ... 32

Gambar 3. 10 Pelabelan dan Anotasi Data... 33

Gambar 3. 11 Pembagian dataset... 33

Gambar 3. 12 Rincian preprocessing data dan augmentasi data ... 34

Gambar 3. 13 Hasil Preprocessing dan Augmentasi Gambar Candi Prambanan . 35 Gambar 3. 14 Hasil Preprocessing dan Augmentasi Gambar Candi Borobudur . 35 Gambar 3. 15 Hasil Preprocessing dan Augmentasi Gambar Candi Ratu Boko.. 36

Gambar 3. 16 Alur Proses Tahap Modelling ... 36

Gambar 3. 17 Confusion Matrix [26] ... 38

Gambar 4. 1 Ringkasan Model pada Epoch 25 dan Batch Size 16 ... 41

Gambar 4. 2 Grafik Hasil Latih Model pada Epoch 25 dan Batch Size 16 ... 41

Gambar 4. 3 Confusion Matrix Pelatihan Model pada Epoch 25 dan Batch Size 16 ... 42

Gambar 4. 4 Ringkasan Model pada Epoch 25 dan Batch Size 32 ... 43

Gambar 4. 5 Grafik Hasil Latih Model pada Epoch 25 dan Batch Size 32 ... 43

xi

Gambar 4. 6 Confusion Matrix Pelatihan Model pada Epoch 25 dan Batch Size 32 44

Gambar 4. 7 Ringkasan Model pada Epoch 25 dan Batch Size 64 ... 44

Gambar 4. 8 Grafik Hasil Latih Model pada Epoch 25 dan Batch Size 64 ... 45

Gambar 4. 9 Confusion Matrix Pelatihan Model pada Epoch 25 dan Batch Size 64 ... 45

Gambar 4. 10 Ringkasan Model pada Epoch 50 dan Batch Size 16 ... 46

Gambar 4. 11 Grafik Hasil Latih Model pada Epoch 50 dan Batch Size 16 ... 46

Gambar 4. 12 Confusion Matrix Pelatihan Model pada Epoch 50 dan Batch Size 16 ... 47

Gambar 4. 13 Ringkasan Model pada Epoch 50 dan Batch Size 32 ... 47

Gambar 4. 14 Grafik Hasil Latih Model pada Epoch 50 dan Batch Size 32 ... 48

Gambar 4. 15 Confusion Matrix Pelatihan Model pada Epoch 50 dan Batch Size 32 ... 48

Gambar 4. 16 Ringkasan Model pada Epoch 50 dan Batch Size 64 ... 49

Gambar 4. 17 Grafik Hasil Latih Model pada Epoch 50 dan Batch Size 64 ... 49

Gambar 4. 18 Confusion Matrix Pelatihan Model pada Epoch 50 dan Batch Size 64 ... 50

Gambar 4. 19 Ringkasan Model pada Epoch 75 dan Batch Size 16 ... 50

Gambar 4. 20 Grafik Hasil Latih Model pada Epoch 75 dan Batch Size 16 ... 51

Gambar 4. 21 Confusion Matrix Pelatihan Model pada Epoch 75 dan Batch Size 16 ... 51

Gambar 4. 22 Ringkasan Model pada Epoch 75 dan Batch Size 32 ... 52

Gambar 4. 23 Grafik Hasil Latih Model pada Epoch 75 dan Batch Size 32 ... 52

Gambar 4. 24 Confusion Matrix Pelatihan Model pada Epoch 75 dan Batch Size 32 ... 53

Gambar 4. 25 Ringkasan Model pada Epoch 75 dan Batch Size 64 ... 53

Gambar 4. 26 Grafik Hasil Latih Model pada Epoch 75 dan Batch Size 64 ... 54

Gambar 4. 27 Confusion Matrix Pelatihan Model pada Epoch 75 dan Batch Size 64 ... 54

Gambar 4. 28 Ringkasan Model pada Epoch 100 dan Batch Size 16 ... 55

Gambar 4. 29 Grafik Hasil Latih Model pada Epoch 100 dan Batch Size 16 ... 55

Gambar 4. 30 Confusion Matrix Pelatihan Model pada Epoch 100 dan Batch Size 16 ... 56

Gambar 4. 31 Ringkasan Model pada Epoch 100 dan Batch Size 32 ... 56

Gambar 4. 32 Grafik Hasil Latih Model pada Epoch 100 dan Batch Size 32 ... 57

Gambar 4. 33 Confusion Matrix Pelatihan Model pada Epoch 100 dan Batch Size 32 ... 57

Gambar 4. 34 Ringkasan Model pada Epoch 100 dan Batch Size 64 ... 58

Gambar 4. 35 Grafik Hasil Latih Model pada Epoch 100 dan Batch Size 64 ... 58

Gambar 4. 36 Confusion Matrix Pelatihan Model pada Epoch 100 dan Batch Size 64 ... 59

Gambar 4. 37 Grafik Perbandingan Hasil Latih Model ... 60

Gambar 4. 38 Grafik Perbandingan mAP Antar Kelas ... 61

Gambar 4. 39 Hasil Validation Loss pada Epoch 25 Batch Size 64 ... 62

xii

Gambar 4. 40 Hasil Validation Loss pada Epoch 25 Batch Size 32 ... 62 Gambar 4. 41 Hasil Validation Loss pada Epoch 25 Batch Size 16 ... 62 Gambar 4. 42 Contoh Hasil Deteksi Objek Candi Prambanan pada pada model dengan mAP terbaik ... 63 Gambar 4. 43 Contoh Hasil Deteksi Objek Candi Borobudur pada model dengan mAP terbaik ... 64 Gambar 4. 44 Contoh Hasil Deteksi Objek Candi Ratu Boko pada model dengan mAP terbaik ... 66

xiii

DAFTAR TABEL

Tabel 2. 1 Performa Tipe Model YOLOv5 [19] ... 15

Tabel 3. 1 4W Problem Scoping ... 29

Tabel 3. 2 Konfigurasi Pelatihan Model ... 37

Tabel 4. 1 Perbandingan Hasil Latih Model ... 59

Tabel 4. 2 Perbandingan mAP antar kelas ... 60

Tabel 4. 3 Tabel Hasil Uji Data Candi Prambanan ... 63

Tabel 4. 4 Tabel Hasil Uji Data Candi Borobudur... 65

Tabel 4. 5 Tabel Hasil Uji Data Candi Ratu Boko ... 67