IMPLEMENTASI MUSIC AUTO TAGGING PADA MUSIK TRADISIONAL INDONESIA MENGGUNAKAN DEEP RECURRENT NEURAL NETWORK SKRIPSI

IMPLEMENTASI MUSIC AUTO TAGGING PADA MUSIK

TRADISIONAL INDONESIA MENGGUNAKAN DEEP

RECURRENT NEURAL NETWORK

SKRIPSI

Diajukan sebagai salah satu syarat untuk mendapat gelar Sarjana Komputer (S.Kom.)

Steve Manumpil 00000021768

PROGRAM STUDI INFORMATIKA FAKULTAS TEKNIK DAN INFORMATIKA UNIVERSITAS MULTIMEDIA NUSANTARA

TANGERANG 2021

Digitally signed by Dennis Gunawan

DN: CN=Dennis Gunawan, C=ID, OU=Department of Informatics, O=Universitas Multimedia Nusantara,

E=dennis.gunawan@umn.ac.id Reason: I am approving this document Location: Jakarta Date: 2021-06-29 14:13:08 Digitally signed by Marlinda Vasty Overbeek Date: 2021.06.29 15:56:52 +07'00'

iii

PERNYATAAN TIDAK MELAKUKAN PLAGIAT

Dengan ini saya:

Nama : Steve Manumpil

NIM : 00000021768

Program Studi : Informatika

Fakultas : Teknik dan Informatika

Menyatakan bahwa Skripsi yang berjudul “Implementasi music auto tagging

pada musik tradisional Indonesia menggunakan Deep Recurrent Neural Network” Ini adalah karya ilmiah saya sendiri, bukan plagiat dari karya ilmiah

yang ditulis oleh orang lain atau lembaga lain, dan semua karya ilmiah orang lain atau lembaga lain yang dirujuk dalam Skripsi ini telah disebutkan sumber kutipannya serta dicantumkan di Daftar Pustaka.

Jika di kemudian hari terbukti ditemukan kecurangan / penyimpangan, baik dalam pelaksanaan Skripsi maupun dalam penulisan laporan Skripsi, saya bersedia menerima konsekuensi dinyatakan TIDAK LULUS untuk mata kuliah Skripsi yang telah saya tempuh.

Tangerang, 17 Juni 2021

PERNYATAAN PERSETUJUAN PUBLIKASI KARYA ILMIAH UNTUK KEPENTINGAN AKADEMIS

Sebagai sivitas akademik Universitas Multimedia Nusantara, saya yang bertanda tangan di bawah ini:

Nama : Steve Manumpil NIM : 00000021768

Program Studi : Informatika Fakultas : Teknik dan Informatika Jenis Karya : Skripsi

Demi pengembangan ilmu pengetahuan, menyetujui dan memberikan izin kepada

Universitas Multimedia Nusantara hak Bebas Royalti Non-eksklusif

(Non-exclusive Royalty-Free Right) atas karya ilmiah saya yang berjudul:

Implementasi Music Auto Tagging pada music Tradisional Indonesia menggunakan Deep Recurrent Neural Network

Beserta perangkat yang diperlukan.

Dengan Hak Bebas Royalti Non-eksklusif ini, pihak Universitas Multimedia

Nusantara berhak menyimpan, mengalihmedia atau format-kan, mengelola dalam

bentuk pangkalan data (database), merawat, dan mendistribusikan dan menampilkan atau mempublikasikan karya ilmiah saya di internet atau media lain untuk kepentingan akademis, tanpa perlu meminta izin dari saya maupun memberikan royalty kepada saya, selama tetap mencantumkan nama saya sebagai penulis karya ilmiah tersebut.

v

Demikian pernyataan ini saya buat dengan sebenarnya untuk dipergunakan sebagaimana mestinya.

Tangerang, 17 Juni 2021

HALAMAN PERSEMBAHAN / MOTO

Nothing in this world

is worth having or worth doing unless it means effort, pain, difficulty.

No kind of life is worth leading if it is always an easy life.

vii

KATA PENGANTAR

Puji syukur kepada Tuhan Yang Maha Esa atas segala berkat, rahmat dan karuniaNya, penulis dapat menyelesaikan Skripsi dengan judul “Implementasi Music Auto Tagging pada Musik Tradisional Indonesia menggunakan Deep Recurrent Neural Network” untuk memenuhi salah satu syarat memperoleh gelar sarjana strata satu dengan baik, puas, dan tepat waktu.

Dalam penyusunan Skripsi ini, tidak lupa juga dengan pihak-pihak yang ikut membantu dalam bentuk dukungan moril dan spiritual. Untuk itu, penulis ingin mengucapkan terima kasih kepada:

1. Dr. Ninok Leksono sebagai Rektor Universitas Multimedia Nusantara 2. Marlinda Vasty Overbeek, S.Kom., M.Kom., sebagai Ketua Program Studi

Informatika

3. Dr. Eng. Niki Prastomo, S.T., M.Sc., sebagai Dekan Fakultas Teknik dan Informatika

4. Dennis Gunawan, S.Kom., M.Sc., Sebagai Dosen pembimbing yang telah sabar dan tegas dalam membimbing dan membantu selama proses pengerjaan skripsi demi mengajarkan penulisan tata cara yang benar. 5. Dosen program studi informatika yang telah sabar dan tekun dalam

mengajarkan mahasiswa-mahasiswanya demi memperoleh ilmu yang bermanfaat di masa depan.

6. Keluarga yang terus mendukung selama pengerjaan skripsi dengan memberikan nasihat, motivasi, sehingga memicu semangat untuk dapat sampai pada tahap ini.

7. Rekan-rekan kelas B yang turut memberi semangat, dan motivasi dalam pengerjaan tugas akhir ini yang sedang berjuang juga bersama-sama. 8. Cyntia Fanny sebagai partner dalam pengerjaan tugas akhir ini yang turut

membantu saat menemukan kesulitan dalam prosesnya.

9. Teman-teman satu bimbingan yaitu Albert Wijaya, Djasen Tjendry, Steven Wijaya, dan Aaron Effendi yang ikut membantu dikala menemukan kesulitan saat tahap pengerjaan sehingga semua dapat berjalan bersamaan. 10. Teman-teman lain yang tidak dapat disebutkan satu per satu yang secara

tidak langsung memberikan dukungan moral dan sebagai tempat berbagi keluh kesah saat proses penulisan skripsi.

Semoga Skripsi ini dapat bermanfaat, baik sebagai sumber informasi maupun sumber inspirasi, bagi para pembaca.

Tangerang, 17 Juni 2021

ix

IMPLEMENTASI MUSIC AUTO TAGGING PADA MUSIK TRADISIONAL INDONESIA MENGGUNAKAN DEEP RECURRENT

NEURAL NETWORK

ABSTRAK

Pendengar musik tradisional Indonesia terdiri dari beragam usia. Karakteristiknya membuat musik tradisional lebih sulit dibandingkan dengan musik modern. Seiring bertambahnya musik digital muncul kebutuhan sistem untuk mengorganisir musik berdasarkan karakteristiknya dengan cara menggunakan tag. Hal ini dapat diatasi dengan pendekatan music information retrieval (MIR) salah satunya music auto tagging yang dapat mempelajari hubungan antara konten musik dengan tag terkait. Penggunaan Deep Recurrent Neural Network pada music auto tagging terbukti memberikan hasil terbaik pada data sequential seperti audio. Maka dari itu penelitian bertujuan mengimplemetasikan music auto tagging menggunakan Deep Recurrent Neural Network pada musik tradisional Indonesia. Penelitian dimulai dengan melakukan segmentasi pada audio kemudian dilakukan pelabelan oleh pakar pada sampel tersebut. sampel yang dilabel dikonversi ke bentuk mel-spectrogram untuk dimasukkan ke dalam model DRNN. Pencarian model terbaik yaitu dengan melakukan kombinasi terhadap setiap hyperparameter seperti jumlah layer GRU, nilai dropout, dan jumlah unit yang sudah ditentukan. Hasil dari pengujian menunjukkan kombinasi 5 layer GRU dengan jumlah 256 unit dan nilai dropout 0.25 pada data sebelum augmentasi memberikan hasil yang memuaskan pada skor AUC-ROC 94,51% dan AUC-PR 86,58%. Dan kombinasi 6 layer GRU 64 Unit dan nilai dropout 0.25 pada data augmentasi memberikan skor terbaik dengan skor AUC-ROC 94,49% dan AUC-PR 85,06%.

Kata Kunci: Deep Recurrent Neural Network, mel-spectrogram, music auto tagging, music information retrieval, musik tradisional Indonesia.

IMPLEMENTATION OF MUSIC AUTO TAGGING ON INDONESIAN TRADITIONAL MUSIC USING DEEP RECURRENT NEURAL

NETWORK

ABSTRACT

Indonesian traditional music listeners consist of various ages. Its characteristics make traditional music more difficult than modern music. As digital music grows, there is a need for systems to organize music based on its characteristics using tags. This can be overcome with a music information retrieval (MIR) approach, one of which is music auto tagging which can study the relationship between music content and related tags. The use of Deep Recurrent Neural Network in auto tagging music is proven to give the best results on sequential data such as audio. Therefore, this research aims to implement auto tagging music using Deep Recurrent Neural Network on Indonesian traditional music. The study began by segmenting the audio and then labeling by experts. labeled samples were converted to mel-spectrogram form for inclusion in thse DRNN model. The search for the best model is done by combining each hyperparameter such as the number of GRU layers, the dropout value, and the number of units that have been determined. The results of the test show that the combination of 5 GRU layers with a total of 256 units and a dropout value of 0.25 on the data before augmentation gives satisfactory results on the AUC-ROC score of 94.51% and AUC-PR 86.58%. And the combination of 6 layers of GRU 64 Units and a dropout value of 0.25 on augmentation data gives the best score with AUC-ROC scores of 94.49% and AUC-PR 85.06%.

Keyword: Deep Recurrent Neural Network, mel-spectrogram, music auto tagging, music information retrieval, Indonesian traditional music.

xi

DAFTAR ISI

LEMBAR PENGESAHAN ... ii

PERNYATAAN TIDAK MELAKUKAN PLAGIAT ... iii

PERNYATAAN PERSETUJUAN PUBLIKASI KARYA ILMIAH ... iv

HALAMAN PERSEMBAHAN / MOTO ... vi

KATA PENGANTAR ... vii

ABSTRAK ... ix

ABSTRACT ... x

DAFTAR ISI ... xi

DAFTAR GAMBAR ... xiii

DAFTAR TABEL ... xv

DAFTAR RUMUS ... xvi

BAB 1 PENDAHULUAN ... 1 1.1 Latar Belakang ... 1 1.2 Rumusan Masalah ... 4 1.3 Batasan Masalah ... 4 1.4 Tujuan Penelitian ... 4 1.5 Manfaat Penelitian ... 5 1.6 Sistematika Penulisan ... 5

BAB 2 LANDASAN TEORI ... 7

2.1 Representasi Audio ... 7

2.2 Artificial Neural Network (ANN) ... 8

2.3 Deep Recurrent Neural Network (DRNN) ... 9

2.4 Gated Recurrent Unit (GRU)... 11

2.5 Data Augmentation ... 12

2.6 Evaluasi ... 13

BAB 3 METODOLOGI PENELITIAN... 16

3.1 Studi Literatur ... 16

3.2 Pengumpulan Data ... 16

3.3 Preprocessing ... 20

3.4 Perancangan Aplikasi ... 22

3.4.2 Rancangan Tampilan Antarmuka ... 23

3.5 Pembuatan Aplikasi ... 24

3.6 Dokumentasi ... 26

BAB 4 HASIL DAN DISKUSI ... 27

4.1 Hasil Implementasi Aplikasi ... 27

4.1.1 Hasil Implementasi Rancangan Antarmuka Aplikasi ... 27

4.1.2 Source Code Hasil Implementasi Segmentasi Audio... 29

4.1.3 Source Code Hasil Implementasi Preprocessing... 31

4.1.4 Source Code Hasil Implementasi Aplikasi ... 34

4.2 Skenario Pengujian ... 36

4.3 Hasil Pengujian ... 37

4.4 Diskusi ... 43

BAB 5 SIMPULAN DAN SARAN ... 50

5.1 Simpulan ... 50

5.2 Saran ... 50

DAFTAR PUSTAKA ... 52

xiii

DAFTAR GAMBAR

Gambar 2.1 Mel-Spectrogram ... 8

Gambar 2.2 Arsitektur RNN ... 10

Gambar 2.3 Kurva ROC ... 14

Gambar 2.4 Kurva precision-recall ... 15

Gambar 3.1 Flowchart export segment ... 17

Gambar 3.2 Flowchart segmentasi audio... 18

Gambar 3.3 Metadata sampel audio ... 20

Gambar 3.4 Distribusi label yang kecil ... 20

Gambar 3.5 Flowchart preprocessing ... 21

Gambar 3.6 Flowchart implementasi website ... 23

Gambar 3.7 Rancangan tampilan aplikasi ... 24

Gambar 4.1 Tampilan awal aplikasi... 27

Gambar 4.2 Tampilan modal input lagu ... 28

Gambar 4.3 Tampilan hasil segment dan tag yang dikembalikan ... 28

Gambar 4.4 Potongan kode segmentasi audio ... 29

Gambar 4.5 Potongan kode eksport sampel ... 31

Gambar 4.6 Potongan kode augmentasi ... 32

Gambar 4.7 Potongan kode konversi mel-spectrogram ... 33

Gambar 4.8 Potongan kode create app ... 34

Gambar 4.9 Potongan kode route website ... 35

Gambar 4.10 Potongan kode audio predict... 36

Gambar 4.11 Hasil pengujian AUC-ROC pada kombinasi layer GRU ... 38

Gambar 4.12 Hasil pengujian AUC-PR pada kombinasi layer GRU ... 38

Gambar 4.13 Hasil pengujian AUC-ROC pada kombinasi layer GRU menggunakan data augmentasi ... 39

Gambar 4.14 Hasil pengujian AUC-PR pada kombinasi layer GRU menggunakan data augmentasi ... 39

Gambar 4.15 Hasil pengujian AUC-ROC pada kombinasi nilai dropout ... 40

Gambar 4.16 Hasil pengujian AUC-PR pada kombinasi nilai dropout ... 40

Gambar 4.17 Hasil pengujian AUC-ROC pada kombinasi nilai dropout menggunakan data augmentasi ... 41

Gambar 4.18 Hasil pengujian AUC-PR pada kombinasi nilai dropout menggunakan data augmentasi ... 41

Gambar 4.19 Hasil pengujian AUC-ROC pada kombinasi unit ... 42

Gambar 4.20 Hasil pengujian AUC-PR pada kombinasi unit... 42

Gambar 4.21 Hasil pengujian AUC-ROC pada kombinasi unit menggunakan data augmentasi... 43

Gambar 4.22 Hasil pengujian AUC-PR pada kombinasi unit menggunakan data augmentasi... 43

Gambar 4.23 Skor AUC-ROC dan AUC-PR rata-rata model terbaik pada data sebelum augmentasi ... 45

Gambar 4.24 Skor AUC-ROC dan AUC-PR rata-rata tiap label pada model 5L-256U-0.25DV sebelum augmentasi ... 45 Gambar 4.25 Skor AUC-ROC dan AUC-PR rata-rata tiap label pada model 5L-256U-0.25DV sebelum augmentasi (lanjutan) ... 46 Gambar 4.26 Skor AUC-ROC dan AUC-PR rata-rata model terbaik pada data augmentasi... 47 Gambar 4.27 Skor AUC-ROC dan AUC-PR rata-rata tiap label pada model 6L-64U-0.25DV menggunakan data augmentasi ... 47 Gambar 4.28 Skor AUC-ROC dan AUC-PR rata-rata tiap label pada model 6L-64U-0.25DV menggunakan data augmentasi (lanjutan) ... 48

xv

DAFTAR TABEL

DAFTAR RUMUS

Rumus 2.1 Neural Network... 9

Rumus 2.2 Recurrent Neural Network ... 10

Rumus 2.3 Update Gate ... 12

Rumus 2.4 Reset Gate ... 12

Rumus 2.5 True Positive Rate ... 14

Rumus 2.6 False Positive Rate ... 14

55

DAFTAR LAMPIRAN

Lampiran 1 Daftar Riwayat Hidup ... 56

Lampiran 2 Hasil Uji Coba ... 57

Lampiran 3 Form Bimbingan Skripsi ... 60

Lampiran 4 Daftar Riwayat Hidup Pakar... 61