KLASIFIKASI CUSTOMER CHURN PADA UNIVERSITAS MULTIMEDIA NUSANTARA MENGGUNAKAN JARINGAN SARAF TIRUAN

KLASIFIKASI CUSTOMER CHURN PADA

UNIVERSITAS MULTIMEDIA NUSANTARA

MENGGUNAKAN JARINGAN SARAF TIRUAN

SKRIPSI

Diajukan Guna Memenuhi Persyaratan Memperoleh Gelar Sarjana Komputer (S.Kom.)

Nellie Maysela 00000010781

PROGRAM STUDI SISTEM INFORMASI

FAKULTAS TEKNIK DAN INFORMATIKA

UNIVERSITAS MULTIMEDIA NUSANTARA

TANGERANG

2019

ii

iii

iv

KLASIFIKASI CUSTOMER CHURN PADA UNIVERSITAS

MULTIMEDIA NUSANTARA MENGGUNAKAN JARINGAN

SARAF TIRUAN

ABSTRAK

Oleh: Nellie Maysela

Mahasiswa churn adalah salah satu masalah yang krusial dalam institusi tinggi. Tingkat churn yang tinggi dapat mempengaruhi pendapatan, reputasi, dan peringkat dari universitas. Fenomena ini terjadi pada Universitas Multimedia Nusantara dengan rata-rata hampir 20% per angkatan dan kurang lebih 18% dari total mahasiswa yang terdaftar pada tahun 2007 hingga tahun 2018. Data yang berjumlah 16.394 records ini telah mewakilkan geografi, demografi, dan nilai transkrip dari setiap mahasiswa. Banyak studi mengenai mahasiswa churn yang berfokus pada mahasiswa tahun pertama. Penelitian ini mencoba untuk tidak hanya fokus terhadap mahasiswa tahun pertama saja karena setiap mahasiswa dapat memutuskan untuk meninggalkan universitas kapan saja. Setelah model melalui proses training dan testing, model jaringan saraf tiruan ini menghasilkan nilai akurasi keseluruhan yang mencapai 82,20%.

v

CUSTOMER CHURN CLASSIFICATION IN UNIVERSITAS

MULTIMEDIA NUSANTARA USING ARTIFICIAL NEURAL

NETWORK

ABSTRACT

By: Nellie Maysela

Student churn is a crucial thing to solve in higher education. A high churn rates can affect revenue, reputation and ranking of university. This phenomenon happens at Universitas Multimedia Nusantara with average percentage almost reaches 20% per enrollment year and roughly 18% of the total students who enrolled in 2007 to 2018. The data tracks 16.394 students and represent the geography, demographics and academic records of each student. Some student churn studies have focused on first year dropout. This study tries not to focus only on the first-year students because every student can decide to leave university anytime. Through the training and testing process this artificial neural network model reaches 82,20% overall accuracy.

vi

KATA PENGANTAR

Puji syukur penulis panjatkan kehadirat Tuhan Yang Maha Esa, oleh karena berkat dan anugerah-Nya penulis dapat melaksanakan penelitian dengan baik dan juga menyelesaikan penulisan skripsi yang berjudul “Prediksi Customer Churn Pada Universitas Multimedia Nusantara Menggunakan Jaringan Syaraf Tiruan” dengan tepat waktu.

Penulis berterima kasih kepada Universitas Multimedia Nusantara yang telah memberikan kesempatan bagi penulis untuk melaksanakan penelitian skripsi di Universitas Multimedia Nusantara.

Dengan berakhirnya proses penulisan skripsi ini, penulis ingin mengucapkan terima kasih kepada pihak-pihak yang membantu selama penelitian dan penulisan skripsi, yaitu:

1. Ibu Ririn Ikana Desanti S. Kom., M. Kom., selaku Ketua Program Studi Sistem Informasi di Universitas Multimedia Nusantara yang telah mendukung penulis untuk melaksanakan penelitian dan penulisan skripsi, 2. Bapak Yustinus Eko Soelistio, S.Kom., M.M. yang telah membimbing dan

memberikan saran kepada penulis selama dalam penelitian dan penulisan skripsi,

3. Pihak Biro Administrasi Akademik dan Kemahasiswaan Universitas Multimedia Nusantara yang telah memberikan ijin dalam pengambilan data penelitian,

vii 4. Pihak divisi IT Universitas Multimedia Nusantara yang telah membantu

penulis dalam menyediakan data penelitian.

5. Kedua orang tua serta keluarga penulis yang selalu mendukung, mengasihi, dan mendoakan sehingga penulis dapat menyelesaikan studi dengan baik, 6. Teman-teman penulis yang mendukung dan memberikan semangat.

Semoga skripsi ini dapat memberikan informasi dan inspirasi yang bermanfaat bagi para pembaca.

Tangerang, 17 Juli 2019

viii

DAFTAR ISI

PERNYATAAN ... ii

HALAMAN PENGESAHAN ... iii

ABSTRAK ... iv

ABSTRACT ... v

KATA PENGANTAR ... vi

DAFTAR ISI ... viii

DAFTAR GAMBAR ... xi

DAFTAR TABEL ... xii

DAFTAR RUMUS... xiii

BAB I PEDAHULUAN ... 1 1.1 Latar Belakang ... 1 1.2 Rumusan Masalah ... 4 1.3 Batasan Masalah... 5 1.4 Tujuan Penelitian ... 5 1.5 Manfaat Penelitian ... 5 1.6 Sistematika Penulisan... 6

BAB II LANDASAN TEORI ... 7

2.1 Customer Churn ... 7

2.2 Teknik Klasifikasi ... 7

2.3 Jaringan Saraf Tiruan ... 8

2.3.1 Multi Layer Perceptron ... 9

2.3.2 Activation Function ... 10

ix

2.4 K-Fold Cross Validation ... 14

2.5 Confusion Matrix ... 15 2.6 R ... 17 2.7 Microsoft Excel ... 18 2.8 Penelitian Terdahulu ... 19 2.8.1 Penelitian Pertama ... 19 2.8.2 Penelitian Kedua ... 20

BAB III METODOLOGI PENELITIAN... 22

3.1 Objek Penelitian ... 22 3.2 Metode Penelitian... 22 3.2.1 Pengumpulan Data ... 23 3.2.2 Data Preprocessing ... 24 3.2.2.1 Seleksi Atribut ... 24 3.2.2.2 Missing Value ... 25 3.2.2.3 Reshape Data ... 26 3.2.2.4 Feature Mapping ... 26

3.2.2.5 Menghapus Data Duplikat ... 27

3.2.3 Membangun Model ... 27

3.2.4 Pelatihan Model ... 30

3.2.5 Evaluasi Kinerja Model... 32

BAB IV HASIL DAN PEMBAHASAN ... 34

4.1 Analisis Deskriptif ... 34

4.1.1 Tingkat Churn Berdasarkan Angkatan Mahasiswa... 34

4.1.2 Tingkat Churn Berdasarkan Program Studi ... 36

x

4.2 Data Preprocessing ... 40

4.3 Model Jaringan Saraf Tiruan ... 43

4.4 Evaluasi Kinerja Model... 44

4.5 Prediksi Churn Mahasiswa Angkatan 2015 ... 46

4.5.1 Training Set dan Validation Set ... 47

4.5.2 Training dan Validasi Model ... 47

4.5.3 Prediction Set ... 48

4.5.4 Proses Prediksi Churn Angkatan 2015 ... 48

4.5.5 Hasil Prediksi Churn Angkatan 2015 ... 49

4.5.6 Potensi Churn Angkatan 2015 ... 50

4.6 Diskusi... 51

BAB V KESIMPULAN DAN SARAN ... 54

5.1 Kesimpulan ... 54

5.2 Saran ... 55

DAFTAR PUSTAKA ... 56

xi

DAFTAR GAMBAR

Gambar 2. 1 Struktur Neuron pada Otak Manusia ... 9

Gambar 2. 2 Arsitektur Multi Layer Perceptron ... 10

Gambar 2. 3 Fungsi Sigmoid ... 11

Gambar 2. 4 Ilustrasi K-Fold Cross Validation ... 14

Gambar 2. 5 Confusion Matrix... 15

Gambar 3. 1 Tahapan Utama Metode Peneltian ... 22

Gambar 3. 2 Langkah Proses Pelatihan Model ... 30

Gambar 3. 3 Ilustrasi 2-Fold Cross Validation ... 33

Gambar 4. 1 Persentase Tingkat Churn Berdasarkan Angkatan ... 35

Gambar 4. 2 Persentase Tingkat Churn Berdasarkan Program Studi ... 37

Gambar 4. 3 Persentase Tingkat Churn Berdasarkan Jenis Kelamin... 39

Gambar 4. 4 Data Sebelum Preprocessing ... 40

xii

DAFTAR TABEL

Tabel 3. 1 Keterangan Atribut Data ... 23

Tabel 3. 2 Atribut dan Jumlah Kategori Pada Data ... 27

Tabel 4. 1 Atribut Dataset Setelah Seleksi Atribut ... 41

Tabel 4. 2 Atribut Dataset Setelah Preprocessing ... 42

Tabel 4. 3 Struktur JST dan Jumlah Neuron Setiap Layer ... 44

Tabel 4. 4 Struktur Neuron dan Learning Rate ... 44

Tabel 4. 5 Evaluasi Keseluruhan Model Dengan Hidden Neuron Berbeda ... 45

Tabel 4. 6 Evaluasi Keseluruhan Model Dengan Learning Rate Berbeda ... 46

Tabel 4. 7 Confusion Matrix Prediksi Angkatan 2015 ... 49

Tabel 4. 8 Potensi Churn Berdasarkan Jenis Kelamin Angkatan 2015 ... 50

xiii

DAFTAR RUMUS

Rumus 2. 1 Rumus Fungsi Aktivasi Sigmoid ... 10

Rumus 2. 2 Nilai Input Simpul ... 12

Rumus 2. 3 Fungsi Aktivasi Backpropagation ... 12

Rumus 2. 4 Nilai Error Sesungguhnya ... 12

Rumus 2. 5 Nilai Error Hidden Layer ... 13

Rumus 2. 6 Perbaharui Bobot ... 13

Rumus 2. 7 Rumus Accuracy Pada Confusion Matrix ... 16

Rumus 2. 8 Rumus Error Rate Pada Confusion Matrix... 16

Rumus 2. 9 Rumus Precision Pada Confusion Matrix ... 16

Rumus 2. 10 Rumus Recall Pada Confusion Matrix ... 17

60

LAMPIRAN

1. Rincian rata-rata accuracy, precision, recall, dan F1 score dari model dengan 15 hidden neuron dalam 10 kali pelatihan

2. Rincian rata-rata accuracy, precision, recall, dan F1 score dari model dengan 20 hidden neuron dalam 10 kali pelatihan

3. Rincian rata-rata accuracy, precision, recall, dan F1 score dari model dengan 25 hidden neuron dalam 10 kali pelatihan

4. Rincian rata-rata accuracy, precision, recall, dan F1 score dari model dengan learning rate 0,1 dan 20 hidden neuron dalam 10 kali pelatihan 5. Rincian rata-rata accuracy, precision, recall, dan F1 score dari model

dengan learning rate 0,01 dan 20 hidden neuron dalam 10 kali pelatihan 6. Rincian rata-rata accuracy, precision, recall, dan F1 score dari model

dengan learning rate 0,001 dan 20 hidden neuron dalam 10 kali pelatihan 7. Rincian rata-rata accuracy, precision, recall, dan F1 score dari hasil validasi

pelatihan model (prediksi angkatan 2016 hingga 2018) dalam 10 kali pelatihan

8. Rincian rata-rata accuracy, precision, recall, dan F1 score dari hasil validasi pelatihan model (prediksi angkatan 2015) dalam 10 kali pelatihan