PREDIKSI KELULUSAN MAHASISWA MENGGUNAKAN METODE NEURAL NETWORK DAN PARTICLE SWARM OPTIMIZATION
Dewi Kusumawati1), Wing Wahyu Winarno2), M. Rudyanto Arief3)
1), 2), 3) Magister Teknik Informatika STMIK AMIKOM Yogyakarta
Jl Ring road Utara, Condongcatur, Sleman, Yogyakarta 55281
Email :dkusumawati46@yahoo.co.id1),wing@mail.ugm.ac.id2),rudy@amikom.ac.id3)
Abstrak
Tingkat kelulusan mahasiswa S1 Teknik Informatika STMIK Bina Mulia Palu sejak tahun akademik 2008 sampai 2009 menunjukan persentase rata-rata jumlah mahasiswa lulusan yang tepat waktu kurang dari saran mutu pihak kampus. Kondisi tersebut mendorong pihak jurusan untuk melakukan evaluasi dan langkah strategis dalam upaya meningkatkan tingkat kelulusan mahasiswa agar sasaran mutu bisa tercapai.
Evaluasi program studi perlu ditingkatkan dengan dibuatnya sistem prediksi tingkat kelulusan pada penyelenggaraan proses perkuliahan. Jaringan saraf tiruan (Artificial Neural Network) sebagian besar telah cukup handal dalam pemecahan masalah peramalan yang sering ditemukan dalam proses pengambilan keputusan salah satunya adalah prediksi kelulusan mahasiswa dengan menggunakan metode backpropagation neural network. namun proses pembelajaran bacpropagation terkadang menemui kendala seperti over fitting sehingga tidak dapat menggeneralisasikan masalah. Untuk mengatasi masalah tersebut diusulkan penggunaan Particle Swarm Optimization untuk melatih bobot pada jaringan.
Variabel input yang digunakan dalam Prediksi kelulusan mahasiswa ini menggunakan yaitu 30 nilai mata kuliah. Output yang dihasilkan adalah kelulusan Tepat Waktu atau Melebihi Batas Waktu. Adapun tools yang digunakan yaitu MatlabR2010a.
Pengujian dilakukan menggunakan perangkat lunak matlab yang diuji dengan beberapa bentuk arsitektur jaringan. Berdasarkan data uji aristektur dengan konfigurasi terbaik untuk NN terdiri dari 30 lapisan masukan, 25 lapisan tersembunyi dan 1 lapisan keluaran dengan nilai leraning rate 0.2, RMSE 0.070 dengan akurasi 78.26% . Nilai RMSE setelah dioptimasi yaitu 0.048 dengan tingkat akurasi 87.31% .
.
Kata kunci:Neural Network, Particle Swarm Optimization, Prediksi, matlab.
1. Pendahuluan
Salah satu teknik evaluasi tingkat kelulusan secara dini adalah dengan sistem prediksi tingkat kelulusan mahasiswa dimana informasi yang dihasilkan oleh hasil prediksi ini dapat dijadikan sebagai bahan pertimbangan
bagi pihak manajemen program studi untuk melakukan langkah persuasif dalam rangka meningkatkan persentasi kelulusan mahasiswa yang memenuhi standar mutu yang ditetapkan kampus. Prediksi dalam konteks komputasi merupakan salah satu kegiatan matematis. Prediksi ini telah dilakukan bertahun-tahun sebelum penguasaan komputer, yaitu menggunakan alat hitung seperti kalkulator. Prediksi penentuan kelulusan mahasiswa dapat membantu pihak manajemen dalam mengambil keputusan. Bagaimana menganalisa kelulusan mahasiswa dan mendapatkan parameter terbaik dari metode yang digunakan untuk dapat memprediksi kelulusan mahasiswa.
Metode yang digunakan dalam memprediksi kelulusan mahasiswa menggunakan neural network dan particle swarm optimization, tools yang digunakan yaitu matlab R2010a. Metode ini telah banyak digunakan untuk membantu menyelesaikan berbagai macam permasalahan, salah satu permasalahan tersebut adalah pencocokan/ keakurasian berdasarkan pelatihan yang diberikan. Neural network dapat dimanfaatkan untuk kasus forecasting yang nantinya akan di optimasi menggunakan particle swarm optimization. Manfaat penelitian ini yaitu dapat melakukan tindakan jika hasil prediksi kelulusan kurang dari standar yang ditetapkan oleh pihak kampus, dapat sebagai pertimbangan bagi pihak manajemen program studi dalam melakukan evaluasi tingkat kelulusan mahasiswa dan Membantu pihak jurusan dalam mengevaluasi salah satu matakuliah yang menjadi pendukung tingkat kelulusan sehingga menjadi perbaikan nilai mahasiswa angkatan berikutnya dan dapat meningkatkan kelulusan mahasiswa.
Penelitian sebelumnya mengenai Klasifikasi Data Cardiotocography oleh [1] dengan Integrasi Metode Neural Network dan Particle Swarm Optimization, yang mengimplementasikan PCA untuk memilih fitur data yang memilik bobot Principal Component yang tinggi.
Penelitian yang dilakukan oleh [2] mengenai Optimasi Bobot Jaringan Syaraf Tiruan Menggunakan Particle Swarm Optimization, penelitian ini bertujuan meprediksi tingkat inflasi dengan menggunakan 11 node input.
Hasilnya mendapatkan jaringan terbaik dengan aristektur 5 node hidden.
Kesulitan metode backpropagation dalam proses training NN terletak pada proses penentuan parameter bobotnya.
Penentuan nilai parameter bobot pada NN dipengaruhi pemilihan jumlah hidden layer dan nilai learning rate yang sesuai. Nilai learning rate yang tidak sesuai berdampak pada hasil klasifikasi yang kurang optimal.
Apabila nilai leraning rate terlalu besar, network akan mencapai konvergen dalam waktu yang singkat tetapi error klasifikasi menjadi besar. Sebaliknya bila learning rate terlalu rendah, hasil klasifikasi memiliki akurasi yang baik tetapi proses training membutuhkan waktu lama[3].
Jaringan Syaraf Tiruan (Artificial Neural Network ) ANN mampu mengenali sinyal input yang agak berbeda dari yang pernah diterima sebelumnya dan mampu bekerja meskipun beberapa neuronnya tidak mampu bekerja dengan baik. Jika sebuah neuron rusak maka neuron lain dapat dilatih untuk menggantikan fungsi neuron yang rusak tersebut. Model neuron ANN terdiri dari fungsi penjumlahan (summing function), fungsi aktivasi (activation function), dan keluaran (output).[3]
Gambar 1. Model Neuron Neuron k bisa dideskripsikan secara matematis
uk= ∑ (1)
Dan
Yk=
φ
(uk+ bk) (2)Keterangan:
X1..Xm :Signal input
W1..Wm :Bobot yang berhubungan dengan input ke-j ke unit k
φ :F
ungsi aktivasi non linearUk :Kombinasi linier dari output yang dihasilkan
bk :Bias
yk :Signal output Backpropagation
Backpropagation merupakan algoritma pembelajaran yang terawasi dan biasanya digunakan oleh perceptron dengan banyak lapisan untuk mengubah bobot yang terhubung dengan neuron-neuron, yang ada pada lapisan tersembunyinya. Algoritma backpropagation menggunakan error output untuk mengubah nilai bobot- bobotnyadalam arah mundur (backward).[3] .
Prediksi kelulusan mahasiswa dengan backpropagation neural network menggunakan langkah-langkah, yaitu sebagai berikut:
a. Memisahkan data yang akan digunakan sebagai data pelatihan dan data uji. Dalam penelitian ini pembagian data pelatihan dan data pengujian yaitu 60% data pelatihan dan 40% untuk data pengujian[4]
b. Desain JST dilakukan untuk prediksi kelulusan mahasiswa dimulai dengan menentukan banyaknya data masukan yang digunakan, banyaknya layer tersembunyi (hidden layer) yang digunakan dan banyaknya keluaran yang diinginkan. Data yang digunakan sebagai masukan sebanyak 30 data (nilai semester 1 sampai nilai semester 4) dan data keluaran yaitu kelulusan”
Tepat Waktu” atau “Melebihi Batas Waktu”.
c. Pengenalan pola dilakukan dengan cara penyesuaian nilai bobot (dalam penelitian ini nilai bobot ditentukan secara random). Penghentian penyesuaian bobot dalam pengenalan pola apabila kuadrat error mencapai target error.
d. Pengujian dan prediksi
Pengujian dilakukan bertujuan untuk mengetahui tingkat keakuratan sistem JST yang telah dibuat dalam prediksi data kelulusan pada tahun tertentu.
Sedangkan prediksi bertujuan untuk memprediksi data kelulusan mahasiswa yang akan datang Fungsi Aktivasi Sigmoid Biner
Fungsi ini digunakan untuk jaringan saraf dilatih dengan menggunakan metode backpropagation. Fungsi sigmoid memiliki nilai pada range 0 sampai 1. Oleh karena itu, fungsi ini sering digunakan untuk jaringan saraf yang membutuhkan nilai output yang terletak pada interval 0 sampai 1. Namun fungsi ini bisa juga digunakan oleh jaringan saraf yang nilai outputnya 0 atau 1 [5].
Fungsi sigmoid dirumuskan sebagai berikut:
( ) = (3)
Root Means Square Error(RMSE)
Ukuran yang sering digunakan perbedaan antara nilai- nilai diprediksi oleh model dan nilai benar atau nilai target, diamati dari lingkungan yang sedang di modelkan [6]RMSE dirumuskan sebagai berikut:
n X RMSE X
n
i obsi modeli
1, 2
,
)
(
(4) Aristektur Jaringan Metode BackPropagation
Jaringan saraf terdiri dari 3 lapisan, yaitu lapisan masukan/input terdiri dari variabel masukan unit sel saraf, lapisan tersembunyi dan lapisan keluaran/output. Lapisan masukan digunakan untuk menampung 30 variabel yaitu x1 sampai dengan x30, lapisan tersembunyi terdiri dari 25 sel saraf, lapisan tersembunyi atau node hidden ditentukan sendiri oleh pengguna sistem melalui cara
percobaan konvergensi terbaik (trial and error) sampai diperoleh hasil konvergensi pelatihan yang paling baik.
Lapisan keluaran/output terdiri atas 1 sel saraf. Gambar 2 merupakan aristektur jaringan saraf tiruan (ANN) terbaik untuk memprediksi kelulusan mahasiswa.
Gambar 2. Aristektur Jaringan Untuk Prediksi Kelulusan
Gambar 2 menunjukan bahwajaringan atau arisitektur terbaik untuk prediksi kelulusan mahasiswa menggunakan variabel input nilai 30 mata kuliah dasar, maka RMSE 0.070 yang terletak pada hidden node 25.
Data latih yang digunakan sebanya 60 % dari total data yaitu 276 sedangkan untuk data testing sebanyak 40 % dari total data yaitu 184.
Particle Swarm Optimization(PSO)
Particle Swarm Optimization (PSO) adalah salah satu dari teknik komputasi evolusioner, yang mana populasi pada PSO didasarkan pada penelusuran algoritma dan diawali dengan suatu populasi yang random yang disebut dengan particle [7]
Tabel 1. Model Optimasi
Pencarian solusi optimal dilakukan sampai semua partikel memiliki skema solusi yang sama atau ketika iterasi maksimum sudah tercapai. Formulasi untuk update kecepatan dan posisi pada iterasi selanjutnya adalah sebagai berikut:
Vk+1= Vk + C1.R1. (Pbestk– Xk) + C2.R2.(Gbestk– Xk) (5) Parameter PSO
Parameter weight pbest (c1), weight gbest (c2) dan population size yang digunakan dalam penelitian ini adalah 25.
Tabel 2. Parameter PSO
Parameter Nilai
Population size 25
C1 1.0
C2 1.0
Inertia 1
Velocity 0.2
Generation 50
2. Pembahasan
Pengujuan jaringan saraf tiruan metode backpropagation untuk memprediksi kelulusan mahasiswa dilakukan untuk
Learning Rate
Data Pembelajaran Data Uji Hidden
node RMSE Epoch Waktu Akurasi
0.1 5 0.105 2000 35 76.08(%)
10 0.095 1850 33 69.02
15 0.094 2000 36 76.08
20 0.069 1550 33 65.76
25 0.067 2000 39 65.21
0.2 5 0.098 2000 33 72.82
10 0.111 1784 30 73.91
15 0.084 2000 34 67.39
20 0.088 1465 24 71.73
25 0.070 1820 31 78.26
0.3 5 0.107 2000 33 73.36
10 0.139 2000 34 74.45
15 0.064 2000 105 73.91
20 0.089 1737 113 71.73
25 0.067 2000 92 68.47
5 0.105 2000 72 76.08
10 0.095 1321 43 70.65
15 0.068 2000 70 71.19
20 0.063 1945 39 70.65
25 0.049 1783 31 72.28
melihat apakah sistem jaringan saraf tiruan sudah sesuai dengan kondisi sebenarnya atau tidak. Pengujian jaringan saraf tiruan ini dibagi menjadi beberapa tahap yaitu:
a. Tahap inisialisasi parameter
Pada tahap ini sistem jaringan saraf diberikan masukan berupa nilai parameter inisialisasi yang terdiri dari 30 node input, jumlah node hidden dicari berdasarkan percobaan (trial and error) dengan cara mengubah konstanta belajar dan lapisan tersembunyi secara terus menerus sampai didapatkan konfigurasi yang baik yaitu jumlah RMSE yang kecil. Pada prediksi kelulusan ini didapatkan konfigurasi node hidden 25, jumlah lapisan keluaran/output terdiri 1 node.
b. Tahap Pelatihan
Pada tahap ini sistem jaringan saraf diberikan 276 data nilai mahasiswa dari semester 1 sampai dengan semester 4 untuk dilatihkan sebagai proses p[embelajaran, untuk mendapatkan nilai keluaran, yan pertama harus dilakukan adalah menentukan matriks masukan dan matriks target. 30 variabel dengan jumlah responden 206 yang akan dilatihkan disusun menjadi suatu matriks P, dengan ukuran 30 x 206. Target yang diinginkan adalah kelulusan yang diinisialisasikan dengan angka 1 untuk Lulus Tepat Waktu dan 0 Lulus Melebihi Batas Waktu.
c. Tahap Pengujian.
Tahap pengujian merupakan tahapan yang digunakan untuk menguji data penelitian yang telah di dapat pada jaringan saraf tiruan, dimana sebelumnya telah di latih data penelitian pada proses pelatihan. Pada data pengujian ini telah ditetapkan hasil keluaran atau target. data pengujian berfungsi untuk menguji keakuratan sistem JST yang tealah dibuat.
Parameter Neural Network dan Particle Swarm Optimization
Leraning rate pada peneilitian ini ditentukan dengan cara melakukan uji coba memasukan nilai dengan range 0.1 sampai 0.4, dengan epoch max adalah 2000. Tabel 2 adalah hasil percobaan untuk menentukan parameter dari neural network.
Tabel 2. Percobaan Penentuan Learning Rate
Dari percobaan dengan nilai learning rate 0.1 sampai 0.4 dengan hidden node 5 sampai 25, hidden node yang dipilih berdasarkan nilai (RMSE) terkecil dan nilai akurasi yang terbesar. Berdasarkan hasil percobaan yang telah dilakukan, dipilih learning rate sebesar 0.2 karena terletak pada root mean square error (RMSE) terkecil yaitu 0.070 dan nilai akurasi terbesar yaitu 78.26%. Hasil terbaik pada percobaan dengan satu hidden layer yaitu hidden layer dengan node 25 dan RMSE yang dihasilkan yaitu 0.070, maka aristektur terbaik untuk metode NN yaitu 30 node input , 25 node hidden dan 1 node ouput 30-25-1.
Optimasi BP neural network dengan PSO
Pada tahap ini, struktur BP neural network yang dihasilkan pada percobaan dioptimasi dengan particle swarm optimization (PSO) dimana particle swarm optimization memiliki nilai untuk population size: 5, generation max:50. Inertia weight: 1.0 velocity 0.2.
selanjutnya dilakukan penambahan populasi (population size) untuk mencari model yang ideal atau yang terbaik dengan membuat model sebagai berikut:
Tabel 3. Model Optimasi BP Neural Network dengan PSO
VeliVe Data Pembelajaran Data
Uji Populasi RMSE Epoch Waktu Akurasi(%)
0.1 5 0.067 2000 21 73.10
10 0.130 2000 36 79.87
15 0.071 2000 35 86.59
20 0.075 2000 62 86.59
25 0.104 464 73 84.05
0.2 5 0.146 897 28 73.10
10 0.133 1466 23 71.04
15 0.066 1917 27 85.50
20 0.061 2000 68 85.14
25 0.048 2000 107 87.31
0.3 5 0.116 1494 22 73.10
10 0.125 2000 36 84.12
15 0.142 2000 39 77.89
20 0.064 2000 50 85.86
25 0.044 2000 108 86.95
0.4 5 0.109 1521 19 73.22
10 0.111 94 95 84.42
15 0.080 2000 38 86.23
20 0.064 2000 64 84.05
25 0.102 1033 94 80.79
Dari hasil percobaan didapatkan akurasi terbaik terletak pada populasi size 25 dan velocity 0.2 dengan nilai RMSE terkecil yaitu 0.048 dengan tingkat akurasi yang tinggi yaitu 87.31%.
Analisa Hasil Prediksi Tingkat kelulusan
Berdasarkan hasil uji diketahui mempunyai nilai RMSE 0.070, algoritma Neural Network, dan NN - PSO mempunyai nilai RMSE 0.048. Dapat dilihat bahwa algoritma Neural Network-PSO mempunyai nilai RMSE terendah, maka dapat disimpulkan bahwa algoritma Neural Network-PSO dapat mengurangi nilai error dan tingkat akurasi yang di dapat menggunakan NN-PSO lebih tinggi dibanding dengan tingkat akurasi menggunakan NNBP.
Tabel 4. Perbandingan nilai RMSE antar NN dan NN- PSO
Epoch=2000
Data Uji Dengan NN Data Uji dengan NN - PSO Hidden
node RMSE Epoch Akurasi
(%) RMSE Epoch Akurasi (%)
5 0.098 2000 72.82 0.146 897 73
10 0.111 1784 73.91 0.133 1466 71
15 0.084 2000 67.39 0.066 1917 85.50
20 0.088 1465 71.73 0.061 2000 85.14
25 0.070 1820 78.26 0.048 2000 87.31
Hasil prediksi tingkat kelulusan berdasarkan parameter yang telah di uji maka prediksi tingkat kelulusan mahasiswa tahun akademik 2008 dan 2009 dapat dilihat pada tabel 5 dan tabel 6.
Tabel 5. Hasil Validasi Data prediksi Tahun 2008
NN NN-PSO
Output HU KS HU KS
Lulus Tepat
Waktu 142 120 136 120
Lulus Lewat
Batas Waktu 61 83 67 83
Total Data 203 203 203 203
Berdasarkan data tahun akdemik 2008 untuk kelulusan mahasiswa yang telah diuji menggunakan metode NN dan NN-PSO, bahwa jaringan saraf tiruan yang telah diuji dan di optimasi menggunakan particle swarm optimization menunjukan tingkat akurasi yang lebih dari hasil uji NN.
Hasil validasi yang digambarkan di tabel 5, menunjukan hasil uji NN 84,50% mendekati kebenaran, berdasarkan dari data aktual sedangkan hasil uji NN-PSO menjukan 88.23% mendekati kebenaran dari data aktual.
Tabel 6. Hasil Validasi Data prediksi Tahun 2009
NN NN-PSO
Output HU KS HU KS
Lulus Tepat Waktu 179 141 153 141
Lulus Lewat Batas Waktu 27 65 53 65
Total Data 206 206 206 206
Berdasarkan data tahun akademik 2009, kelulusan mahasiswa tepat waktu sebebesar hasil uji NN 78,77%
mendekati kebenaran berdasarkan data aktual, dan hasil uji NN-PSO menunjukan 92,15% mendekati kebenaran, berdasarkan data aktual.
Berdasarkan data tahun akademik 2008 dan 2009 yang telah diuji menunjukan bahwa jaringan NN yang di optimasi dengan PSO akan menghasilkan tingkat akurasi yang lebih baik.
3. Kesimpulan
Berdasarkan hasil penelitian yang telah dilakukan dapat disimpulkan bahwa:
1. Algoritma neural network dan particle swarm optimization dapat digunakan untuk melakukan prediksi kelulusan mahasiswa dengan menggumakan 30 data nilai mata kuliah dari semester 1 sampai dengan semester 4, yang mempengaruhi tingkat kelulusan.
2. Berdasarkan hasil pengujian dengan 409 data nilai mahasiswa tahun akademik 2008 dan 2009, parameter terbaik dari neural network untuk prediksi kelulusan yaitu dengan nilai learning rate 0.2 di dapatkan RMSE 0.070, dan menggunkan populasi size 25, velocity 0.2 dengan generation max 50 didapatkan RMSE 0.048 dari parameter PSO, jaringan terbaik untuk memprediksi kelulusan mahasiswa yaitu dengan node input 30 , node hidden 25, node output 1 didapatkan tingkat akurasi sebesar 87.31%.
3. Pengaruh implementasi algoritma particle swarm optimization dalam memprediksi kelulusan mahasiswa dengan hasil pengujian 409 data nilai mahasiswa tahun akademik 2008 dan 2009, menghasilkan kenaikan akurasi sebesar 9.05 % dari hasil uji menggunakan neural network. Selain itu dapat mengurangi nilai error yang dihasilkan dari neural network sebesar 0.022.
Daftar Pustaka
[1] Khalid, “Klasifikasi Data Cardiotocography dengan Integrasi Metode Neural Network dan Particle Swarm Optimization,”
Industrial Electronics Seminar 2011 (IES), Oktober 2011.
[2] Harry Suganda, “Optimasi Bobot Jaringan Syaraf Tiruan Menggunakan Particle Swarm Optimization,” (IJCCS), Januari 2014.
[3] Sri Kusumadewi, 2004, JST Menggunakan Matlab dan Excel Link.
Graha Ilmu, Yogyakarta.
[4] Kusrini, Emha T. Luthfi, 2009, Algoritma Data Mining. Penerbit ANDI, Yogyakarta.
[5] Turban, 2005,Decision Support System and Intelligent System (Terjemahan: Sitem Pendukung Keputusan dan Sistem Cerdas)Jilid 1, Andi Offset, Yogyakarta.
[6] P. Francis, C. Gilles, B. Yoshua, “Neural Network Synthesis of Backpropagation Optimization Problem”, IEEE Transaction on Neural Network, No. 2, 2003
[7] Arief Hermawan, 2006, Jaringan Syaraf Tiruan, Andi Offset, Yogyakarta.
Biodata Penulis
Dewi Kusumawati , memperoleh gelar Sarjana Komputer (S.Kom), Jurusan Teknik Informatika STMIK AMIKOM Yogyakarta, lulus tahun 2004. Saat ini sedang mennempuh program Pasca Sarjana di MTI STMIK AMIKOM Yogyakarta.
Wing Wahyu Winarno, memperoleh gelar Drs., Akuntan di Fakultas Ekonomi UGM Yogyakarta, Memperoleh
gelar MAFIS di Cleveland State University, Ohio,.
Mendapatkan gelar Dr di Fakultas Ekonomi UI Jakarta.
Saat ini menjadi salah satu Dosen di MTI STMIK AMIKOM Yogyakarta, STIE YKPN Yogyakarta dan MTI UII Yogyakarta
M. Rudyanto Arief ,memperoleh gelar Sarjana Jurusan Teknik Informatika UII Yogyakarta tahun lulus 2001, Memperoleh gelar Magister Teknik (M.T) Program Pasca Sarjana Magister Teknik Elektro di UGM Yogyakarta.
Saat ini menjadi salah satu Dosen di STMIK AMIKOM Yogyakarta.
.
