KLASIFIKASI C4.5, NEURAL NETWORK, PSO DALAM
PENENTUAN KELAYAKAN BANTUAN DANA
BERGULIR
Anggi Oktaviani1, Dahlia Sarkawi2 1
STMIK Nusa Mandiri Jakarta e-mail: anggi.aov@bsi.ac.id
2
ASM BSI Jakarta e-mail: dahlia.dls@bsi.ac.id
Abstrak
Koperasi kredit atau credit union adalah sebuah lembaga keuangan yang bergerak di bidang simpan pinjam yang dimiliki dan dikelola oleh anggotanya, bertujuan untuk menyejahterakan anggotanya sendiri. Kredit macet dapat dihindari dengan cara melakukan analisa kredit yang akurat terhadap calon debitur. Keakuratan penilaian kredit sangat penting untuk profitabilitas lembaga keuangan. Peningkatan akurasi penilaian kredit dapat dilakukan dengan cara melakukan seleksi terhadap atribut, karena seleksi atribut mengurangi dimensi dari data sehingga operasi algoritma data mining dapat berjalan lebih efektif dan lebih cepat. Banyak penelitian yang telah dilakukan untuk penentuan penilaian kredit. Salah satu metode yang paling banyak digunakan adalah metode algoritma C4.5 dan Neural Network. Dalam penelitian ini akan digunakan metode C4.5 dan Neural Network, akan dilakukan seleksi atribut dengan menggunakan particle swarm optimization untuk penentuan penilaian kredit. machines berbasis particle swarm optimization masuk ke dalam kategori klasifikasi sangat baik.. Penelitian ini dilakukan untuk memudahkan penentuan kredit, sehingga kredit macet dapat dihindari.
Kata Kunci: kredit, seleksi atribut, C4.5, neural network, particle swarm optimization
1. Pendahuluan
Dalam usaha pemulihan krisis ekonomi Indonesia dewasa ini, sesungguhnya koperasi mendapatkan peluang (opportunity) untuk tampil lebih eksis. Krisis ekonomi yang diawali dengan krisis nilai tukar dan kemudian membawa krisis hutang luar negeri, telah membuka mata semua pemerhati ekonomi bahwa "fundamental ekonomi" yang semula diyakini kesahihannya, ternyata hancur lebur.
Modal Merupakan indikator utama dalam masalah yang sedang dihadapi untuk mempermodalkan bagi usaha mikro, kecil dan menengah UMKM. Dimana masalah ini timbul melainkan dikarenakan salah satunya yaitu makin banyaknya para pendiri dalam usaha mikro, kecil dan menengah ini. Dalam kaitan ini memang sangat pentingnya modal bagi para pengusaha mikro, kecil dan menengah untuk memajukkan usahanya. Untuk memenuhi kendala tersebut ada suatu lembaga intermediasi yaitu melalui KSP (Koperasi Simpan Pinjam) dan USP (Unit Simpan Pinjam Koperasi) dimana
lembaga ini menurut (Burhanuddin, Peneliti pada Deputi Pengkajian Sumberdaya KUKM, 2006) diharapkan menjadi lembaga intermediasi untuk mengatasi kebutuhan modal UMKM.
Sementara itu, sejak tahun 2001 pemerintah melalui Kantor Menteri Negara Koperasi dan UKM (Kementerian KUKM) telah menyalurkan bantuan dana perkuatan bagi KSP/USP Koperasi yang bersumber dari Program Kompensasi Pengurangan Subsidi Bahan Bakar Minyak (PKPS-BBM). Program perkuatan dimaksud bersifat stimulan dalam bentuk penyaluran dana bergulir (revolving fund) dengan jumlah bervariasi
(Kusumahadi, K., & Sastika, W. 2016). Dan pemngembaliannya dilakukan dalam waktu sekurangnya 8 tahun.
Sebagai tolak ukur bahwa debitur disetujui atau ditolak, dapat digunakan data histori debitur yang telah disetujui oleh koperasi. Namun, perlu diperhatikan juga bahwa debitur yang telah disetujui juga tidak semuanya pembayar kredit yang baik, artinya ada beberapa debitur yang telah
disetujui tapi beberapa bulan kemudian pembayarannya menunggak.
Kredit macet merupakan salah satu resiko kredit yang dihadapi oleh pelaku industri keuangan dan perbankan. Kredit macet terjadi apabila dalam jangka panjang, lembaga keuangan atau perbankan tidak dapat menarik pinjaman kredit dalam waktu yang telah ditentukan (Jianguo & Tao, 2008), sedangkan resiko kredit terhadap penilaian kepada konsumen, dapat mengevaluasi risiko terkait dengan pinjaman kepada individu dari risiko keuangan terhadap pinjaman kepada konsumen (Liu & Chen, 2012)
Penilaian kredit berisiko sangat penting untuk kredit yang diberikan oleh lembaga, dalam rangka untuk membedakan peminjam yang baik dari yang buruk. Menurut beberapa survei, 80% dari risiko yang terukur ditentukan pada saat sanksi pinjaman, yaitu setelah kredit disetujui, manajemen dapat mengendalikan hanya tersisa 20% dari risiko yang terukur (Wang & Zhang, 2012). dan hal ini tidak boleh dibiarkan berlarut-larut dan harus dicari jalan keluarnya, karena masalah ini dapat mengakibatkan penghentian operasi dan mengarah kepada kebangkrutan lembaga penyedia kredit tersebut. (Jiang, 2006) (Liu & Chen, 2012) melakukan penelitian algoritma Neural Network pada korporasi kredit mengatakan bahwa jaringan yang terlatih dengan akurasi yang relatif baik menggunakan LM Learning Rule akan lebih cepat dari menggunakan Algoritma BP. Neural Network dapat menjadi alat prediksi yang baik untuk korporasi kredit, dan membantu untuk efisiensi tenaga kerja dan waktu.
Particle swarm optimization memiliki beberapa parameter seperti posisi, kecepatan maksimum, percepatan konstanta, dan berat inersia. Dalam teknik particle swarm optimization terdapat beberapa cara untuk melakukan pengoptimasian diantaranya: meningkatkan bobot atribut (attribute weight) terhadap semua atribut atau variable yang dipakai, menseleksi atribut (attribute selection), dan feature selection. (Park, Lee, & Choi, 2009) 2. Metode Penelitian
Penelitian ini dilakukan mulai dari pengambilan sampel data, training data, membuat model, menentukan parameter yang digunakan, hingga memprediksi calon penerima bantuan dana bergulir dengan
model algoritma C4.5 serta Neural Network serta komparasinya.
Diduga Algoritma C4.5 dan Neural Network dapat diterapkan dalam penentuan penilaian kredit, dapat digunakan dalam seleksi atribut untuk meningkatkan akurasi penentuan kelayakkan pemberian dana bergulir pada koperasi.
Metode penelitian yang umum digunakan ada empat yaitu Action Reserch Experiment, Case Study, dan Survey (Dawson, 2009). Penelitian ini mencari
proses untuk menambahkan
pengetahuan, penemuan fakta dan wawasan tidak biasa. Pengertian lainnya, penelitian adalah sebuah kegiatan yang bertujuan untuk membuat kontribusi orisinal terhadap ilmu. (Dawson, 2009)
Dalam konteks sebuah penelitian, pendekatan metode yang digunakan untuk memecahkan masalah, diantaranya: mengumpulkan data, merumuskan hipotesis atau proposisi, menguji hipotesis, hasil penafsiran, dan kesimpulan yang dapat dievaluasi secara independen oleh orang lain (Berndtsson, 2008). Sedangkan menurut (Dawson, 2009) terdapat empat metode penelitian yang umum digunakan, diantaranya: Action Research, Experiment, Case Study, dan Survey. Penelitian ini menggunakan penelitian eksperimen. Penelitian eksperimen melibatkan penyelidikan perlakuan pada parameter atau variabel tergantung dari penelitinya dan menggunakan tes yang dikendalikan oleh si peneliti itu sendiri, dengan metode penelitian sebagai berikut
Gambar 1. Tahapan Penelitian Teknik pengumpulan data adalah teknik atau cara-cara yang dapat digunakan untuk menggunakan data (Riduwan, 2008). Dalam pengumpulan data terdapat sumber data, sumber data yang terhimpun langsung oleh peneliti disebut dengan sumber primer, sedangkan apabila melalui tangan kedua disebut sumber sekunder (Riduwan, 2008). Pengumpulan data primer didapat dari model interview terhadap responden, maupun dengan
model observasi terhadap suatu badan yang sedang diteliti (Gray, 2004). Pada tahap ini ditentukan data yang akan diproses. Mencari data yang tersedia, memperoleh data tambahan yang dibutuhkan, mengintegrasikan semua data ke dalam data set, termasuk variabel yang diperlukan dalam proses. Dalam penelitian ini, data yang diperoleh adalah data sekunder, didapat dari data koperasi di Kementrian Koperasi dan UKM. Data bantuan dana bergulir koperasi ini merupakan data internal karena data tersebut hanya dipublikasikan bagi staf dan Deputi yang bekerja di masing-masing bidang yang dibawahi. Penggunaan data koperasi di Kementrian Koperasi dan UKM dalam hal penelitian hanya dapat di pergunakan bagi peneliti yang hanya dapat diberikan izin dari Kementrian Koperasi tersebut.
Data Sekunder yang didapat sebanyak 372 record,terdiri dari 10 variabel atau atribut. Variabel tersebut ada yang tergolong variabel prediktor atau pemrediksi yaitu variabel yang dijadikan sebagai penentu hasil penilaian kredit, dan variabel tujuan yaitu variabel yang dijadikan sebagai hasil penilaian kredit.
3. Pembahasan
Tujuan dari penelitian ini menguji keakuratan analisa kredit dengan menggunakan algoritma C4.5. Data yang dianalisa adalah data pinjaman dalam bentuk kredit, yaitu semua data kredit yang telah disetujui oleh pihak koperasi.
Berikut adalah gambar pengujian algoritma Decision Tree menggunakan metode K-Fold Cross Validation dengan menggunakan RapidMiner
Gambar 2. Pengujian K-Fold Cross Validation Algoritma C45
Nilai accuracy, precision, dan recall dari data training dapat dihitung dengan menggunakan Rapid Miner. Setelah diuji
coba dengan metode cross-validation, didapatkan hasil pengukuran terhadap data training yaitu accuracy = 93.36%, precision = 91.47% dan recall = 89.40%.
Model yang telah dikembangkan akan diuji keakuratannya dengan memasukkan sejumlah data uji (test set) ke dalam model. Untuk mengukur keakuratan model dengan baik, data uji seharusnya bukan data yang berasal dari data training (Han & Kamber, Data Mining Concepts and Technique, 2006). Data uji diambil dari laporan dana bergulir koperasi tahun 2013.
Dari 9 variabel prediktor dilakukan seleksi atribut sehingga menghasikan terpilihnya 9 atribut yang digunakan. 9 Atribut predictor ini merupakan data uji pada laporan Bantuan dana bergulir periode 2013/2014 Yaitu: nomer, badan hukum, bagian, saldo pinjaman, dukungan propinsi, jumlah anggota, jenis program, jangka waktu,bantuan sebelumnya. Di antara ke 9 yang paling terkait adalah Bagian, Saldo Pinjaman, dan Jenis Program.
Evaluasi ini menggunakan tabel seperti matrix di bawah ini:
Sumber : Han & Kamber, 2006 Gambar 3 Model confusion matrix True positives merupakan tupel positif di data set yang diklasifikasikan positif. True negatives merupakan tupel negatif di data set yang diklasifikasikan negatif. False positives adalah tupel positif di data set yang diklasifikasikan negatif sedangkan false negatives merupakan jumlah tupel negatif yang diklasfikasikan positif. Kemudian masukkan data uji yang ada di gambar 2 ke dalam model confusion matrix maka akan didapatkan hasil dari penghitungan menggunakan Rapid Miner sebagai berikut:
Tabel 1. Konversi ke confusion matrix C4.5 Baik Bermasalah
Baik 234 14
Bermasalah 11 118
Setelah data uji dimasukkan ke dalam confusion matrix, hitung nilai-nilai yang telah dimasukkan tersebut untuk dihitung jumlah
sensitivity, specificity, precision dan accuracy. Sensitivity digunakan untuk membandingkan jumlah true positives terhadap jumlah tupel yang positives sedangkan specificity adalah perbandingan jumlah true negatives terhadap jumlah tupel yang negatives.
Tabel 2. Nilai sensitivity, specificity, precision, dan accuracy C4.5 dalam
persentase Nilai (%) Sensitivity 94.35 Specificity 91.47 Precision 95,51 Accuracy 93.36
Hasil perhitungan divisualisasikan dengan kurva ROC. Kurva ROC untuk algoritma C45 mengekspresikan confusion matrix. Garis horizontal adalah false positives dan garis vertikal true positives. Menghasilkan nilai AUC (Area Under Curve) sebesar 0.919 dengan nilai akurasi klasifikasi sangat baik (excellent classification).
Tujuan dari penelitian ini menguji keakuratan analisa kredit dengan menggunakan Neural Network Data yang dianalisa adalah data pinjaman dalam bentuk kredit, yaitu semua data kredit yang telah disetujui oleh pihak koperasi.
Nilai accuracy, precision, dan recall dari data training dapat dihitung dengan menggunakan Rapid Miner. Setelah diuji coba dengan metode cross-validation, didapatkan hasil pengukuran terhadap data training yaitu accuracy=90.96%, precision=89.00% dan recall=84.95%. Tingkat kenaikan dana bergulir pada kementerian koperasi yang bermasalah menunjukkan adanya masalah serius dalam analisa penilaian koperasi kredit. Untuk menghasilkan penilaian kredit yang akurat diperlukan sebuah metode yang paling tepat. Pada penelitian ini Algoritma C4.5, Neural Network dan Neural Network berbasis Particle Swarm Optimization digunakan karena diketahui dari hasil penelitian sebelumnya bahwa C4.5 ataupun Neural Network memiliki kemampuan generalisasi yang sangat baik untuk memecahkan masalah walaupun dengan sampel yang terbatas. Eksperimen menggunakan metode C4.5 menghasilkan tingkat akurasi sebesar 93,65 % dan
mempunyai nilai AUC sebesar 0.987. sedangkan Neural Network menghasilkan tingkat akurasi 90,96% dan nilai AUC sebesar 0,952.
Dari hasil tersebut diketahui bahwa keberhasilan dari C4.5 sangat dipengaruhi oleh pemilihan atribut yang tepat. Semakin banyak atribut dan informasi yang digunakan akan mengakibatkan banyaknya waktu dan biaya yang dikorbankan bahkan akan mengurangi tingkat akurasi dan kompleksitas yang lebih tinggi.
Mengingat pentingnya seleksi atribut dalam Neural Network maka diterapkan Particle Swarm Optimization (PSO) untuk melakukan tugas tersebut. Particle Swarm Optimization (PSO) diketahui dapat digunakan sebagai teknik optimasi untuk mengoptimalkan subset fitur. Algoritma PSO sederhana dan memiliki kompleksitas yang lebih rendah. sehingga dapat memastikan solusi optimal dengan menyesuaikan pencarian global dan lokal, sehingga kinerja klasifikasi Neural Network dapat ditingkatkan.
Eksperimen dilakukan kembali dengan menerapkan Particle Swarm Optimization (PSO) untuk seleksi atribut dalam Neural Network dan dilakukan penyesuaian pada parameter C, ε dan population.
Dari 9 variabel prediktor dilakukan seleksi atribut sehingga menghasikan terpilihnya 9 atribut yang digunakan.
Hasil eksperimen menunjukkan akurasi sebesar 93,65% dan nilai AUC sebesar 0.987% untuk C4.5 dengan tingkat prediksi yang paling akurat.
Sedangkan untuk Neural Network berbais PSO memiliki tingkat akurasi sebesar 93,65% dengan nilai AUC sebesar 0,944 Hasil dari eksperimen tersebut menunjukkan pengujian data bantuan dana bergulir pada Kementerian Koperasi menggunakan Neural Netrork dan penerapan Particle Swarm Optimization dalam pemilihan atribut menunjukkan hasil yang lebih akurat dalam penentuan penilaian kredit ditandai dengan peningkatan nilai akurasi sebesar 2,69 % dan nilai AUC sebesar 0.009.
Hasil dari penelitian ini mempunyai implikasi terhadap penilaian koperasi kredit yaitu meliputi implikasi terhadap aspek sistem pendukung keputusan penilaian koperasi kredit, terhadap aspek manajerial dan terhadap aspek penelitian-penelitian
selanjutnya yang akan diuraikan di bawah ini.
1. Implikasi terhadap aspek sistem pendukung keputusan penilaian koperasi kredit
Hasil evaluasi menunjukkan penerapan C4.5, Particle Swarm Optimization (PSO) untuk seleksi atribut dalam Neural Network mampu menunjukkan aspek berupa atribut yang berpengaruh terhadap hasil dari penilaian koperasi kredit. Dari hasil ini menunjukkan bahwa metode C4.5, Neural Network dan Neural Network berbasis Particle Swarm Optimization merupakan metode
yang cukup baik dalam
pengklasifikasian data. Dengan demikian metode C4.5 dan Neural Network dapat memberikan pemecahan permasalahan analisa penilaian koperasi kredit dan dapat mendukung pengambilan keputusan dan pengembangan sistem informasi manajemen pada lembaga keuangan dan perbankan dengan menggunakan bantuan software RapidMiner.
2. Implikasi terhadap aspek manajerial Dari hasil penelitian ini diketahui bahwa metode Algoritma C4.5, Neural Network dan optimasinya menggunakan PSO dapat mendukung pengambilan keputusan dan pengembangan sistem informasi manajemen pada lembaga koperasi dengan menggunakan bantuan software RapidMiner, untuk itu diperlukan peningkatan kemampuan manajerial dari seorang ketua koperasi dan juga karyawan yang bersangkutan agar mampu membuat perencanaan secara formal, mengerjakan dan mengoperasikan sistem dengan baik dan benar. Hal tersebut dapat dilakukan dengan pelatihan atau training.
4. Simpulan
Dari hasil penelitian yang dilakukan maka didapat beberapa kesimpulan dengan Algoritma C4.5 dan Neural Network dan Neural Network berbasis PSO, sebagai berikut:
Dapat mengklasifikasikan data dari syarat-syarat sesuai dengan yang diinginkan oleh pemberi bantuan.
Dari hasil penelitian dapat diketahui prediksi penerima bantuan.
Tingkat akurasi C4.5 dan Neural Network berbasis PSO lebih tinggi dibanding dengan Neural Network saja
Dari penelitian yang dilakukan, penelitian nilai parameter yang telah dioptimasi menggunakan particle swarm optimization terbukti mampu meningkatkan tingkat akurasi pada Neural Network
Hasil tingkat akurasi untuk C4.5 sebesar sama dengan tingkat akurasi Neural Network berbasis PSO, sedangkan jika hanya menggunakan Neural Network saja maka didapat tingkat akurasi tidak sebesar sebelum di optimasi
Tingkat akurasi Neural Network setelah dipotimasi menggunakan PSO hasilnya lebih baik
Model yang terbentuk nantinya akan dikembangkan atau diimplementasikan ke dalam sebuah aplikasi, sehingga dapat membantu dan memudahkan untuk penentuan kelayakan penerima bantuan dana bergulir.
Referensi
Abraham, A. G., & V, R. (2006). Swarm Intelligence in Data Mining. Verlag Berlin Heidelberg: Spinger.
Akkoc. (2012). An empirical comparison of conventional techiniques, neural networks and the three stage hybrid Adaptive Neuro Fuzzy Inference System (ANFIS) model for credit scoring analysis. European Journal of Operational Research, 168-178. Berndtsson. (2008). Thesis Projects-A Guide
for Students in Computer Science and Information System 2nd Edition. London: Spinger-Verlag London Limited.
Berry, & Linoff. (2004). Data Mining Techniques: For Marketing, Sales, and Customer Relationship Management. Indianapolis, Indiana: Willey Publishing, Inc.
Dawson, C. W. (2009). Projects in Computing and Information System A Student's Guide. England: Addison-Wesley.
Florin, G. (2011). Data Mining: Concepts, Models, and Techniques. Spinger: Verlag Berlin Heidelberg.
Gang, W., H, J., & J, H. (2011). A comparative assessment of ensemble learning for credit scoring.
Expert Systems with Applications: An Interntional Journal.
Gray, D. E. (2004). Doing Research in the Real World. New Delhi: SAGE. Han, J., & Kamber, M. (2006). Data Mining
Concepts and Technique. San Francisco: Diane Cerra.
Han, J., & Kamber, M. (2006). Data Mining Concepts and Technique. Morgan: Kaufmann.
Jiang, Y. (2006). Credit Scoring Model Based on Decision Tree and The Simulated Annealing Algorithm SASAPAUGC.
Jianguo, Z., & Tao, B. (2008). Credit Risk Assessment using Rough Set Theory and GA-based SVM. The 3rd International Conference on Grid and Pervasive Computing, 320-325.
Kusumahadi, K., & Sastika, W. (2016). Analisis Perbandingan Penentuan
Harga Call Option Dengan
Menggunakan Metode
Black-Scholes Dan Metode Simulasi
Monte Carlo. Ecodemica, 3(1), 355-362.
Ling, S. H., Nguyen, H. T., & Chan, K. Y. (2009). A New Particle Swarm Optimization Algorithm for Neural Network Optimization. Network and System Security, third International Conference, 516-521.
Liu, J., & Chen. (2012). An Ensemble of Fuzzy Sets and Least Squares Support Vector Machines Approach to Consumer Credit Risk Assessment. Coal Economic Research Institute Shandong Institute of Business and Technology Yantai, Shandong, 264-005.
Nirkhi. (2010). Potential use of Artificial Neural Network in Data Mining IEEE.
Parimala, R. (2012). Feature Selection using a Novel Particle Swarm Optimization and It's Varians. I. J. Information
Technology and Computer Science, 5, 16-24.
Park, T. S., Lee, J. H., & Choi, B. (2009). Optimization for Artificial Neural Network with Adaptive Inertial Weight of Particle Swarm Optimization . Cognitive Informatics, IEEE International Conference, 481-485.
Riduwan. (2008). Metode dan Teknik Menyusun Proposal Penelitian. Bandung: Alfabeta.
S, C. P., & Goncalves. (2008). Using data mining to predict secondary school student performance. Proceedings of 5th Annual Future Business Technology Conference.
S, S. S., & Simha, J. B. (2006). Comparing Decision Tress With Logistic Regression for Credit Risk Analysis. SASAPAUGC, 1-7.
Wang, C. Z. (2009). Particle Swarm Optimization with Group Decision Making. 2009 Ninth International Conference on Hybrid Intelligent System.
Wang, K., & Zhang. (2012). A Triple Artificial Neural Network Model Based on Case Based Reasoning for Credit Risk Assessment. International Conference on Business Intelligence and Financial Engineering, IEEE. Xhemali, D., Hinde, C. J., & Stone, R. G.
(2009). Naive Bayes vs Decision Trees vs Neural Networks in the Classification of Training Web Pages. IJCSI International Journal of Computer Science Issues, 16-23.
