Klasifikasi Kelayakan Pemberian Kredit Pada Calon Debitur Menggunakan Naïve Bayes

(1)

Klasifikasi Kelayakan Pemberian Kredit Pada Calon Debitur Menggunakan Naïve Bayes

Jasmir^1,*, Xaverius Sika², Mulyadi², Rischa Amelia²

1Ilmu Komputer, Sistem Komputer, Universitas Dinamika Bangsa, Jambi, Indonesia

2Ilmu Komputer, Sistem Informasi, Universitas Dinamika Bangsa, Jambi, Indonesia Email: ^1,*[email protected],²[email protected], ³[email protected]

Email Penulis Korespondensi : [email protected] Submitted 16-11-2022; Accepted 08-12-2022; Published 30-12-2022

Abstrak

Sebagai perusahaan peminjaman dana PT. PRIMA KONSUMEN FINANCE tentu memiliki kemungkinan adanya kredit macet dalam pemberian kredit pada debiturnya yang mana dapat menurunkan pendapatan perusahaannya. Oleh karena itu penulis melakukan analisis data mining pada data-data debitur yang pernah meminjam di PT. PRIMA KONSUMEN FINANCE agar menjadi informasi yang berharga bagi perusahaan. Penulis menggunakan data debitur pada tahun 2019 sebanyak 265 data. Dalam melakukan analisis penulis menggunakan alat bantu Tools WEKA. Metode yang digunakan adalah metode klasifikasi Naïve Bayes dengan 9 atribut. Kontribusi dari penelitian ini adalah membangun model klasifikasi kelayakan pemberian kredit pada calon debitur. Model ini menghasilkan nilai evaluasi kinerja klasifikasi pada 3 opsi tes yaitu opsi training set, 5-fold cross validation dan 10-fold cross validation. Kontribusi dari penelitian ini adalah menghasilkan model klasifikasi kelayakan pemberian kredit. Hasil klasifikasi Naïve Bayes dengan persentasi akurasi terbesar diperoleh dengan menggunakan Training Set yaitu sebesar 72.8302 %, menggunakan 5-fold cross validation sebesar 63.3962% dan menggunakan 10-Fold Cross Validation sebesar 66.4151%.

Kata Kunci: Data Mining; Naïve Bayes; Klasifikasi; Akurasi; Debitur Abstract

As a lending company, PT. PRIMA KONSUMEN FINANCE certainly has the possibility of bad credit in extending credit to its debtors which can reduce the company's income. Therefore the author performs data mining analysis on debtor data that has borrowed at PT.

PRIMA KONSUMEN FINANCE to become valuable information for the company. The author uses debtor data in 2019 as many as 265 data. In conducting the analysis the author uses the WEKA Tools tool. The method used is the Naïve Bayes classification method with 9 attributes. The contribution of this research is to build a creditworthiness classification model for prospective borrowers. This model produces classification performance evaluation values for 3 test options, namely the training set option, 5-fold cross validation and 10-fold cross validation. The contribution of this research is to produce a creditworthiness classification model The results of the Naïve Bayes classification with the greatest percentage of accuracy were obtained using the Training Set, which was 72.8302%, using 5-fold cross validation of 63.3962% and using 10-Fold Cross Validation of 66.4151%.

Keywords: Data Mining; Naïve Bayes; Classification; Accuracy; Debturs

1. PENDAHULUAN

Dalam memberikan pelayanan, perusahan peminjaman ataupun kreditur tentunya memiliki syarat yang telah ditentukan sebagaimana calon debitur yang akan menerima peminjaman kredit tersebut. Perusahaan wajib menentukan layak atau tidaknya calon debitur menerima kredit. Pada perusahaan peminjaman kredit pemberian peminjaman kredit kepada debitur merupakan sumber penghasilan utama yang dimiliki oleh perusahaan. Selain itu resiko untuk terjadinya kemungkinan kredit macet sangatlah riskan dan memungkinan terjadinya penurunan pendapatan perusahaan yang meminjamkan kreditnya.

PT. Prima Konsumen Finance yang beralamat di Jalan Dr. Mawardi No. 90 Kelurahan Tambak Sari Jambi adalah lembaga keuangan non bank (Finance Company) yang bergerak dibidang jasa pembiayaan tunai (Refinancing) dengan berfokus pada pinjaman dana tunai kepada masyarakat umum mulai dari 1 juta s/d 30 juta. Dalam peminjaman dana tersebut memiliki syarat yaitu jaminan BPKP motor / sertifikat tanah / sertifikat bangunan, KK, KTP, penghasilan, dan survey. Terkadang calon debitur dengan syarat yang berbeda memiliki batasan dana dalam peminjaman yang berbeda pula untuk mengurangi terjadinya kredit macet.

Untuk menghadapi persaingan perusahaan dituntut agar dapat memprediksi kemungkinan adanya kredit macet yang terjadi. Salah satunya adalah teknik data mining[1], [2]. Data mining adalah proses yang menggunakan teknik statistik, matematika, kecerdasan buatan, dan machine learning untuk mengekstraksi dan mengidentifikasi informasi dari sekumpulan data yang besar dengan tujuan untuk menemukan dan pengetahuan (knowledge. Diantara teknik data mining yang sangat popular yaitu teknik klasifikasi [3], [4], [6], [7]. Dalam kasus ini penulis membahas tentang data-data calon debitur yang diterima oleh perusahan peminjaman sebagai syarat pengajuan kredit dapat diolah menggunakan metode klasifikasi naïve bayes [8], [9]untuk mengetahui apakah calon debitur sudah memenuhi syarat yang telah ditentukan kreditur dan berapa jumlah peminjaman yang dapat diterima calon debitur dengan syarat yang dipenuhinya.

Beberapa penelitian yang berhubungan dengan financing dan pemberian kredit kepada nasabah seperti yang pernah dilakukan oleh Tito Cakra Pratama menggunakan KNN dalam penentuan kelayakan calon nasabah [10].

Kemudian Nurdiana Handayani melalukan prediksi tingkat resiko kredit dengan metode C45 [11]. Selanjutnya Puji Santoso melakukan prediksi kriteria nasabah dengan C45 juga [12].

(2)

Dari beberapa penelitian terkait yang sudah diuraikan diatas, maka tujuan dari penelitian ini yaitu bahwa konsep data mining masih perlu dikembangkan lagi dengan beberapa metode yang lain dan kasus yang berbeda, khususnya dalam proses penentuan kelayakan pelanggan yang ingin mengajukan kredit apakah layak atau tidak untuk mendapatkan fasilitas kredit. Teknik yang digunakan adalah dengan memanfaatkan data pelaanggan tahun sebelumnya yang sudah pernah mengajukan kredit dan dijadikan sebagai data training yang digunakan untuk menguji data baru (data testing) apakah data baru atau calon pelanggan baru berhak mendapatkan kredit berdasarakan kemiripan atribut yang ada pada data lama dengan data baru.

2. METODOLOGI PENELITIAN

2.1 Kerangka Kerja Penelitian

Kerangka kerja penelitian merupakan tahapan-tahapan yang dilakukan selama mengerjakan penelitian. Kerangka kerja penelitian dibuat agar mempermudah pencapaian hasil penelitian, dapat menyelesaikan penelitian tepat waktu dan penelitian dapat berjalan sesuai dengan yang diharapkan. Adapun kerangka kerja penelitian yang digunakan sebagai berikut :

Gambar 1. Tahapan analisis naïve bayes 2.2 Metode Naïve Bayes

Metode Naive Bayes adalah bagian dari probabilitas sederhana berdasarkan penerapan teorema Bayes dengan asumsi independensi yang kuat antara fitur. Mereka adalah salah satu model jaringan Bayesian yang paling sederhana[13], tetapi ditambah dengan estimasi kepadatan kernel, mereka dapat mencapai tingkat akurasi yang tinggi[14]. Pengklasifikasi Naive Bayes sangat terukur, membutuhkan sejumlah parameter linier dalam jumlah variabel (fitur/prediktor) dalam masalah pembelajaran. Pelatihan kemungkinan maksimum dapat dilakukan dengan mengevaluasi ekspresi bentuk tertutup, yang membutuhkan waktu linier, daripada dengan pendekatan iteratif yang mahal seperti yang digunakan untuk banyak jenis pengklasifikasi lainnya.

. 𝑃(𝐶𝑖 |𝑋) =

𝑃(𝑋 |𝐶𝑖 )

𝑃 (𝑋)

⁽¹⁾

Keterangan:

X : Kriteria suatu kasus berdasarkan masukan

Ci : Kelas solusi pola ke-i, dimana i adalah jumlah label kelas

(Ci|X) : Probabilitas kemunculan label kelas Ci dengan kriteria masukan X P(X|Ci) : Probabilitas kriteria masukan X dengan label kelas Ci

P(Ci) : Probabilitas label kelas Ci 2.3 Evaluasi Kinerja Klasifikasi

Dalam mengevaluasi kinerja klasifikasi data mining, salah satunya adalah dengan menggunakan acuan Confusion Matrix.

Confusion Matrix merepresentasikan prediksi dan kondisi sebenarnya (aktual) dari data yang dihasilkan. Berdasarkan Confusion Matrix, penentuan akurasi, presisi, recall dan F1-score bisa dilaksanakan. [15],[16],[17],[18]

Tabel 1. Tabel Compusion Matrix Predicted Class

Actual Class Class=Yes Class=No

Class=Yes True Positive False Negative Class=No False Positive True Negative a. Akurasi

Merupakan rasio prediksi Benar (positif dan negatif) dengan keseluruhan data.

𝐴𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = ^TP+TN

TP+FP+FN+TN (2)

b. Precission

Merupakan rasio prediksi benar positif dibandingkan dengan keseluruhan hasil yang diprediksi positf.

𝑃𝑟𝑒𝑐𝑖𝑠𝑠𝑖𝑜𝑛 = ^TP

TP+FP (3)

(3)

c. Recall

Merupakan rasio prediksi benar positif dibandingkan dengan keseluruhan data yang benar positif.

𝑅𝑒𝑐𝑎𝑙𝑙 = ^TP

TP+FN (4)

d. F1 Score

F1 Score merupakan perbandingan rata-rata presisi dan recall yang dibobotkan 𝐹1 𝑆𝑐𝑜𝑟𝑒 =2∗ (Recall∗Precission)

(Recall∗Precission) (5)

3. HASIL DAN PEMBAHASAN

3.1 Representasi Data

Berdasarkan hasil wawancara dan observasi yang sudah dilakukan, penulis memperoleh data-data debitur PT. PRIMA KONSUMEN FINANCE. Namun penulis hanya menggunakan 299 data debitur pada tahun 2021 Setelah dilakukan cleaning data [19], [20]ternyata data-data debitur ini banyak mengalami noise sehingga data yang dapat digunakan adalah 265. Data debitur dibagi menjadi 3 kelas yaitu 135 nasabah kelas RENDAH, 85 nasabah kelas SEDANG, 42 nasabah kelas TINGGI, dan 3 nasabah kelas SANGAT TINGGI. Atribut yang akan digunakan pada seluruh data debitur yaitu jenis kelamin, usia, status, domisili, pekerjaan, penghasilan, jaminan, tanggungan, hasil survey, dan pinjaman. Berikut adalah tabel data training yang akan digunakan untuk perhitungan naïve bayes.

Tabel 2. Cuplikan Data Nasabah

No Usia Pekerjaan Penghasilan Jaminan Tanggungan Hasil Survey Pinjaman

1 Sedang Swasta Rendah Motor Ringan Baik Rendah

2 Tua Swasta Sedang Motor Sedang Baik Rendah

3 Sedang Swasta Sedang Motor Sedang Baik Sedang

4 Sedang Swasta Rendah Sertifikat Sedang Cukup Rendah

5 Sedang Swasta Sedang Motor Sedang Cukup Rendah

6 Tua Swasta Sedang Motor Ringan Baik Sedang

7 Sedang Buruh Rendah Motor Ringan Baik Rendah

8 Tua Swasta Sedang Motor Sedang Baik Sedang

9 Tua Buruh Rendah Motor Ringan Baik Rendah

10 Sedang Negeri Tinggi Mobil Sedang Baik Sangat Tinggi

11 Muda Swasta Rendah Motor Ringan Baik Rendah

12 Sedang Swasta Sedang Motor Sedang Baik Rendah

13 Sedang Swasta Tinggi Motor Ringan Baik Tinggi

14 Sedang Swasta Sedang Motor Ringan Baik Tinggi

15 Sedang Swasta Rendah Motor Ringan Baik Rendah

Data training tersebut sudah melalui tahap cleaning data yang kemudian disusun sesuai kebutuhan dalam format excel, setelah itu data nasabah disusun menjadi satu dalam format arff, kemudian diproses dengan tool weka [21], [22]

Berikut data nasabah dalam format arff:

Gambar 2 Data Nasabah Dalam Format arff 3.2 Perhitungan Manual Naïve Bayes

Data testing yang digunakan diambil secara random dari data nasabah yang sudah di cleaning. Berikut ada 10 data testing yang digunakan untuk contoh perhitungan menggunakan naïve bayes secara manual:

(4)

Tabel 3. Data Testing

No Usia Pekerjaan Penghasilan Jaminan Tanggungan Hasil Survey Pinjaman

1 Sedang Swasta Sedang Motor Sedang Baik ?

2 Muda Buruh Rendah Motor Ringan Baik ?

3 Muda Swasta Sedang Motor Sedang Baik ?

4 Sedang Negeri Sedang Motor Sedang Cukup ?

5 Sedang Swasta Tinggi Motor Sedang Baik ?

6 Muda Buruh Rendah Motor Ringan Cukup ?

7 Tua Swasta Sedang Motor Sedang Baik ?

8 Tua Swasta Sedang Sertifikat Sedang Baik ?

9 Muda Swasta Sedang Motor Ringan Baik ?

10 Sedang Swasta Rendah Motor Sedang Baik ?

Alur kerja algoritma naïve bayes yaitu:

3.2.1 Menghitung jumlah kelas/label

Langkah pertama yang harus dilakukan adalah menghitung jumlah kelas berdasarkan klasifikasi yang terbentuk (prior probability): P(Ci)

a. P (KelasPinjaman = RENDAH) = jumlah seluruh kelas rendah dari total data = 135/265 b. P (KelasPinjaman = SEDANG) = jumlah seluruh kelas sedang dari total data = 85/265 c. P (KelasPinjaman = TINGGI) = jumlah seluruh kelas tinggi dari total data = 42/265

d. P (KelasPinjaman = SANGAT TINGGI) = jumlah seluruh kelas sangat tinggi dari total data = 3/265 3.2.2 Menghitung jumlah data per kelas/atribut yang ada

Cara menghitung jumlah data per atribut ini sama dengan cara menghitung jumlah kelas. Ada berapa banyak jumlah debitur yang berjenis kelamin L (laki-laki) dari kelas rendah, sedang, tinggi, dan sangat tinggi. Ada berapa banyak jumlah debitur yang berjenis kelamin P (Perempuan) dari kelas rendah, sedang, tinggi dan sangat tinggi, begitu juga menghitung probabilitas untuk seluruh atribut. P(X | Ci)

a. P (Jenis Kelamin | KelasPinjaman)

P (Status=MOBIL | KelasPinjaman = RENDAH) = 2/135 P (Status= MOBIL | KelasPinjaman = SEDANG) = 5/85

(5)

P (Status= MOBIL | KelasPinjaman = TINGGI) = 4/42

P (Status= MOBIL | KelasPinjaman = SANGAT TINGGI) = 2/3 h. P (TANGGUNGAN | KelasPinjaman)

P (Status= BAIK | KelasPinjaman = RENDAH) = 108/135 P (Status= BAIK | KelasPinjaman = SEDANG) = 85/85 P (Status= BAIK | KelasPinjaman = TINGGI) = 42/42 P (Status= BAIK | KelasPinjaman = SANGAT TINGGI) = 3/3 3.3 Implementasi dengan tools WEKA

Klasifikasi menggunakan algoritma naïve bayes dilakukan dengan 3 test yaitu menggunakan Use Data Training, 5-cross validation, dan 10-cross validation [23], [24]. Berikut merupakan hasil klasifikasi menggunakan tools WEKA:

3.3.1 Hasil Klasifikasi menggunakan data training

Gambar 3. Klasifikasi menggunakan Data Training

Gambar 3 di atas merupakan hasil klasifikasi naïve bayes dengan Tools WEKA dengan menggunakan training set yang menunjukan hasil 193 prediksi benar dengan akurasi = 72,83%; presisi = 80.3%; recall = 87,4%; dan F1-score = 83,7%.

3.3.2 Hasil Klasifikasi dengan menggunakan 5-cross validation

Gambar 4. Klasifikasi 5-Fold Cross Validation

(6)

Gambar 4 di atas merupakan hasil klasifikasi naïve bayes dengan Tools WEKA dengan menggunakan 5-Fold Cross Validation yang menunjukan hasil 168 prediksi benar dengan akurasi = 63,39%; presisi = 73,2%; recall = 77%;

dan F1-score = 75,1%..

3.3.3 Hasil klasifikasi menggunakan 10-cross validation

Gambar 5. Klasifikasi 10-Fold Cross Validation)

Gambar 5 di atas merupakan hasil klasifikasi naïve bayes dengan Tools WEKA dengan menggunakan 10-Fold Cross Validation yang menunjukan hasil 176 prediksi benar dengan akurasi = 66,42%; presisi = 75,7%; recall = 83%;

dan F1-score = 79,2,1%..

3.3.4. Hasil Perbandingan Evaluasi

Setelah dilakukan analisis klasifikasi naïve bayes pada tools WEKA menggunakan Training Set, 10-Fold Cross Validation, 5-Fold Cross Validation maka didapatlah perbandingan nilai evaluasi kinerja klasifikasi seperti terlihat pada gambar 6 di bawah ini.

Gambar 6. Hasil akurasi klasifikasi dengan Naïve Bayes

Terlihat pada gambar 6 diatas bahwa terdapat perbedaan nilai evaluasi kinerja klasifikasi pada masing masing opsi tes, seperti pada opsi training set, 5-fold cross validation, dan 10-fold cross validation. Untuk nilai akurasi pada opsi training set lebih tinggi dari pada 10-fold cross validation dan begitu juga pada nilai presisi recall dan f1-score

4. KESIMPULAN

Setelah melakukan proses klasifikasi pada opsi training set, 5-fold cross validation, dan 10-fold cross validation, terdapat hasil evaluasi kinerja klasifikasi seperti berikut dengan menggunakan training set yang menunjukan hasil 193 prediksi

0 20 40 60 80 100

Akurasi Presisi Recall F1-Score

Grafik perbandingan hasil evaluasi

Training Set 5-Fold 10-Fold

(7)

benar dengan akurasi = 72,83%; presisi = 80.3%; recall = 87,4%; dan F1-score = 83,7%. dengan menggunakan 5-Fold Cross Validation yang menunjukan hasil 168 prediksi benar dengan akurasi = 63,39%; presisi = 73,2%; recall = 77%;

dan F1-score = 75,1%.. dengan menggunakan 10-Fold Cross Validation yang menunjukan hasil 176 prediksi benar dengan akurasi = 66,42%; presisi = 75,7%; recall = 83%; dan F1-score = 79,2,1%. Walaupun hasil training set lebih tinggi dibandingkan dengan penggunaan data testing seperti 5-Fold Cross Validation dan 10-Fold Cross Validation, penulis menyarankan tetap mengacu pada k-fold cross validation.

REFERENCES

[1] A. S. Osman, “Data mining techniques: Review,” Int. J. Data Sci. Res., vol. 2, no. 1, pp. 1–4, 2019.

[2] J. Mughal, M. Jawad, and H. Mughal, “Data Mining: Web Data Mining Techniques, Tools and Algorithms: An Overview Cite this paper Related papers A Syst emat ic Review Web Cont ent Mining Tools and it s Applicat ions Manjunat h Pujar A Syst emat ic Review Web Cont ent Mining Tools and it s Appl,” IJACSA) Int. J. Adv. Comput. Sci. Appl., vol. 9, no. 6, 2018, [Online].

Available: www.ijacsa.thesai.org

[3] J. Jasmir, S. Nurmaini, R. F. Malik, and D. Z. Abidin, “Text Classification of Cancer Clinical Trials Documents Using Deep Neural Network and Fine Grained Document Clustering,” vol. 172, no. Siconian 2019, 2020, doi: 10.2991/aisr.k.200424.061.

[4] J. Jasmir, S. Nurmaini, R. F. Malik, and B. Tutuko, “Bigram feature extraction and conditional random fields model to improve text classification clinical trial document,” Telkomnika (Telecommunication Comput. Electron. Control., vol. 19, no. 3, pp. 886–

892, 2021, doi: 10.12928/TELKOMNIKA.v19i3.18357.

[5] J. Jasmir, S. Nurmaini, and B. Tutuko, “Fine-grained algorithm for improving knn computational performance on clinical trials text classification,” Big Data Cogn. Comput., vol. 5, no. 4, 2021, doi: 10.3390/bdcc5040060.

[6] J. Jasmir, W. Riyadi, S. R. Agustini, Y. Arvita, D. Meisak, and L. Aryani, “Bidirectional Long Short-Term Memory and Word Embedding Feature for,” J. RESTI (Rekayasa Sist. Dan Teknol. Informasi), vol. 6, no. 4, pp. 505–510, 2022, [Online]. Available:

https://jurnal.iaii.or.id/index.php/RESTI/article/view/4005/606

[7] S. Nurmaini, R. U. Partan, W. Caesarendra, and T. Dewi, “An Automated ECG Beat Classification System Using Deep Neural Networks with an Unsupervised Feature Extraction Technique,” Appl. Sci., vol. 9, 2019.

[8] A. H. Nasyuha, “Implementasi Teorema Bayes Untuk Diagnosa Penyakit Hawar Daun Bakteri ( Kresek ) Dan Penyakit Blas Tanaman Padi,” vol. 9, no. 4, pp. 777–783, 2022, doi: 10.30865/jurikom.v9i4.4350.

[9] Y. N. Nanik Rahmawati, Jasmir Jasmir, “Klasifikasi Kondisi Gizi Balita Menggunakan Metode Naive Bayes (Studi Kasus Posyandu Melati IV),” J. Ilm. Mhs. Tek. Inform., vol. 2, no. 3, 2020.

[10] T. Cakra Pratama, “Penerapan Metode K-Nearest Neighbour Dalam Menentukan Kelayakan Calon Nasabah Yang Layak Untuk Kredit Mobil (Studi Kasus : Pt. Astra International,Tbk-Toyota),” J. Ris. Komput., vol. 5, no. 4, pp. 402–408, 2018, [Online].

Available: http://ejurnal.stmik-budidarma.ac.id/index.php/jurikom%7CPage%7C402

[11] N. Handayani, H. Wahyono, J. Trianto, and D. S. Permana, “Prediksi Tingkat Risiko Kredit dengan Data Mining Menggunakan Algoritma Decision Tree C . 45,” JURIKOM (Jurnal Ris. Komputer), vol. 8, no. 6, pp. 198–204, 2021, doi:

10.30865/jurikom.v8i6.3643.

[12] P. Santoso and R. Setiawan, “Penerapan Metode Klasifikasi Decision Tree dan Algoritma C4.5 dalam Memprediksi Kriteria Nasabah Kredit Mega Auto Finance,” JURIKOM (Jurnal Ris. Komputer), vol. 7, no. 2, p. 200, 2020, doi:

10.30865/jurikom.v7i2.1762.

[13] J. Wulandari, F., Jusia, P. A., & Jasmir, “Klasifikasi Data Mining Untuk Mendiagnosa Penyakit ISPA Menggunakan Metode Naïve Bayes Pada Puskesmas Jambi Selatan. Jurnal Manajemen Teknologi Dan Sistem Informasi (JMS), 2(3), 214–227.,”

Klasifikasi Data Min. Untuk Mendiagnosa Penyakit ISPA Menggunakan Metod. Naïve Bayes Pada Puskesmas Jambi Selatan. J.

Manaj. Teknol. Dan Sist. Inf. (JMS), 2(3), 214–227., vol. 2, no. 3, pp. 214–227, 2020.

[14] E. Rasywir, Y. Hartiwi, and Y. Pratama, “Komparasi Penilaian Kinerja Karyawan Dengan Menggunakan Pendekatan Pembelajaran Mesin,” Ris. Komput., vol. 6, no. 4, pp. 348–357, 2019.

[15] S. Ghoneim, “https://towardsdatascience.com/accuracy-recall-precision-f-score-specificity-which-to-optimize-on- 867d3f11124,” p. 11124.

[16] M. Ohsaki, P. Wang, K. Matsuda, and S. Katagiri, “Confusion-Matrix-Based Kernel Logistic Regression for Imbalanced Data Classification,” IEEE Trans. Knowl. Data Eng., vol. 29, no. 9, pp. 1806–1819, 2017, doi: 10.1109/TKDE.2017.2682249.

[17] X. Deng, Q. Liu, Y. Deng, and S. Mahadevan, “An improved method to construct basic probability assignment based on the confusion matrix for classification problem,” Inf. Sci. (Ny)., 2016, doi: 10.1016/j.ins.2016.01.033.

[18] S. Nurmaini, R. U. Partan, M. N. Rachmatullah, and A. Gani, “Cardiac Arrhythmias Classification Using Deep Neural Networks and Principle Component Analysis Algorithm,” Int. J. Adv. Soft Comput. Its Appl., vol. 10, no. 2, 2018.

[19] X. Wang and C. Wang, “Time Series Data Cleaning: A Survey,” IEEE Access, vol. 8, pp. 1866–1881, 2020, doi:

10.1109/ACCESS.2019.2962152.

[20] P. Li, X. Rao, J. Blase, Y. Zhang, X. Chu, and C. Zhang, “CleanML: A study for evaluating the impact of data cleaning on ml classification tasks,” Proc. - Int. Conf. Data Eng., vol. 2021-April, pp. 13–24, 2021, doi: 10.1109/ICDE51399.2021.00009.

[21] E. G. Kulkarni and R. B. Kulkarni, “WEKA Powerful Tool in Data Mining General Terms,” Int. J. Comput. Appl., vol. 5, no.

Rtdm, pp. 975–8887, 2016.

[22] S. Singhal and M. Jena, “A Study on WEKA Tool for Data Preprocessing , Classification and Clustering,” Int. J. Innov. Technol.

Explor. Eng., vol. 2, no. 6, pp. 250–253, 2013, [Online]. Available:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.687.799&rep=rep1&type=pdf

[23] I. Tougui, A. Jilbab, and J. El Mhamdi, “Impact of the choice of cross-validation techniques on the results of machine learning- based diagnostic applications,” Healthc. Inform. Res., vol. 27, no. 3, pp. 189–199, 2021, doi: 10.4258/HIR.2021.27.3.189.

[24] G. Battineni, G. G. Sagaro, C. Nalini, F. Amenta, and S. K. Tayebati, “Comparative machine-learning approach: A follow-up study on type 2 diabetes predictions by cross-validation methods,” Machines, vol. 7, no. 4, pp. 1–11, 2019, doi:

10.3390/machines7040074.