BAB 4 UJI COBA DAN EVALUASI
4.2. Perancangan Uji Coba
Setelah semua fitur diurutkan berdasarkan pemeringkatan lima metode seleksi fitur, selanjutnya ditentukan skenario pengujian untuk mengetahui pengaruh usulan kombinasi metode terhadap nilai balance. Berdasarkan Gambar 3.17 pada BAB 3, skenario pengujian pada penelitian ini dilakukan hanya pada tahap klasifikasi saja (tidak termasuk tahap pra-proses). Hal tersebut dilakukan untuk mengetahui berapa jumlah fitur terbaik (paling relevan) yang dapat meningkatkan nilai balance di proses klasifikasi menggunakan CBC.
Adapun jumlah fold untuk melakukan crossvalidation pada pengujian ini adalah 5 folds. Pada tahap ini, cross validation dilakukan dengan menggunakan
57
bantuan fungsi crossvalind di MATLAB. Fungsi tersebut dapat digunakan untuk membagi data menjadi data training dan data testing berdasarkan persebaran label kelas di setiap fold.
Pada dasarnya proses CBC adalah proses clustering. Metode clustering
yang digunakan pada penelitian ini adalah k-means. Untuk mendapatkan hasil
k-means, maka diperlukan iterasi pencarian titik cluster center baru hingga
konvergen, yaitu kondisi di mana tidak ada perubahan anggota data di titik cluster
center baru. Namun, jika konvergensi hanya diperiksa dari nilai iterasi -1, maka
ditemukan kondisi dimana CBC mencapai satu juta iterasi dengan anggota cluster
yang masih belum konvergen. Hal ini disebabkan oleh proses pembulatan nilai
mean yang sudah dijelaskan pada Sub-bab 3.2.6. Untuk itu, pada penelitian ini digunakan iterasi -5 sebagai threshold pencarian konvergensi. Jadi, jika iterasi -1 tidak kunjung konvergen, maka iterasi yang sekarang akan dibandingkan dengan iterasi -5 sebelumnya secara iteratif. Ketika iterasi belum mencapai -5 dan sudah konvergen, maka iterasi dihentikan.
Adapun untuk menentukan keanggotaan data terhadap suatu cluster
tertentu, maka digunakan perhitungan jarak antara data terhadap titik cluster. Jarak data yang paling terdekat dengan cluster tertentu, akan dikelompokkan ke dalam anggota cluster itu. Perhitungan jarak yang digunakan pada penelitian ini adalah
hamming distance. Sedangkan pada penelitian CBC sebelumnya menggunakan
euclidean distance (Singh & Verma 2014). Adapun jumlah titik cluster pada
penelitian ini ada dua, yaitu C1 dan C2. Diasumsikan bahwa titik cluster C1 mewakili kelompok data dengan kelas false, sedangkan cluster C2 mewakili kelompok data dengan kelas true. Penentuan keanggotaan data terhadap cluster
tertentu, dinyatakan dengan kondisi perhitungan jarak C1 > C2. Jika jarak data terhadap C1 lebih jauh dari C2, maka data itu termasuk ke dalam anggota C2 dan sebaliknya. Namun, ketika terdapat kesamaan jarak antara data terhadap masing-masing titik cluster, secara default data tersebut akan masuk ke dalam anggota C1. Artinya, sistem prediksi menilai keanggotaan data yang abu-abu (jarak data ke C1 dan C2 sama) adalah sebagai kelas false. Ilustrasi penentuan anggota cluster yang abu-abu dapat dilihat pada Gambar 4.2.
58 Data
C1
Default cluster falseC2
trueGambar 4.2 Ilustrasi Penentuan Keanggotaan Data yang Abu-abu
4.2.1.Skenario Pengujian di CM1
Skenario pengujian yang pertama menggunakan dataset CM1. Skenario ini dilakukan dengan mengkombinasikan metode EBD dua fase dan kelima metode seleksi fitur GR, IG, OR, RFF, dan SU. Setelah itu, fitur diseleksi sejumlah Top X
fitur secara iteratif untuk dijadikan sebagai input model klasifikasi CBC. Sejumlah
5 folds digunakan untuk melakukan cross validation. Adapun default prediksi pada
pengujian ini adalah C1 yaitu kelas false. Ilustrasi skenario pengujian dengan menggunakan dataset CM1 di Gambar 4.3.
Dataset CM1 5 versi ranking fitur Iterasi Top X fitur Training Pemeringkatan Hasil
Diskritisasi EBD Seleksi fitur Cross validation Klasifikasi
5 folds Prediksi
CBC Testing
Gambar 4.3 Tahapan Skenario Pengujian di CM1 4.2.2.Skenario Pengujian di KC3
Skenario pengujian yang kedua menggunakan dataset KC3. Skenario ini dilakukan dengan mengkombinasikan metode EBD dua fase dan kelima metode seleksi fitur GR, IG, OR, RFF, dan SU. Setelah itu, fitur diseleksi sejumlah Top X
fitur secara iteratif untuk dijadikan sebagai input model klasifikasi CBC. Sejumlah
5 folds digunakan untuk melakukan cross validation. Adapun default prediksi pada
pengujian ini adalah C1 yaitu kelas false. Ilustrasi skenario pengujian dengan menggunakan dataset KC3 di Gambar 4.4.
Dataset KC3 5 versi ranking fitur Iterasi Top X fitur Training Pemeringkatan Hasil
Diskritisasi EBD Seleksi fitur Cross validation Klasifikasi
5 folds Prediksi
CBC Testing
59
4.2.3.Skenario Pengujian di MW1
Skenario pengujian yang ketiga menggunakan dataset MW1. Skenario ini dilakukan dengan mengkombinasikan metode EBD dua fase dan kelima metode seleksi fitur GR, IG, OR, RFF, dan SU. Setelah itu, fitur diseleksi sejumlah Top X
fitur secara iteratif untuk dijadikan sebagai input model klasifikasi CBC. Sejumlah
5 folds digunakan untuk melakukan cross validation. Adapun default prediksi pada
pengujian ini adalah MW1 yaitu kelas false. Ilustrasi skenario pengujian dengan menggunakan dataset KC3 di Gambar 4.5.
Dataset MW1 5 versi ranking fitur Iterasi Top X fitur Training Pemeringkatan Hasil
Diskritisasi EBD Seleksi fitur Cross validation Klasifikasi
5 folds Prediksi
CBC Testing
Gambar 4.5 Tahapan Skenario Pengujian di MW1 4.2.4.Skenario Pengujian di PC1
Skenario pengujian yang keempat menggunakan dataset PC1. Skenario ini dilakukan dengan mengkombinasikan metode EBD dua fase dan kelima metode seleksi fitur GR, IG, OR, RFF, dan SU. Setelah itu, fitur diseleksi sejumlah Top X
fitur secara iteratif untuk dijadikan sebagai input model klasifikasi CBC. Sejumlah
5 folds digunakan untuk melakukan cross validation. Adapun default prediksi pada
pengujian ini adalah C1 yaitu kelas false. Ilustrasi skenario pengujian dengan menggunakan dataset PC1 di Gambar 4.6.
Dataset PC1 5 versi ranking fitur Iterasi Top X fitur Training Pemeringkatan Hasil
Diskritisasi EBD Seleksi fitur Cross validation Klasifikasi
5 folds Prediksi
CBC Testing
Gambar 4.6 Tahapan Skenario Pengujian di PC1 4.2.5.Skenario Pengujian di PC2
Skenario pengujian yang kelima menggunakan dataset PC2. Skenario ini dilakukan dengan mengkombinasikan metode EBD dua fase dan kelima metode seleksi fitur GR, IG, OR, RFF, dan SU. Setelah itu, fitur diseleksi sejumlah Top X
fitur secara iteratif untuk dijadikan sebagai input model klasifikasi CBC. Sejumlah
5 folds digunakan untuk melakukan cross validation. Adapun default prediksi pada
pengujian ini adalah C1 yaitu kelas false. Ilustrasi skenario pengujian dengan menggunakan dataset PC2 di Gambar 4.7.
60 Dataset PC2 5 versi ranking fitur Iterasi Top X fitur Training Pemeringkatan Hasil
Diskritisasi EBD Seleksi fitur Cross validation Klasifikasi
5 folds Prediksi
CBC Testing
Gambar 4.7 Tahapan Skenario Pengujian di PC2 4.2.6.Skenario Pengujian di PC3
Skenario pengujian yang keenam menggunakan dataset PC3. Skenario ini dilakukan dengan mengkombinasikan metode EBD dua fase dan kelima metode seleksi fitur GR, IG, OR, RFF, dan SU. Setelah itu, fitur diseleksi sejumlah Top X
fitur secara iteratif untuk dijadikan sebagai input model klasifikasi CBC. Sejumlah
5 folds digunakan untuk melakukan cross validation. Adapun default prediksi pada
pengujian ini adalah C1 yaitu kelas false. Ilustrasi skenario pengujian dengan menggunakan dataset PC3 di Gambar 4.8.
Dataset PC3 5 versi ranking fitur Iterasi Top X fitur Training Pemeringkatan Hasil
Diskritisasi EBD Seleksi fitur Cross validation Klasifikasi
5 folds Prediksi
CBC Testing
Gambar 4.8 Tahapan Skenario Pengujian di PC3 4.2.7.Skenario Pengujian di PC4
Skenario pengujian yang ketujuh menggunakan dataset PC3. Skenario ini dilakukan dengan mengkombinasikan metode EBD dua fase dan kelima metode seleksi fitur GR, IG, OR, RFF, dan SU. Setelah itu, fitur diseleksi sejumlah Top X
fitur secara iteratif untuk dijadikan sebagai input model klasifikasi CBC. Sejumlah
5 folds digunakan untuk melakukan cross validation. Adapun default prediksi pada
pengujian ini adalah C1 yaitu kelas false. Ilustrasi skenario pengujian dengan menggunakan dataset PC3 di Gambar 4.9.
Dataset PC4 5 versi ranking fitur Iterasi Top X fitur Training Pemeringkatan Hasil
Diskritisasi EBD Seleksi fitur Cross validation Klasifikasi
5 folds Prediksi
CBC Testing
Gambar 4.9 Tahapan Skenario Pengujian di PC4