HASIL DAN PEMBAHASAN
RATA-RATA NILAI MATA KULIAH MAHASISWA DEPARTEMEN STATISTIKA IPB
1 1.25 1.5 1.75 2 2.25 2.5 2.75 3 3.25 3.5 3.75 4 1998 1999 2000 2001 2002 2003 2004
Tahun Angkatan Mahasiswa
R a ta -r a ta N il a i M u tu MET ST AT I MET ST AT II T S I T S II MPC RANCOB KOMP RE
Gambar 3. Grafik Nilai Rata-Rata Mata Kuliah Ujian Komprehensif dan Mata Kuliah Pokok Mahasiswa Departemen Statistika IPB
Tabel 1. Daftar Kategori dari Peubah Penjelas Peubah Penjelas Kategori
A B Nilai mutu Metode Statistika I
(mst1)
CD A B Nilai mutu Metode Statistika II
(mst2)
CD A B C Nilai mutu Teori Statistika I
(ts1)
D A B C Nilai mutu Teori Statistika II
(ts2)
DE A B Nilai mutu Metode Penarikan
Contoh (mpc)
CD A B Nilai mutu Perancangan
Percobaan (rcb)
CD
Klasifikasi Menggunakan Simple Naive Bayesian
Tahapan dalam penentuan klasifikasi nilai mutu Ujian Komprehensif dengan metode simple naive Bayesian :
1. Menentukan peluang prior dari masing-masing kategori nilai mutu Ujian Komprehensif.
Tabel 2. Peluang Prior Ujian Komprehensif Nilai mutu Ujian
Komprehensif N Peluang Prior A 33 0.117 B 98 0.348 C 137 0.486 D 14 0.05 Total 282 1
2. Menentukan peluang bersyarat dari setiap kategori peubah penjelas. Lampiran 2-7 menyajikan nilai peluang bersyarat dari enam peubah penjelas.
3. Menentukan peluang bersama yang diperoleh dengan mengalikan peluang prior
pada tahap 1 dan peluang bersyarat pada tahap 2.
4. Menentukan kaidah klasifikasi berdasarkan nilai peluang bersama yang terbesar.
Dengan menerapkan tahapan di atas, akan diperoleh prediksi klasifikasi nilai mutu Ujian Komprehensif dari masing-masing mahasiswa Departemen Statistika IPB. Tabel klasifikasi nilai mutu Ujian Komprehensif yang dihasilkan adalah sebagai berikut:
Tingkat ketepatan klasifikasi (Correct Classification Rate) yang dihasilkan oleh metode SNB untuk data in-sample sebesar 59.93%, sedangkan tingkat ketepatan klasifikasi untuk data out-sample sebesar 47.89%.
Klasifikasi Menggunakan Metode Semi Naive Bayesian
Backwards Sequential Elimination (BSE)
Penerapan algoritma BSE menghasilkan susunan peubah penjelas baru yang merupakan himpunan bagian dari enam peubah penjelas pada simple naive Bayesian yang dapat menyebabkan terjadinya peningkatan akurasi dari metode simple naive Bayesian. Susunan peubah penjelas baru tersebut terdiri dari tiga peubah penjelas, yaitu nilai mutu Metode Statistika II, nilai mutu Metode Penarikan
Contoh, dan nilai mutu Perancangan Percobaan.
Tabel klasifikasi nilai mutu Ujian Komprehensif yang dihasilkan dari penerapan algoritma BSE adalah sebagai berikut:
Tingkat ketepatan klasifikasi yang dihasilkan oleh metode BSE untuk data in-sample sebesar 62.06%, sedangkan tingkat ketepatan klasifikasi untuk data out-sample sebesar 53.52%.
Forward Sequential Selection (FSS)
Sama halnya dengan algoritma BSE, penerapan algoritma FSS juga menghasilkan susunan peubah penjelas baru yang merupakan himpunan bagian dari enam peubah penjelas yang digunakan pada simple naive Bayesian. Susunan peubah penjelas yang baru tersebut dipilih karena dapat meningkatkan akurasi dari metode simple naive Bayesian.
Susunan peubah penjelas baru yang terbentuk dari penerapan algoritma FSS tersebut terdiri dari lima peubah penjelas, yaitu nilai mutu Metode Statistika I, nilai mutu Metode Statistika II, nilai mutu Teori Statistika II, nilai mutu Metode Penarikan Contoh, dan nilai mutu Perancangan Percobaan. Sedangkan Tabel klasifikasi nilai mutu Ujian Komprehensif yang dihasilkan adalah sebagai berikut:
Tabel 3. Ketepatan Klasifikasi Data In-sample
SNB 23 8 2 0 33 8.2% 2.8% .7% .0% 14 39 45 0 98 5.0% 14% 16% .0% 5 25 103 4 137 1.8% 8.9% 37% 1.4% 0 0 10 4 14 .0% .0% 3.5% 1.4% 42 72 160 8 282 A B C D Aktual Total A B C D Prediksi Total BSE 24 6 3 33 8.5% 2.1% 1.1% 9 42 47 98 3.2% 14.9% 16.7% 7 21 109 137 2.5% 7.4% 38.7% 0 1 13 14 .0% .4% 4.6% 40 70 172 282 A B C D Aktual Total A B C Prediksi Total
Tabel 5. Ketepatan Klasifikasi Data In-Sample
Tabel 4. Ketepatan Klasifikasi Data Out-Sample
SNB 2 2 1 0 5 2.8% 2.8% 1.4% .0% 1 11 18 0 30 1.4% 15% 25% .0% 1 10 21 3 35 1.4% 14% 30% 4.2% 0 0 1 0 1 .0% .0% 1.4% .0% 4 23 41 3 71 A B C D Aktual Total A B C D Prediksi Total
Tabel 6. Ketepatan Klasifikasi Data Out-Sample
BSE 2 0 3 5 2.8% .0% 4.2% 4 8 18 30 5.6% 11.3% 25.4% 3 4 28 35 4.2% 5.6% 39.4% 0 0 1 1 .0% .0% 1.4% 9 12 50 71 A B C D Aktual Total A B C Prediksi Total
Tingkat ketepatan klasifikasi yang dihasilkan oleh metode FSS untuk data in-sample sebesar 61.35%, sedangkan tingkat ketepatan klasifikasi untuk data out-sample sebesar 56.34%.
Backward Sequential Elimination and Joining (BSEJ)
Penerapan algoritma BSEJ menciptakan susunan peubah penjelas baru yang terdiri dari hanya satu peubah penjelas baru hasil penggabungan keenam peubah penjelas pada simple naive Bayesian. Jika peubah penjelas baru yang dihasilkan dari algoritma BSEJ adalah join, maka join ini merupakan penggabungan dari keenam peubah penjelas pada simple naive Bayesian. Jika seorang mahasiswa memiliki nilai mutu Metode Statistika I = A, nilai mutu Metode Statistika II = A, nilai mutu Teori Statistika I = A, nilai mutu Teori Statistika II = A, nilai mutu Metode Penarikan Contoh = A, dan nilai mutu Perancangan Percobaan = A, mahasiswa tersebut akan memiliki peubah penjelas join = AAAAAA.
Tabel klasifikasi nilai mutu Ujian Komprehensif yang dihasilkan berdasarkan algoritma BSEJ adalah sebagai berikut:
Tingkat ketepatan klasifikasi yang dihasilkan oleh metode BSEJ untuk data in-sample sebesar 75.18%, sedangkan tingkat ketepatan klasifikasi untuk data out-sample sebesar 54.93%.
Tree Augmented Naive Bayesian (TAN)
Penerapan algoritma TAN menghasilkan perubahan struktur simple naive Bayesian yang menggambarkan adanya ketidakbebasan (saling mempengaruhi) antar peubah penjelas. Peubah penjelas yang terbentuk masih terdiri dari enam peubah penjelas, yaitu nilai mutu Metode Statistika I, nilai mutu Metode Statistika II, nilai mutu Teori Statistika I, nilai mutu Teori Statistika II, nilai mutu Metode Penarikan Contoh, dan nilai mutu Perancangan Percobaan. Perbedaannya adalah dalam penentuan peluang bersyarat setiap kategori dari peubah penjelas nilai mutu Teori Statistika I, nilai mutu Teori Statistika II, dan nilai mutu Perancangan Percobaan, yang selain dipengaruhi oleh peubah kelas juga dipengaruhi oleh salah satu peubah penjelas lain. Nilai mutu Teori Statistika I dan nilai mutu Teori Statistika II sama-sama dipengaruhi oleh nilai mutu Metode Statistika I, sedangkan nilai mutu Perancangan Percobaan dipengaruhi oleh nilai mutu Teori Statistika I. Struktur tree augmented naive
FSS 23 6 4 33 8.2% 2.1% 1.4% 14 40 44 98 5.0% 14.2% 15.6% 5 22 110 137 1.8% 7.8% 39.0% 0 0 14 14 .0% .0% 5.0% 42 68 172 282 A B C D Aktual Total A B C Prediksi Total BSEJ 8 6 19 33 2.8% 2.1% 6.7% 0 71 27 98 .0% 25.2% 9.6% 0 4 133 137 .0% 1.4% 47.2% 0 1 13 14 .0% .4% 4.6% 8 82 192 282 A B C D Aktual Total A B C Prediksi Total
Tabel 9. Ketepatan Klasifikasi Data In-Sample
Tabel 8. Ketepatan Klasifikasi Data Out-Sample
FSS 2 1 2 5 2.8% 1.4% 2.8% 1 11 18 30 1.4% 15.5% 25.4% 1 7 27 35 1.4% 9.9% 38.0% 0 0 1 1 .0% .0% 1.4% 4 19 48 71 A B C D Aktual Total A B C Prediksi Total
Tabel 10. Ketepatan Klasifikasi Data Out-Sample
BSEJ 1 1 3 5 1.4% 1.4% 4.2% 0 9 21 30 .0% 12.7% 29.6% 0 6 29 35 .0% 8.5% 40.8% 0 0 1 1 .0% .0% 1.4% 1 16 54 71 A B C D Aktual Total A B C Prediksi Total
Bayesian yang dihasilkan dapat dilihat pada Lampiran 8.
Tabel klasifikasi nilai mutu Ujian Komprehensif yang dihasilkan berdasarkan algoritma TAN adalah sebagai berikut:
Tingkat ketepatan klasifikasi yang dihasilkan oleh metode TAN untuk data in-sample sebesar 67.73%, sedangkan tingkat ketepatan klasifikasi untuk data out-sample sebesar 50.70%.
Perbandingan Metode SNB, BSE, FSS, BSEJ dan TAN
Metode klasifikasi dinyatakan memiliki akurasi yang baik jika memiliki tingkat kesalahan klasifikasi yang minimum. Tingkat kesalahan klasifikasi yang dihasilkan oleh metode klasifikasi SNB dan semi naive Bayesian disajikan pada Tabel 13.
Dari Tabel 13 terlihat bahwa metode semi naive Bayesian efektif digunakan untuk meningkatkan akurasi dari metode simple naïve Bayesian. Namun, peningkatan akurasi yang dihasilkan belum tentu merupakan peningkatan akurasi yang terbesar (maksimal). Hal ini ditunjukkan dengan adanya perbedaan tingkat kesalahan klasifikasi yang dihasilkan oleh BSE dan FSS.
Tabel 13. Perbandingan Tingkat Kesalahan Klasifikasi SNB dan Semi Naive Bayesian
Metode Misclassification Klasifikasi in-sample out-sample
SNB 40.07% 52.11%
BSE 37.94% 46.48%
FSS 38.65% 43.66%
BSEJ 24.82% 45.07%
TAN 32.27% 49.30%
Secara keseluruhan dapat dilihat bahwa keempat metode semi naive Bayesian memiliki tingkat kesalahan klasifikasi yang lebih kecil dibandingkan dengan metode simple naive Bayesian, baik untuk data in-sample maupun out-sample.
Adanya perbedaan tingkat kesalahan klasifikasi yang cukup jauh antara data in-sample dan out-sample disebabkan oleh ukuran data yang digunakan tidak cukup besar, sehingga berakibat pada nilai peluang dari setiap kategori peubah penjelas maupun peubah respon yang belum stabil.
Kesalahan prediksi klasifikasi yang dihasilkan untuk data in-sample, baik dalam simple naive Bayesian maupun dalam semi naive Bayesian, didominasi oleh jenis kesalahan prediksi yang tidak jauh dari nilai data aktual, misalnya saja kebanyakan mahasiswa yang memiliki nilai mutu Ujian Komprehensif A diprediksi akan mendapat nilai mutu Ujian Komprehensif antara A-B. Begitu pula dengan mahasiswa yang memiliki nilai mutu Ujian Komprehensif aktual B, sebagian besar akan diprediksi mendapat nilai mutu Ujian Komprehensif B-C. Mahasiswa yang memiliki nilai mutu Ujian Komprehensif aktual C juga sebagian besar akan diprediksi mendapat nilai mutu Ujian Komprehensif B-C. Sedangkan mahasiswa yang memiliki nilai mutu Ujian Komprehensif aktual D sebagian besar akan diprediksi mendapat nilai mutu Ujian Komprehensif C.
Penerapan Metode Semi Naive Bayesian Menggunakan Indeks Asosiasi
Selain menggunakan algoritma BSE, FSS, dan BSEJ, metode semi naive Bayesian (deleting attributes dan joining attributes) dapat diterapkan dengan menggunakan indeks asosiasi (korelasi). Tahapan metode semi naive Bayesian dalam mengklasifikasikan nilai mutu Ujian Komprehensif menggunakan indeks asosiasi (korelasi) adalah sebagai berikut : 1. Menggerombolkan keenam mata kuliah
yang menjadi peubah penjelas. Indeks
Tabel 11. Ketepatan Klasifikasi Data In-Sample
TAN 22 6 5 0 33 7.8% 2.1% 1.8% .0% 9 53 36 0 98 3.2% 19% 13% .0% 3 21 112 1 137 1.1% 7.4% 40% .4% 0 0 10 4 14 .0% .0% 3.5% 1.4% 34 80 163 5 282 A B C D Aktual Total A B C D Prediksi Total
Tabel 12. Ketepatan Klasifikasi Data Out-Sample
TAN 2 2 1 0 5 2.8% 2.8% 1.4% .0% 1 10 19 0 30 1.4% 14% 27% .0% 1 7 24 3 35 1.4% 9.9% 34% 4.2% 0 0 1 0 1 .0% .0% 1.4% .0% 4 19 45 3 71 A B C D Aktual Total A B C D Prediksi Total
asosiasi digunakan sebagai ukuran kemiripan antar dua mata kuliah (peubah penjelas). Banyaknya gerombol yang terbentuk menunjukkan banyaknya peubah penjelas yang akan digunakan.
2. Deleting attributes: Ambil satu mata kuliah sebagai peubah penjelas dari seiap gerombol yang terbentuk. Kemudian lakukan proses klasifikasi SNB. Ulangi langkah 2 ini untuk semua susunan kombinasi peubah penjelas yang mungkin. Kombinasi peubah penjelas yang dipilih adalah kombinasi peubah penjelas yang menghasilkan tingkat ketepatan klasifikasi terbesar.
Joining attributes: Gabungkan setiap peubah penjelas (mata kuliah) yang berada dalam satu gerombol, sehingga seolah-olah membentuk peubah penjelas baru yang banyaknya sesuai dengan banyaknya gerombol yang terbentuk pada langkah 1. Kemudian lakukan proses klasifikasi SNB.
Setelah melakukan eksplorasi terhadap beberapa metode perbaikan jarak (pautan), digunakan metode pautan Complete Linkage untuk menggerombolkan peubah penjelas dengan ukuran kedekatan adalah korelasi antar peubah penjelas. Metode pautan Complete Linkage tersebut menghasilkan tiga gerombol. Gerombol pertama terdiri dari Metode Statistika I, Teori Statistika I, dan Teori Statistika II. Gerombol kedua terdiri dari Metode Statistika II dan Metode Penarikan Contoh. Sedangkan gerombol ketiga hanya terdiri dari Perancangan Percobaan.
Metode Statistika II, Teori Statistika II, dan Perancangan Percobaan merupakan susunan peubah penjelas yang menghasilkan tingkat ketepatan klasifikasi terbaik pada deleting attributes.
Besarnya tingkat kesalahan klasifikasi yang dihasilkan disajikan pada Tabel 14.
Tabel 14. Tingkat Kesalahan Klasifikasi Semi Naive Bayesian dengan Indeks Asosiasi
Misclassification Rate Metode semi
naive Bayesian in-sample out-sample deleting
attributes 42.20% 53.52%
joining
attributes 34.04% 45.07%
Tabel 14 menunjukkan bahwa penggunaan indeks asosiasi dalam membangun model klasifikasi semi naive Bayesian tidak memberikan hasil sebaik penggunaan
algoritma BSE, FSS, BSEJ, dan TAN. Penggunaan indeks asosiasi pada deleting attributes menghasilkan tingkat kesalahan klasifikasi yang lebih besar dibandingkan dengan SNB, baik untuk data in-sample maupun out-sample. Sedangkan penggunaan indeks asosiasi pada joining attributes masih cukup efektif dalam meningkatkan akurasi prediksi klasifikasi dari metode SNB, karena menghasilkan tingkat kesalahan klasifikasi yang lebih kecil dibandingkan SNB, baik untuk data in-sample maupun out-sample. Namun, tingkat kesalahan ini masih lebih besar jika dibandingkan dengan tingkat kesalahan klasifikasi BSEJ.
Tabel 15 dan Tabel 16 menunjukkan bahwa metode deleting attributes memiliki peluang salah mengklasifikasikan nilai mutu Ujian Komprehensif yang cukup besar. Terutama dalam mengklasifikasikan mahasiswa yang sebenarnya mendapat nilai mutu Ujian Komprehensif B. Mahasiswa yang secara aktual mendapat nilai mutu Ujian Komprehensif B memiliki peluang yang lebih besar untuk diklasifikasikan mendapat nilai mutu Ujian Komprehensif C. Selain itu, jenis kesalahan yang dihasilkan oleh deleting attributes memiliki resiko kesalahan yang cukup besar. Hal ini dapat dilihat dari adanya salah klasifikasi nilai mutu Ujian Komprehensif yang seharusnya A diprediksi
Tabel 15. Ketepatan Klasifikasi Data In-Sample
Deleting attributes 21 8 4 33 7.4% 2.8% 1.4% 13 27 58 98 4.6% 9.6% 20.6% 6 16 115 137 2.1% 5.7% 40.8% 0 0 14 14 .0% .0% 5.0% 40 51 191 282 A B C D Aktual Total A B C Prediksi Total
Tabel 16. Ketepatan Klasifikasi Data Out-sample
Deleting attributes 3 0 2 5 4.2% .0% 2.8% 3 4 23 30 4.2% 5.6% 32.4% 3 6 26 35 4.2% 8.5% 36.6% 0 0 1 1 .0% .0% 1.4% 9 10 52 71 A B C D Aktual Total A B C Prediksi Total
menjadi C, B diprediksi menjadi D, atau sebaliknya. Peluang terjadinya jenis kesalahan ini pada deleting attributes cukup besar dibandingkan metode semi naive Bayesian lainnya.
Tabel 17 dan Tabel 18 menunjukkan bahwa metode joining attributes memiliki peluang kesalahan klasifikasi yang lebih kecil dibandingkan deleting attributes. Dapat dilihat bahwa mahasiswa yang mendapat nilai mutu Ujian Komprehensif B memiliki peluang terbesar untuk diprediksi mendapat nilai mutu Ujian Komprehensif B. Peluang terjadinya jenis kesalahan dengan resiko kesalahan yang cukup tinggi pada joining attributes tidak sebesar pada deleting attributes.
Tingkat Kesalahan Klasifikasi dengan Mempertimbangkan Jenis Kesalahan yang
Dihasilkan
Penghitungan tingkat kesalahan klasifikasi (misclassification rate) hingga sejauh ini dilakukan dengan tidak mempertimbangkan jenis kesalahan yang dihasilkan. Mahasiswa yang sebenarnya mendapat nilai mutu Ujian Komprehensif A, namun diprediksi mendapat nilai mutu Ujian Komprehensif C, dibandingkan dengan mahasiswa yang sebenarnya mendapat nilai mutu Ujian Komprehensif A, namun diprediksi mendapat
nilai mutu Ujian Komprehensif B, dianggap memiliki resiko kesalahan yang sama.
Penghitungan tingkat kesalahan klasifikasi dengan mempertimbangkan jenis kesalahan perlu dilakukan pada penelitian ini. Hal ini dimungkinkan karena data nilai mutu Ujian Komprehensif yang akan diprediksi merupakan data kategorik ordinal. Dengan mempertimbangkan jenis kesalahan yang dilakukan, maka mahasiswa yang sebenarnya mendapat nilai mutu Ujian Komprehensif A, namun diprediksi mendapat nilai mutu Ujian Komprehensif C akan memiliki resiko kesalahan yang lebih tinggi dibandingkan dengan mahasiswa yang sebenarnya mendapat nilai mutu Ujian Komprehensif A, namun diprediksi mendapat nilai mutu Ujian Komprehensif B. Sedangkan penghitungan tingkat ketepatan klasifikasi (correct classification rate) masih tetap sama, yaitu 1 dikurangi misclassification rate.
Pada penghitungan tingkat kesalahan klasifikasi dengan mempertimbangkan jenis kesalahan, jenis kesalahan yang memiliki resiko kesalahan lebih tinggi akan diberi bobot pengali yang lebih besar. Prosedur penghitungan tingkat kesalahan klasifikasi adalah sebagai berikut:
1. Menentukan besarnya bobot/koefisien pengali untuk setiap jenis kesalahan yang terjadi.
- hasil prediksi yang sama dengan nilai aktual diberi bobot 0
- kesalahan prediksi yang menyimpang satu tingkat dari nilai aktual diberi bobot 1 - kesalahan prediksi yang menyimpang dua
tingkat dari nilai aktual diberi bobot 2 - kesalahan prediksi yang menyimpang tiga
tingkat dari nilai aktual diberi bobot 3 2. Mengalikan setiap unsur pada Tabel
Ketepatan Klasifikasi yang dihasilkan dari metode SNB dan semi naive Bayesian dengan bobot pengali yang telah ditentukan pada tahap 1.
3. Menjumlahkan setiap unsur pada Tabel Ketepatan Klasifikasi yang telah dikalikan dengan bobot pengalinya.
4. Tingkat kesalahan klasifikasi diperoleh dengan membagi hasil yang diperoleh pada tahap 3 dengan tiga kali total amatan/objek pada Tabel Ketepatan Klasifikasi yang bersesuaian.
Setelah melakukan tahapan di atas diperoleh tingkat kesalahan klasifikasi yang baru untuk setiap metode klasifikasi yang digunakan (SNB dan semi naive Bayesian). Tingkat kesalahan klasifikasi yang baru ini dapat dilihat pada Tabel 19-20.
Tabel 17. Ketepatan Klasifikasi Data In-sample
Joining attributes 22 7 4 33 7.8% 2.5% 1.4% 7 51 40 98 2.5% 18.1% 14.2% 3 21 113 137 1.1% 7.4% 40.1% 0 0 14 14 .0% .0% 5.0% 32 79 171 282 A B C D Aktual Total A B C Prediksi Total
Tabel 18. Ketepatan Klasifikasi Data Out-sample
Joining attributes 2 1 2 5 2.8% 1.4% 2.8% 1 11 18 30 1.4% 15.5% 25.4% 2 7 26 35 2.8% 9.9% 36.6% 0 0 1 1 .0% .0% 1.4% 5 19 47 71 A B C D Aktual Total A B C Prediksi Total
Tabel 19. Perbandingan Tingkat Kesalahan Klasifikasi SNB dan Semi Naive Bayesian
dengan Bobot Pengali
Misclassification Rate Metode
Klasifikasi in-sample out-sample
SNB 14.18% 18.31%
BSE 13.95% 18.31%
FSS 13.95% 15.96%
BSEJ 10.64% 16.43%
TAN 11.70% 17.37%
Tabel 20. Tingkat Kesalahan Klasifikasi Semi Naive Bayesian menggunakan Indeks
Asosiasi dengan Bobot Pengali Misclassification Rate Metode semi
naive Bayesian in-sample out-sample deleting
attributes 15.25% 20.19%
joining
attributes 12.17% 16.90%
Tabel 19 menunjukkan bahwa dengan mempertimbangkan jenis kesalahan yang dihasilkan, tingkat kesalahan klasifikasi dari metode SNB dan semi naive Bayesian menjadi lebih kecil dibandingkan dengan tingkat kesalahan klasifikasi yang tidak mempertimbangkan jenis kesalahan (Tabel 13). Namun informasi yang diperoleh masih sama, yaitu metode semi naive Bayesian efektif digunakan untuk meningkatkan akurasi dari metode simple naive Bayesian. Informasi tambahan yang bisa diperoleh adalah penghitungan tingkat kesalahan dengan mempertimbangkan jenis kesalahan mampu menunjukkan bahwa FSS lebih baik dari BSE dalam mengklasifikasikan nilai mutu Ujian Komprehensif. Selain itu juga terlihat bahwa tingkat kesalahan klasifikasi yang dihasilkan oleh BSEJ dan TAN tidak jauh berbeda.
Tabel 20 juga menunjukkan bahwa dengan mempertimbangkan jenis kesalahan yang dihasilkan, tingkat kesalahan klasifikasi dari metode semi naive Bayesian menggunakan indeks asosiasi menjadi lebih kecil dibandingkan dengan tingkat kesalahan klasifikasi yang tidak mempertimbangkan jenis kesalahan (Tabel 14). Perubahan tingkat kesalahan klasifikasi ini tidak mengubah hasil yang diperoleh, yaitu penggunaan indeks asosiasi dalam membangun model klasifikasi semi naive Bayesian tidak memberikan hasil sebaik penggunaan algoritma BSE, FSS, BSEJ, dan TAN. Terlihat bahwa deleting attributes tetap memiliki tingkat kesalahan klasifikasi yang lebih besar dari SNB.
Selain menghitung tingkat kesalahan klasifikasi dengan mempertimbangkan jenis kesalahan, dihitung juga nilai korelasi antara prediksi nilai mutu Ujian Komprehensif dengan nilai mutu Ujian Komprehensif aktual yang dihasilkan oleh SNB dan semi naive Bayesian. Koefisien korelasi yang dihasilkan dapat dilihat pada Tabel 21-22.
Tabel 21. Koefisien Korelasi antara Prediksi dan Aktual dari SNB dan Semi Naive Bayesian
Koefisien korelasi Spearman’s rho Metode Klasifikasi in-sample out-sample SNB 0.565 0.263 BSE 0.519 0.230 FSS 0.545 0.262 BSEJ 0.580 0.197 TAN 0.609 0.320
Tabel 22. Koefisien Korelasi antara Prediksi dan Aktual dari Semi Naive Bayesian
Menggunakan Indeks Asosiasi Koefisien korelasi Spearman’s rho Metode semi naive Bayesian in-sample out-sample deleting attributes 0.498 0.125 joining attributes 0.584 0.222
Dari Tabel 21 diketahui bahwa metode semi naive Bayesian yang menghasilkan korelasi paling tinggi antara prediksi dan aktual adalah TAN, baik untuk data in-sample maupun out-sample. Meskipun TAN bukanlah algoritma yang memiliki tingkat kesalahan klasifikasi terkecil dibandingkan algoritma lainnya (Tabel 19), namun jenis kesalahan yang dihasilkan TAN memiliki resiko kesalahan yang paling kecil (Tabel 11). Artinya, TAN memiliki peluang salah mengklasifikasikan nilai mutu Ujian Komprehensif (A menjadi C, B menjadi D, atau sebaliknya) yang paling kecil dibandingkan metode semi naive Bayesian lainnya. Sedangkan BSE merupakan metode semi naive Bayesian yang menghasilkan korelasi paling rendah antara prediksi dan aktual. Hal ini sejalan dengan hasil yang diperoleh pada Tabel 19, yaitu BSE memiliki tingkat kesalahan klasifikasi tertinggi dibandingkan dengan metode semi naive Bayesian lainnya, baik untuk data in-sample maupun out-sample.
Tabel 22 menunjukkan bahwa metode deleting attributes menghsilkan korelasi paling rendah antara prediksi dengan aktual, baik untuk data in-sample maupun out-sample. Bahkan, koefisien korelasi ini tetap yang paling rendah jika dibandingkan dengan koefisien korelasi yang dihasilkan oleh BSE, FSS, BSEJ, dan TAN. Metode deleting attributes juga cenderung memiliki peluang salah mengklasifikasikan yang cukup besar, serta menghasilkan jenis kesalahan dengan resiko kesalahan yang cukup besar juga dibandingkan dengan metode semi naive Bayesian lainnya (Tabel 15).
KESIMPULAN DAN SARAN
Kesimpulan
Metode semi naive Bayesian memiliki kemampuan yang lebih baik dalam mengklasifikasikan nilai mutu Ujian Komprehensif mahasiswa Departemen Statistika IPB dibandingkan dengan metode SNB. Hal ini ditunjukkan dengan tingkat kesalahan klasifikasi yang dihasilkan oleh keempat metode semi naive Bayesian lebih kecil dibandingkan dengan SNB.
Meskipun efektif dalam meningkatkan ketepatan klasifikasi dari metode SNB, peningkatan akurasi yang dihasilkan belum tentu merupakan peningkatan akurasi yang paling maksimum.
Penggunaan indeks asosiasi pada metode semi naive Bayesian memiliki komputasi yang lebih sederhana dan lebih cepat dibandingkan penggunaan algoritma, namun tidak memberikan hasil sebaik algoritma BSE, FSS, BSEJ, dan TAN dalam meningkatkan ketepatan prediksi klasifikasi dari SNB.
Metode semi naive Bayesian yang menghasilkan korelasi tinggi antara prediksi nilai mutu Ujian Komprehensif dengan nilai mutu Ujian Komprehensif aktual akan cenderung memiliki tingkat kesalahan klasifikasi yang kecil dengan jenis kesalahan yang dihasilkan memiliki resiko kesalahan yang kecil juga.
Saran
Perlu adanya ukuran data yang cukup besar dan pemenuhan asumsi kebebasan agar tingkat kesalahan klasifikasi dapat diperkecil. Ukuran data yang digunakan sebaiknya lebih besar dari total kemungkinan kombinasi kategori seluruh peubah penjelas.
Sebaiknya dilakukan pengembangan terhadap algoritma BSE, FSS, BSEJ, dan TAN agar penggunaan metode semi naive Bayesian dapat meningkatkan akurasi dugaan klasifikasi SNB secara maksimum.
DAFTAR PUSTAKA
Cerquides J., R. L. de Mantaras. 2003. Tractable Bayesian Learning of Tree Augmented Naive Bayes Classifiers.
Technical Report TR-2003-04.
(http://www.iiia.csic.es/~mantaras/Report IIIA-TR-2003-04-pdf)
[22 Mei 2008]
Dit. AJMP-IPB. 2004. Panduan Program Sarjana. Edisi 2004. IPB Press, Bogor.
Nasoetion A. H., A. Rambe. 1984. Teori Statistika Untuk Ilmu-Ilmu Kuantitatif. Edisi kedua. Bhratara Karya Aksara, Jakarta.
Sartono B. 2007. Pengklasifikasian Kolektibilitas Nasabah Kredit Menggunakan Metode Simple Naïve Bayesian Classifier. Institut Pertanian Bogor, Bogor.
Wikipedia. 2008. Naive Bayes Classifier. (http://en.wikipedia.org/wiki/Naive_bayes _classifier)
[14 Januari 2008]
Zheng F., G. I. Webb. 2005. A Comparative Study of Semi-naive Bayes Methods in Classification Learning. In S.J. Simoff, G.J. Williams, J. Galloway and I. Kolyshkina (Eds.), Proceedings of the Fourth Australasian Data Mining Conference (AusDM05) Sydney, Australia. Sydney: University of Technology, pages 141-156.
Tabel 22 menunjukkan bahwa metode deleting attributes menghsilkan korelasi paling rendah antara prediksi dengan aktual, baik untuk data in-sample maupun out-sample. Bahkan, koefisien korelasi ini tetap yang paling rendah jika dibandingkan dengan koefisien korelasi yang dihasilkan oleh BSE, FSS, BSEJ, dan TAN. Metode deleting attributes juga cenderung memiliki peluang salah mengklasifikasikan yang cukup besar, serta menghasilkan jenis kesalahan dengan resiko kesalahan yang cukup besar juga dibandingkan dengan metode semi naive Bayesian lainnya (Tabel 15).
KESIMPULAN DAN SARAN
Kesimpulan
Metode semi naive Bayesian memiliki kemampuan yang lebih baik dalam mengklasifikasikan nilai mutu Ujian Komprehensif mahasiswa Departemen Statistika IPB dibandingkan dengan metode SNB. Hal ini ditunjukkan dengan tingkat kesalahan klasifikasi yang dihasilkan oleh keempat metode semi naive Bayesian lebih kecil dibandingkan dengan SNB.
Meskipun efektif dalam meningkatkan ketepatan klasifikasi dari metode SNB,