Total Nilai Pemain
4.2 Klasifikasi Menggunakan Data Asli
4.2.3 Metode Support Vector Machine
Dalam melakukan klasifikasi dengan menggunakan metode support vector
machine (SVM) terdapat beberapa jenis kernel yang digunakan dalam mencari
model terbaik. Adapun diantaranya yaitu kernel radial, polynomial, dan sigmoid. Pada pembentukkan model setiap kernel diperlukan nilai parameter terbaik yang memiliki nilai error terkecil. Terdapat dua parameter yang paling berpengaruh secara umum yaitu parameter nilai cost dan nilai gamma. Nilai cost mengatur kompleksitas model dan tingkat kesalahan klasifikasi pada pelatihan model, sedangkan nilai gamma mengatur seberapa besar suatu titik data mewakili wilayah yang ada disekitarnya.
Dengan menggunakan jenis kernel dan nilai parameter yang tepat maka model yang terbentuk akan menghasilkan akurasi data yang baik. Penentuan nilai
cost dan nilai gamma yang akan diuji tergantung pada peneliti dan nilai yang akan
diuji pada penelitian ini untuk nilai cost adalah 0,01; 0,05; 0,1; 0,5; 1; 5; 10; 50, sedangkan untuk nilai gamma adalah 0,1; 0,5; 1; 1,5; 2. berikut perbandingan hasil akurasi model antara ketiga jenis kernel yang diuji:
a. Kernel Radial
Tabel 5. 7 Nilai Error Model Pada Kernel Radial No Cost Gamma Error No Cost Gamma Error
1 0,01 0,1 0,5964 21 1 1 0,2040 2 0,05 0,1 0,5846 22 5 1 0,2064 3 0,1 0,1 0,4963 23 10 1 0,2064 4 0,5 0,1 0,4225 24 50 1 0,2064 5 1 0,1 0,4035 25 0,01 1,5 0,5964 6 5 0,1 0,2966 26 0,05 1,5 0,5964 7 10 0,1 0,2635 27 0,1 1,5 0,5964 8 50 0,1 0,1945 28 0,5 1,5 0,3445 9 0,01 0,5 0,5964 29 1 1,5 0,2302 10 0,05 0,5 0,5964 30 5 1,5 0,2302 11 0,1 0,5 0,5964 31 10 1,5 0,2302 12 0,5 0,5 0,3038 32 50 1,5 0,2302 13 1 0,5 0,1802 33 0,01 2 0,5964 14 5 0,5 0,1874 34 0,05 2 0,5964
38 15 10 0,5 0,1874 35 0,1 2 0,5964 16 50 0,5 0,1874 36 0,5 2 0,3397 17 0,01 1 0,5964 37 1 2 0,2326 18 0,05 1 0,5964 38 5 2 0,2326 19 0,1 1 0,5964 39 10 2 0,2326 20 0,5 1 0,3348 40 50 2 0,2326
Berdasarkan tabel 5.7 didapatkan bahwa nilai cost sebesar 1 dan nilai gamma sebesar 0,5 adalah nilai parameter yang paling optimum untuk model pada kernel
radial dengan tingkat error sebesar 0,1802 atau 18,02%.
best.tune(method = svm, train.x = y ~ ., data = train, ranges = list(cost = c(0.01,0.05,0.1,0.5,1,5,10,50), gamma = c(0.1,0.5,1,1.5,2)),kernel = "radial") Parameters:
SVM-Type: C-classification SVM-Kernel: radial
cost: 1 gamma: 0.5
Number of Support Vectors: 358
Gambar 5. 11 Model Terbaik Support Vector Machine Pada Kernel Radial
Pada gambar 5.10 ditampilkan model terbaik dari support vector machine pada kernel radial dengan menggunakan nilai cost sebesar 1 dan nilai gamma sebesar 0,5. Adapun jumlah support vector yang dihasilkan pada model ini untuk membangun hyperlane adalah sebanyak 358 support vectors.
Tabel 5. 8 Hasil Prediksi Data Testing Kernel Radial
Prediksi Aktual Precision
Menang Seri Kalah
Menang 63 6 4 86,30%
Seri 1 24 0 96,00%
Kalah 10 6 49 75,38%
Sensitivity 85,14% 66,67% 92,45%
Pada tabel 5.8 menampilkan hasil prediksi pada data testing dari model SVM pada kernel radial yang mana pada nilai sensitivity yang memiliki akurasi paling rendah ada pada data kelas hasil seri yang mana nilainya hanya 66,67%, sedangkan untuk nilai precision yang memiliki nilai paling rendah ada pada prediksi hasil kalah yang mana nilainya sebesar 75,38%.
Jika dibandingkan dengan hasil prediksi pada metode random forest sebelumnya, tingkat kelemahan prediksi model sama yaitu sama-sama memiliki kelemahan dalam memprediksi kelas data hasil seri tapi jika dilihat secara umum pada setiap kelas tingkat akurasinya cenderung lebih rendah dibandingkan dengan metode random forest. Adapun rumus untuk mencari total akurasi dari hasil prediksi pada data testing kernel radial adalah sebagai berikut:
Total Akurasi = ∑(prediksi benar) ∑(semua prediksi) = ∑(63+24+49) ∑(63+6+4+1+24+0+10+6+49) = 136 163 = 0,8344
Secara keseluruhan tingkat akurasi dari model support vector machine pada
kernel radial yang sudah terbentuk menggunakan data asli untuk melakukan
klasifikasi pada hasil prediksi data testing adalah sebesar 0,8344 atau 83,44%.
b. Kernel Polynomial
Tabel 5. 9 Nilai Error Model Pada Kernel Polynomial No Cost Gamma Error No Cost Gamma Error
1 0,01 0,1 0,5964 21 1 1 0,1946 2 0,05 0,1 0,5678 22 5 1 0,1993 3 0,1 0,1 0,5346 23 10 1 0,1993 4 0,5 0,1 0,4298 24 50 1 0,1993 5 1 0,1 0,4084 25 0,01 1,5 0,2348 6 5 0,1 0,3203 26 0,05 1,5 0,2206 7 10 0,1 0,3014 27 0,1 1,5 0,2063 8 50 0,1 0,2229 28 0,5 1,5 0,2017 9 0,01 0,5 0,3894 29 1 1,5 0,1993 10 0,05 0,5 0,3179 30 5 1,5 0,1993 11 0,1 0,5 0,2800 31 10 1,5 0,1993 12 0,5 0,5 0,2087 32 50 1,5 0,1993 13 1 0,5 0,2087 33 0,01 2 0,2158 14 5 0,5 0,1946 34 0,05 2 0,2017 15 10 0,5 0,1970 35 0,1 2 0,1899 16 50 0,5 0,1993 36 0,5 2 0,1993 17 0,01 1 0,3014 37 1 2 0,1993 18 0,05 1 0,2229 38 5 2 0,1993 19 0,1 1 0,2087 39 10 2 0,1993 20 0,5 1 0,2018 40 50 2 0,1993
40
Berdasarkan tabel 5.9 didapatkan bahwa nilai cost sebesar 0,1 dan nilai
gamma sebesar 2 adalah nilai parameter yang paling optimum untuk model pada kernel polynomial dengan tingkat error sebesar 0,1899 atau 18,99%. Nilai
parameter ini kemudian akan digunakan pada model yang akan dibuat selanjutnya untuk dilakukan proses klasifikasi. Pada gambar 5.11 ditampilkan model terbaik dari support vector machine pada kernel polynomial dengan menggunakan nilai
cost sebesar 0,1 dan nilai gamma sebesar 2. Adapun jumlah support vector yang
dihasilkan pada model ini untuk membangun hyperlane adalah sebanyak 263
support vectors.
best.tune(method = svm, train.x = y ~ ., data = train, ranges = list(cost = c(0.01,0.05,0.1,0.5,1,5,10,50), gamma = c(0.1,0.5,1,1.5,2)),kernel = "polynomial") Parameters:
SVM-Type: C-classification SVM-Kernel: polynomial
cost: 0.1 gamma: 2
Number of Support Vectors: 263
Gambar 5. 12 Model Terbaik SVM Pada Kernel Polynomial
Setelah didapatkan model optimal pada kernel polynomial ini maka selanjutnya diuji dengan menggunakan data testing untuk melihat seberapa akurat klasifikasi yang dihasilkan oleh model.
Tabel 5. 10 Hasil Prediksi Data Testing Kernel Polynomial
Prediksi Aktual Precision
Menang Seri Kalah
Menang 61 3 8 84,72%
Seri 6 27 2 77,14%
Kalah 7 6 43 76,79%
Sensitivity 82,43% 75,00% 81,13%
Pada tabel 5.10 menampilkan hasil prediksi pada data testing dari model SVM pada kernel polynomial yang mana pada nilai sensitivity yang memiliki akurasi paling rendah ada pada data kelas hasil seri yang mana nilainya hanya 75%, sedangkan untuk nilai precision yang memiliki nilai paling rendah ada pada prediksi hasil kalah yang mana nilainya sebesar 76,79%.
Jika dibandingkan dengan hasil prediksi pada kernel radial sebelumnya, tingkat kelemahan prediksi model sama yaitu sama-sama memiliki kelemahan dalam memprediksi kelas data hasil seri sehingga dari hasil analisis sejauh ini yang sudah didapatkan dapat disimpulkan bahwa ketidakseimbangan jumlah data pada setiap kelas akan mempengaruhi model dalam melakukan klasifikasi dengan akurat. Jika dilihat secara umum kernel polynomial pada setiap kelas tingkat akurasinya cenderung lebih rendah dibandingkan dengan kernel radial. Adapun rumus untuk mencari total akurasi dari hasil prediksi pada data testing adalah sebagai berikut:
Total Akurasi = ∑(prediksi benar) ∑(semua prediksi) = ∑(61+27+43) ∑(61+3+8+6+27+2+7+6+43) = 131 163 = 0,8037
Secara keseluruhan tingkat akurasi dari model support vector machine pada
kernel polynomial yang sudah terbentuk menggunakan data asli untuk melakukan
klasifikasi pada hasil prediksi data testing adalah sebesar 0,8037 atau 80,37%.
c. Kernel Sigmoid
Tabel 5. 11 Nilai Error Model Pada Kernel Sigmoid No Cost Gamma Error No Cost Gamma Error
1 0,01 0,1 0,5964 21 1 1 0,5697 2 0,05 0,1 0,4845 22 5 1 0,5723 3 0,1 0,1 0,4631 23 10 1 0,5747 4 0,5 0,1 0,4915 24 50 1 0,5748 5 1 0,1 0,5011 25 0,01 1,5 0,5202 6 5 0,1 0,5650 26 0,05 1,5 0,5011 7 10 0,1 0,5627 27 0,1 1,5 0,5484 8 50 0,1 0,5888 28 0,5 1,5 0,5864 9 0,01 0,5 0,5584 29 1 1,5 0,5839 10 0,05 0,5 0,4798 30 5 1,5 0,6056 11 0,1 0,5 0,5131 31 10 1,5 0,5841 12 0,5 0,5 0,5820 32 50 1,5 0,5700 13 1 0,5 0,5794 33 0,01 2 0,5226 14 5 0,5 0,5939 34 0,05 2 0,4868 15 10 0,5 0,6011 35 0,1 2 0,5415 16 50 0,5 0,5914 36 0,5 2 0,5841 17 0,01 1 0,5346 37 1 2 0,6008 18 0,05 1 0,4726 38 5 2 0,5746 19 0,1 1 0,5342 39 10 2 0,5699 20 0,5 1 0,5747 40 50 2 0,5841
42
Berdasarkan tabel 5.11 didapatkan bahwa nilai cost sebesar 0,1 dan nilai
gamma sebesar 0,1 adalah nilai parameter yang paling optimum untuk model pada kernel sigmoid dengan tingkat error sebesar 0,4631 atau 46,31%. Nilai parameter
ini kemudian akan digunakan pada model yang akan dibuat selanjutnya untuk dilakukan proses klasifikasi. Pada gambar 5.12 ditampilkan model terbaik dari
support vector machine pada kernel polynomial dengan menggunakan nilai cost
sebesar 0,1 dan nilai gamma sebesar 0,1. Adapun jumlah support vector yang dihasilkan pada model ini untuk membangun hyperlane adalah sebanyak 378
support vectors.
best.tune(method = svm, train.x = y ~ ., data = train, ranges = list(cost = c(0.01,0.05,0.1,0.5,1,5,10,50), gamma = c(0.1,0.5,1,1.5,2)),kernel = "sigmoid") Parameters:
SVM-Type: C-classification SVM-Kernel: sigmoid
cost: 0.1 gamma: 0.1
Number of Support Vectors: 378
Gambar 5. 13 Model Terbaik Support Vector Machine Pada Kernel Sigmoid
Setelah didapatkan model optimal pada kernel sigmoid ini maka selanjutnya diuji dengan menggunakan data testing untuk melihat seberapa akurat klasifikasi yang dihasilkan oleh model.
Tabel 5. 12 Hasil Prediksi Data Testing Kernel Sigmoid
Prediksi Aktual Precision
Menang Seri Kalah
Menang 49 14 15 62,82%
Seri 0 0 0 0%
Kalah 25 22 38 44,71%
Sensitivity 66,22% 0% 71,70%
Pada tabel 5.12 menampilkan hasil prediksi pada data testing dari model SVM pada kernel sigmoid yang mana pada nilai sensitivity yang memiliki akurasi paling rendah ada pada data kelas hasil seri yang mana nilainya 0%, sama halnya untuk nilai precision yang memiliki nilai paling rendah ada pada prediksi hasil kalah yang mana nilainya juga 0%. Hal ini menyatakan bahwa kernel sigmoid tidak mampu
melakukan klasifikasi pada kelas data hasil seri. Adapun rumus untuk mencari total akurasi dari hasil prediksi pada data testing kernel sigmoid adalah sebagai berikut:
Total Akurasi = ∑(prediksi benar) ∑(semua prediksi) = ∑(49+0+38)
∑(49+14+15+0+0+0+25+22+38) = 87
163 = 0,5337
Secara keseluruhan tingkat akurasi dari model support vector machine pada
kernel sigmoid yang sudah terbentuk menggunakan data asli untuk melakukan
klasifikasi pada hasil prediksi data testing adalah sebesar 0,5337 atau 53,37%.