BAB IV. HASIL PENELITIAN DAN ANALISIS
4.6 P ENGUJIAN DAN E VALUASI
4.6.1 Pengujian dengan model One vs One
Pengujian ini menggunakan 1001 data citra yang akan dibagi menggunkan k-fold cross validation dengan k =3 dan k=5.
a. Pengujian Non Thinning dan Ukuran Asli
Hasil pengujian dengan Non Thinning dan Ukuran Asli adalah sebagai berikut:
Tabel 4.1 Hasil Akurasi pengujian non thinning dan ukuran asli 3 fold
Tahap pengujian 3-fold
Akurasi (%)
Non Thining dan Ukuran Asli One vs One
Gaussian Linear Polynomial
Tahap 1 57,66 73,87 68,7
Tahap 2 61,56 69,07 65,17
Tahap 3 60,3 70,15 67,76
rata-rata akurasi 59,84 71,03 67,21
Pada Tabel 4.1, menggunakan data 3 fold cross validation, akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 61,56%, dengan kernel Linear sebesar 73,87%, dengan kernel Polynomial sebesar 68,7%.
Tabel 4.2 Hasil Akurasi pengujian non thinning dan ukuran asli 5 fold
Tahap pengujian 5-fold
Akurasi (%)
Non Thining dan Ukuran Asli One vs One
Gaussian Linear Polynomial
Tahap 1 57,5 73 71
Tahap 2 59,5 71,5 70,5
Tahap 3 61,5 73 71
Tahap 4 63,5 73 70,5
Tahap 5 59,2 69,1 68,66
rata-rata akurasi 60,24 71,92 70,332
Pada Tabel 4.2, menggunakan data 5 fold cross validation, akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 63,5%, dengan kernel Linear sebesar 73%, dengan kernel Polynomial sebesar 71%.
b. Pengujian Thinning dan Ukuran Asli
Hasil pengujian dengan Thinning dan Ukuran Asli adalah sebagai berikut:
Tabel 4.3 Hasil Akurasi pengujian thinning dan ukuran asli 3 fold
Tahap pengujian 3-fold
Akurasi (%) Thining dan Ukuran Asli
One vs One
Gaussian Linear Polynomial
Tahap 1 70,57 81,08 74,77
Tahap 2 69,97 83,48 80,48
Tahap 3 66,57 79,7 81,79
rata-rata akurasi 69,03667 81,42 79,0133333 Pada Tabel 4.3, menggunakan data 3 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 70,57%, dengan kernel Linear sebesar 83,48%, dengan kernel Polynomial sebesar 81,79%.
Tabel 4.4 Hasil Akurasi pengujian thinning dan ukuran asli 5 fold
Tahap pengujian 5-fold
Akurasi (%) Thining dan Ukuran Asli
One vs One
Gaussian Linear Polynomial
Tahap 1 76,5 80,5 79,5
Tahap 2 73,5 78 78,5
Tahap 3 79 86 85
Tahap 4 72,5 82,5 81
Tahap 5 69,65 76,12 80,5
rata-rata akurasi 74,23 80,624 80,9
Pada Tabel 4.4, menggunakan data 5 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 79%, dengan kernel Linear sebesar 86%, dengan kernel Polynomial sebesar 85%.
c. Pengujian Non Thinning dan Resize 50x50
Hasil pengujian dengan Non Thinning dan Resize 50x50 adalah sebagai berikut:
Tabel 4.5 Hasil Akurasi pengujian Non Thinning dan Resize 50x50 3 fold
Tahap pengujian 3-fold
Akurasi (%)
Non Thinning dan resize 50x50 One vs One
Gaussian Linear Polynomial
Tahap 1 50,75 75,38 69,67
Tahap 2 57,96 75,98 77,18
Tahap 3 62,39 76,41 70,45
rata-rata akurasi 57,03333 75,92333 72,4333333 Pada Tabel 4.5, menggunakan data 3 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 62,39%, dengan kernel Linear sebesar 76,41%, dengan kernel Polynomial sebesar 77,18%.
Tabel 4.6 Hasil Akurasi pengujian Non Thinning dan Resize 50x50 5 fold
Tahap pengujian 5-fold
Akurasi (%)
Non Thinning dan resize 50x50 One vs One
Gaussian Linear Polynomial
Tahap 1 57,5 76,5 72
Tahap 2 53,5 79 73,5
Tahap 3 64,5 79,5 78,5
Tahap 4 68 77 71,5
Tahap 5 60,71 75,12 73,63
rata-rata akurasi 60,842 77,424 73,826
Pada Tabel 4.6, menggunakan data 5 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 68%, dengan kernel Linear sebesar 79,5%, dengan kernel Polynomial sebesar 78,5%.
d. Pengujian Thinning dan Resize 50x50
Hasil pengujian dengan Thinning dan Resize 50x50 adalah sebagai berikut:
Tabel 4.7 Hasil Akurasi pengujian Thinning dan Resize 50x50 3 fold
Tahap pengujian 3-fold
Akurasi (%)
Thinning dan resize 50x50 One vs One
Gaussian Linear Polynomial
Tahap 1 67,28 80,18 78,38
Tahap 2 67,87 83,18 76,28
Tahap 3 67,16 81,8 80,3
rata-rata akurasi 67,43667 81,72 78,32
Pada Tabel 4.7, menggunakan data 3 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 67,87%, dengan kernel Linear sebesar 83,18%, dengan kernel Polynomial sebesar 80,3%.
Tabel 4.8 Hasil Akurasi pengujian Thinning dan Resize 50x50 5 fold
Tahap pengujian 5-fold
Akurasi (%)
Thinning dan resize 50x50 One vs One
Gaussian Linear Polynomial
Tahap 1 69 82 81
Tahap 2 66,5 80,5 77,5
Tahap 3 73 84,5 79
Tahap 4 71,5 83,5 76
Tahap 5 65,67 81,1 79,6
rata-rata akurasi 69,134 82,32 78,62
Pada Tabel 4.8, menggunakan data 5 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 73%, dengan kernel Linear sebesar 84,5%, dengan kernel Polynomial sebesar 81%.
e. Pengujian Non Thinning dan Resize 70x70
Hasil pengujian dengan Non Thinning dan Resize 70x70 adalah sebagai berikut:
Tabel 4.9 Hasil Akurasi pengujian Non Thinning dan Resize 70x70 3 fold
Tahap pengujian 3-fold
Akurasi (%)
Non Thinning dan resize 70x70 One vs One
Gaussian Linear Polynomial
Tahap 1 51,95 76,28 67,58
Tahap 2 57,97 74,77 75,98
Tahap 3 62,69 76,72 70,45
rata-rata akurasi 57,53667 75,92333 71,3366667 Pada Tabel 4.9, menggunakan data 3 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 62,69%, dengan kernel Linear sebesar 76,72%, dengan kernel Polynomial sebesar 75,98%.
Tabel 4.10 Hasil Akurasi pengujian Non Thinning dan Resize 70x70 5 fold
Tahap pengujian 5-fold
Akurasi (%)
Non Thinning dan resize 70x70 One vs One
Gaussian Linear Polynomial
Tahap 1 55 79 74
Tahap 2 54 76 71
Tahap 3 63,5 79 80,5
Tahap 4 65,5 76,5 77
Tahap 5 61,69 75,62 71,64
rata-rata akurasi 59,938 77,224 74,828
Pada Tabel 4.10, menggunakan data 5 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 65,5%, dengan kernel Linear sebesar 79%, dengan kernel Polynomial sebesar 80,5%.
f. Pengujian Thinning dan Resize 70x70
Hasil pengujian dengan Thinning dan Resize 70x70 adalah sebagai berikut:
Tabel 4.11 Hasil Akurasi pengujian Thinning dan Resize 70x70 3 fold
Tahap pengujian 3-fold
Akurasi (%)
Thinning dan resize 70x70 One vs One
Gaussian Linear Polynomial
Tahap 1 66,67 80,48 74,17
Tahap 2 64,86 79,88 73,87
Tahap 3 68,36 79,11 78,51
rata-rata akurasi 66,63 79,82333 75,5166667 Pada Tabel 4.11, menggunakan data 3 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 68,36%, dengan kernel Linear sebesar 80,48%, dengan kernel Polynomial sebesar 78,51%.
Tabel 4.12 Hasil Akurasi pengujian Thinning dan Resize 70x70 5 fold
Tahap pengujian 5-fold
Akurasi (%)
Thinning dan resize 70x70 One vs One
Gaussian Linear Polynomial
Tahap 1 70,5 80,5 75
Tahap 2 68 80,5 79
Tahap 3 72 83,5 79,5
Tahap 4 70,5 80,5 78,5
Tahap 5 67,66 79,6 79,6
rata-rata akurasi 69,732 80,92 78,32
Pada Tabel 4.12, menggunakan data 5 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 72%, dengan kernel Linear sebesar 83,5%, dengan kernel Polynomial sebesar 79,6%.
4.6.2. Pengujian dengan model One vs One
Pengujian ini menggunakan 1001 data citra yang akan dibagi menggunkan k-fold cross validation dengan k =3 dan k=5.
a. Pengujian Non Thinning dan Ukuran Asli
Hasil pengujian dengan Non Thinning dan Ukuran Asli adalah sebagai berikut:
Tabel 4.13 Hasil Akurasi pengujian Non Thinning dan Ukuran Asli 3 fold
Tahap pengujian 3-fold
Akurasi (%)
Non Thining dan Ukuran Asli One vs All
Gaussian Linear Polynomial
Tahap 1 68,47 63,1 69,1
Tahap 2 64,26 60,36 64,26
Tahap 3 62,67 59,7 65,97
rata-rata akurasi 65,13333 61,053333 66,4433333 Pada Tabel 4.13, menggunakan data 3 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 68,47%, dengan kernel Linear sebesar 63,1%, dengan kernel Polynomial sebesar 69,1%.
Tabel 4.14 Hasil Akurasi pengujian Non Thinning dan Ukuran Asli 5 fold
Tahap pengujian 5-fold
Akurasi (%)
Non Thining dan Ukuran Asli One vs All
Gaussian Linear Polynomial
Tahap 1 65,5 65,5 69,5
Tahap 2 69,5 59,5 71,5
Tahap 3 70,5 60,5 78
Tahap 4 67,5 59,5 73
Tahap 5 63,18 58,2 56,72
rata-rata akurasi 67,236 60,64 69,744
Pada Tabel 4.14, menggunakan data 5 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 70,5%, dengan kernel Linear sebesar 65,5%, dengan kernel Polynomial sebesar 78%.
b. Pengujian Thinning dan Ukuran Asli
Hasil pengujian dengan Thinning dan Ukuran Asli adalah sebagai berikut:
Tabel 4.15 Hasil Akurasi pengujian Thinning dan Ukuran Asli 3 fold
Tahap pengujian 3-fold
Akurasi (%) Thining dan Ukuran Asli
One vs All
Gaussian Linear Polynomial
Tahap 1 71,77 66,37 77,78
Tahap 2 72,97 69,97 77,48
Tahap 3 71,05 70,44 77,61
rata-rata akurasi 71,93 68,926667 77,6233333
Pada Tabel 4.15, menggunakan data 3 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 72,97%, dengan kernel Linear sebesar 70,44%, dengan kernel Polynomial sebesar 77,78%.
Tabel 4.16 Hasil Akurasi pengujian Thinning dan Ukuran Asli 5 fold
Tahap pengujian 5-fold
Akurasi (%) Thining dan Ukuran Asli
One vs All
Gaussian Linear Polynomial
Tahap 1 72,5 66,5 79,5
Tahap 2 77 74 78,5
Tahap 3 77 71,5 80,5
Tahap 4 71,5 62,5 82
Tahap 5 72,64 69,15 76,6
rata-rata akurasi 74,128 68,73 79,42
Pada Tabel 4.16, menggunakan data 5 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 77%, dengan kernel Linear sebesar 74%, dengan kernel Polynomial sebesar 80,5%.
c. Pengujian Non Thinning dan Resize 50x50
Hasil pengujian dengan Non Thinning dan Resize 50x50 adalah sebagai berikut:
Tabel 4.17 Hasil Akurasi pengujian Non Thinning dan Resize 50x50 3 fold
Tahap pengujian 3-fold
Akurasi (%)
Non Thinning dan resize 50x50 One vs All
Gaussian Linear Polynomial
Tahap 1 72,67 67,57 65,47
Tahap 2 73,87 63,36 71,78
Tahap 3 73,73 58,51 73,73
rata-rata akurasi 73,42333 63,146667 70,3266667
Pada Tabel 4.17, menggunakan data 3 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 73,87%, dengan kernel Linear sebesar 67,57%, dengan kernel Polynomial sebesar 73,73%.
Tabel 4.18 Hasil Akurasi pengujian Non Thinning dan Resize 50x50 5 fold
Tahap pengujian 5-fold
Akurasi (%)
Non Thinning dan resize 50x50 One vs All
Gaussian Linear Polynomial
Tahap 1 74 66 66,5
Tahap 2 74,5 67,5 73,5
Tahap 3 75 66,5 73
Tahap 4 80 65 75
Tahap 5 73,1 62,67 72,64
rata-rata akurasi 75,32 65,534 72,128
Pada Tabel 4.18, menggunakan data 5 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 80%, dengan kernel Linear sebesar 67,5%, dengan kernel Polynomial sebesar 75%.
d. Pengujian Thinning dan Resize 50x50
Hasil pengujian dengan Thinning dan Resize 50x50 adalah sebagai berikut:
Tabel 4.19 Hasil Akurasi pengujian Thinning dan Resize 50x50 3 fold
Tahap pengujian 3-fold
Akurasi (%)
Thinning dan resize 50x50 One vs All
Gaussian Linear Polynomial
Tahap 1 74,17 64,56 74,77
Tahap 2 72,37 68,47 75,38
Tahap 3 69,55 64,48 75,52
rata-rata akurasi 72,03 65,836667 75,2233333
Pada Tabel 4.19, menggunakan data 3 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 74,17%, dengan kernel Linear sebesar 68,47%, dengan kernel Polynomial sebesar 75,52%.
Tabel 4.20 Hasil Akurasi pengujian Thinning dan Resize 50x50 5 fold
Tahap pengujian 5-fold
Akurasi (%)
Thinning dan resize 50x50 One vs All
Gaussian Linear Polynomial
Tahap 1 75 65,5 78
Tahap 2 74,5 66 75
Tahap 3 78,5 69,5 80
Tahap 4 73 66,5 84,5
Tahap 5 69,15 65,67 75,12
rata-rata akurasi 74,03 66,634 78,524
Pada Tabel 4.20, menggunakan data 5 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 78,5%, dengan kernel Linear sebesar 69,5%, dengan kernel Polynomial sebesar 84,5%.
e. Pengujian Non Thinning dan Resize 70x70
Hasil pengujian dengan Non Thinning dan Resize 70x70 adalah sebagai berikut:
Tabel 4.21 Hasil Akurasi pengujian Non Thinning dan Resize 70x70 3 fold
Tahap pengujian 3-fold
Akurasi (%)
Non Thinning dan resize 70x70 One vs All
Gaussian Linear Polynomial
Tahap 1 71,17 68,77 68,47
Tahap 2 75,38 65,47 73,27
Tahap 3 72,53 61,8 74,93
rata-rata akurasi 73,02667 65,346667 72,2233333
Pada Tabel 4.21, menggunakan data 3 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 75,38%, dengan kernel Linear sebesar 68,77%, dengan kernel Polynomial sebesar 74,93%.
Tabel 4.22 Hasil Akurasi pengujian Non Thinning dan Resize 70x70 5 fold
Tahap pengujian 5-fold
Akurasi (%)
Non Thinning dan resize 70x70 One vs All
Gaussian Linear Polynomial
Tahap 1 72 64 68
Tahap 2 75 68,5 74
Tahap 3 77 69,5 81
Tahap 4 77 67,5 77,5
Tahap 5 68,16 61,69 75,12
rata-rata akurasi 73,832 66,238 75,124
Pada Tabel 4.22, menggunakan data 5 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 77%, dengan kernel Linear sebesar 69,5%, dengan kernel Polynomial sebesar 81%.
f. Pengujian Thinning dan Resize 70x70
Hasil pengujian dengan Thinning dan Resize 70x70 adalah sebagai berikut:
Tabel 4.23 Hasil Akurasi pengujian Thinning dan Resize 70x70 3 fold
Tahap pengujian 3-fold
Akurasi (%)
Thinning dan resize 70x70 One vs All
Gaussian Linear Polynomial
Tahap 1 73,87 69,37 77,48
Tahap 2 73,87 63,06 79,58
Tahap 3 68,66 59,71 75,52
rata-rata akurasi 72,13333 64,046667 77,5266667
Pada Tabel 4.23, menggunakan data 3 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 73,87%, dengan kernel Linear sebesar 69,37%, dengan kernel Polynomial sebesar 79,58%.
Tabel 4.24 Hasil Akurasi pengujian Thinning dan Resize 70x70 5 fold
Tahap pengujian 5-fold
Akurasi (%)
Thinning dan resize 70x70 One vs All
Gaussian Linear Polynomial
Tahap 1 75,5 69 78
Tahap 2 73,5 67 75,5
Tahap 3 78,5 71,5 83
Tahap 4 70 65 84,5
Tahap 5 69,65 58,2 74,63
rata-rata akurasi 73,43 66,14 79,126
Pada Tabel 4.24, menggunakan data 5 fold cross validation, Akurasi tertinggi dari pengujian terhadap citra dengan kernel Gaussian sebesar 78,5%, dengan kernel Linear sebesar 71,5%, dengan kernel Polynomial sebesar 84,5%.
Dari data hasil pengujian yang dilakukan diatas menggunakan citra aksara bali, didapatkan hasil pengujian yang cukup baik. Pengujian data One vs One mendapatkan akurasi tertinggi sebesar 86% dengan kernel SVM Linear, kombinasi preprocessing thinning dan ukuran citra asli serta menggunakan 5-fold cross validation. Sedangkan untuk pengujian data One vs All mendapatkan akurasi tertinggi sebesar 84,5%
dengan kernel SVM Polynomial, kombinasi preprocessing thinning dan resize ukuran citra menjadi 50x50 atau 70x70 serta menggunakan 5-fold cross validation.
Tabel 4.25 merupakan rata-rata akurasi yang dilakukan dari semua skenario pengujian yang telah dilakukan.
Tabel 4.25 Hasil Pengujian Keseluruhan Model
SVM Kernel Ukuran
citra
Thin
ning k-fold akurasi rata-rata (%)
Model
SVM Kernel Ukuran
citra
Thin
ning k-fold akurasi rata-rata (%)
Model
SVM Kernel Ukuran
citra
Thin
ning k-fold akurasi rata-rata (%)
Sedangkan untuk rata-rata akurasi tertinggi dari pengujian data One Vs One sebesar 82,32% dengan kernel SVM Linear, kombinasi preprocessing thinning dan resize ukuran citra menjadi 50x50 serta menggunakan 5-fold cross validaiton. Sedangkan rata-rata akurasi tertinggi dari pengujian data One Vs All sebesar 79,42% dengan kernel SVM Polynomial, kombinasi preprocessing thinning dan resize ukuran citra menjadi 50x50 serta menggunakan 5-fold cross validaiton. Hal ini sejalan dengan penelitian yang dilakukan oleh Safrizal, Arnia, dan Muharar (2019) dimana mereka berhasil melakukan klasifikasi pada aksara jawi tulisan tangan dengan menggunakan ciri FCC dan SVM mendapatkan akurasi sebesar 80%.
SVM merupakan metode dengan sistem pembelajaran yang menggunakan ruang hipotesa berupa fungsi-fungsi linear. Konsep klasifikasi dengan SVM adalah usaha untuk mencari hyperplane terbaik untuk memisahkan 2 buah kelas pada ruang input dimana hyperplane yang merupakan pemisah terbaik antar 2 kelas dengan mengukur margin hyperplane dan mencari titik maksimalnya.
Berikutnya akan dilakukan pengujian dengan skenario terbaik dari model one vs one dan one vs all terhadap citra yang dikenai dengan reduksi derau.
Gambar 4.18 Grafik akurasi pengujian dengan reduksi derau
Pada percobaan dengan menggunakan reduksi derau terhadap citra dan menggunakan 2 model SVM menunjukan bahwa skenario thinning, ukuran asli, kernel polynomial dan one vs all merupakan skenario yang memiliki rata-rata akurasi tertinggi yaitu 83,72%. Hasil tersebut lebih tinggi jika dibandingkan dengan percobaan sebelumnya tanpa menggunakan reduksi derau yang mendapatkan rata-rata akurasi sebesar 82,32%. Reduksi derau terbukti dapat meningkatkan nilai akurasi dari citra karena dapat membuat citra yang digunakan dalam proses pengujian menjadi lebih bersih lagi.
Selanjutnya, kombinasi skenario yang memberikan rata-rata akurasi tertinggi diujikan kembali dengan ekstraksi ciri yang digunakan hanya sebanyak 7 ciri yaitu 7 nilai moment invariantnya saja.
Tahap
85.5 82 87.5 85.5 78.11 83.722 Akurasi (%)
Thinning dan resize 50x50 One vs One
Linear
83.5 77.5 84 89.5 82.09 83.318 7072
Gambar 4.19 Grafik Akurasi pengujian dengan 7 ciri dan model SVM one vs all
Pada Gambar 4.19, dengan menggunakan 5-fold cross validation, citra dikenai proses thinning, reduksi derau, dan ukuran asli citra, serta menggunakan kernel polynomial menunjukkan bahwa akurasi tertinggi yang didapatkan adalah 69% dengan rata-rata akurasi adalah 65.74%.
Hal tersebut menunjukan bahwa pengujian dengan menggunakan 9 ciri yaitu 7 nilai moment invariant dan ukuran asli dari citra mampu memberikan nilai akurasi yang lebih tinggi. Hal itu disebabkan karena semakin banyak ciri yang digunakan dapat meningkatkan nilai akurasi yang didapatkan. Hal ini sejalan dengan penelitian dari Yulianti, Wijaya, dan Bimantoro (2019) dimana persentase akurasi pengujian mereka meningkat dari 77.16% dengan 7 ciri, meningkat menjadi 92.53% dengan 112 ciri.
Berikut adalah confusion matrix dari hasil pengujian SVM. Tabel 4.26 merupakan confusion matrix untuk hasil pengujian yang memberikan akurasi tertinggi dengan pemodelan One vs One, kernel linear, dan menggunakan thinning, resize 50x50, reduksi derau serta
66
Tahap 1 Tahap 2 Tahap 3 Tahap 4 Tahap 5 rata-rata akurasi Akurasi (%) Thining dan Ukuran Asli One vs All Polynomial
menggunakan 5-fold cross validation data uji ke-4. Rincian label dari kelas 1 sampai 18 yang digunakan dalam confusion matrix pada Tabel 4.26 dapat dilihat pada Tabel 3.1. Akurasi dari confustion matrix pada Tabel 4.26 dihitung menggunakan rumus (2.31) dan didapatkan akurasi sebesar 89,5%. Dapat dilihat bahwa kesalahan terbesar terjadi pada data kelas 13 yaitu huruf ‘Wa’, dimana memiliki kesalahan sejumlah 3 data dari 8 data uji yang dimiliki aksara kelas 13. Dimana 3 data kelas 13 terprediksi sebagai data kelas 5. Hal ini dapat disebabkan oleh kemiripan dari ketiga data citra tersebut. Sedangkan Tabel 4.27 merupakan confusion matrix untuk hasil pengujian yang memberikan akurasi tertinggi dengan pemodelan One vs All, kernel Polynomial, dan menggunakan thinning, ukuran asli, reduksi derau serta menggunakan 5-fold cross validation data uji ke-3. Akurasi dari confustion matrix pada Tabel 4.27 dihitung menggunakan rumus (2.30) dan didapatkan akurasi sebesar 87,5%. Dapat dilihat bahwa kesalahan terbesar terjadi pada data kelas 5 yaitu huruf ‘Ma’. Dimana kelas 5 memiliki kesalahan sejumlah 6 data. Dimana 5 data kelas 5 terprediksi sebagai data kelas 4 dan 1 data kelas 5 terprediksi sebagai data kelas 3. Hal ini dapat disebabkan oleh
kemiripan dari ketiga data citra tersebut.
Tabel 4.26 Confusion Matrix hasil klasifikasi pemodelan One Vs One dengan kernel Linear 5 Fold data uji ke-4
Target Class
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
Output Class
1 5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 1 10 0 0 0 3 0 0 0 0 1 0 0 0 0 0 0 0 3 0 0 9 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4 0 0 0 9 1 0 0 0 0 0 0 0 0 0 0 0 0 0 5 0 0 0 3 13 0 0 0 0 0 0 1 3 0 0 0 0 0 6 0 0 0 0 0 4 0 0 0 0 0 0 0 0 0 0 0 0 7 0 0 0 0 0 0 6 0 0 0 0 0 0 0 0 0 0 0 8 0 0 0 0 0 0 0 13 0 0 0 0 0 0 0 0 0 0 9 0 0 0 0 0 0 0 0 23 0 0 0 0 0 0 0 0 0 10 0 0 0 0 0 0 0 0 1 10 0 0 0 0 0 0 0 0 11 0 0 0 0 0 0 0 0 0 0 20 0 0 0 0 0 0 0 12 0 0 0 0 0 0 0 0 0 0 1 3 0 0 0 0 0 0 13 0 0 0 0 1 0 0 0 0 0 0 0 5 0 0 0 0 0 14 0 0 0 0 0 0 0 0 0 0 0 0 0 18 0 0 0 0 15 0 0 0 0 0 0 0 0 0 0 0 0 0 0 14 1 0 0 16 0 0 0 0 0 0 0 3 0 0 0 0 0 0 0 6 0 0 17 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7 0 18 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4
Keterangan:
= Aksara Dikenali Benar = Aksara Dikenali Salah
Tabel 4.27 Confusion Matrix hasil klasifikasi pemodelan One Vs All dengan kernel Polynomial 5 Fold data uji ke-3
Target Class
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
Output Class
1 3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 2 1 8 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 3 0 0 6 0 1 0 0 0 0 0 0 0 2 0 0 0 0 0 4 2 0 1 13 5 0 0 0 0 0 0 0 1 0 0 0 0 0 5 0 0 1 0 9 0 0 0 0 0 0 0 1 0 0 0 0 0 6 0 1 0 0 0 7 0 1 0 0 0 0 0 0 0 0 0 0 7 0 0 0 0 0 0 5 0 0 0 0 0 0 0 0 0 0 0 8 0 0 0 0 0 0 0 15 0 0 0 0 0 0 0 0 0 0 9 0 0 0 0 0 0 0 0 24 1 0 0 0 0 0 0 0 0 10 0 0 0 0 0 0 0 0 0 9 0 0 0 0 0 0 0 0 11 0 1 0 0 0 0 0 0 0 0 22 0 0 0 0 1 0 0 12 0 0 0 0 0 0 0 0 0 0 0 4 0 0 0 0 0 0 13 0 0 1 0 0 0 0 0 0 0 0 0 4 0 0 0 0 0 14 0 0 0 0 0 0 0 0 0 0 0 0 0 17 0 2 0 0 15 0 0 0 0 0 0 0 0 0 0 0 0 0 1 14 0 0 0 16 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4 0 0 17 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 7 0 18 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 4
Keterangan:
= Aksara Dikenali Benar
= Aksara Dikenali Salah
Berdasarkan hasil pengujian di atas, skenario pengujian yang memberikan akurasi terbaik akan diambil dan digunakan untuk melakukan uji data tunggal. Model SVM yang digunakan adalah One vs One dengan kernel linear, menggunakan data uji ke 4 dari 5-fold cross validation. Citra juga akan di thinning, reduksi derau dan melakukan resize citra menjadi 50x50. Proses pengujian uji data tunggal menggunakan GUI yang didalamnya sudah dilengkapi dengan semua skenario pengujian yang diperlukan untuk melakukan uji data tunggal. GUI untuk uji data tunggal terdapat pada Gambar 4.20.
Gambar 4.20 Hasil uji klasifikasi dengan data tunggal.
Langkah pertama yang dilakukan adalah klik tombol open image untuk memilih citra yang ingin diklasifikasikan. Citra yang dipilih user akan ditampilkan pada GUI oleh sistem. Langkah kedua adalah klik tombol preprocessing, maka citra yang sudah diinputkan sebelumnya akan memasuki proses preprocessing yang nanti hasilnya juga akan ditampilkan kembali pada GUI. Langkah ketiga adalah dengan mengklik tombol klasifikasi, maka, citra hasil preprocessing akan melalui proses ekstraksi
ciri dengan moment invariant terlebih dahulu kemudian proses berlanjut pada proses klasifikasi dengan model SVM One Vs One dan kernel Linear.
Kemudian hasil klasifikasi akan ditampilkan pada panel hasil klasifikasi pada GUI. Sistem mulai melakukan pencatatan waktu ketika sistem akan memasuki proses klasifikasi dan berakhir ketika hasil prediksi label data yang diujikan telah diperoleh. Pada Gambar 4.20, citra inputan berupa citra dengan label C52 yaitu Mangkan dan sistem mengklasifikasikan citra input sebagai citra aksara Mangkan. Berikut merupakan hasil uji data tunggal untuk ke 18 label dapat dilihat pada Tabel 4.28.
Tabel 4.28 Hasil Uji Data Tunggal
No Citra Aksara Bali Label Citra Label Prediksi Citra Status Waktu(Detik)
1 Ha Ha F 0.73
2 Ta Ta T 0.73
3 Ba Ba T 0,74
4 Sa Sa T 0,74
5 Ma Ma T 0,85
6 Ka Ta T 0,72
7 Nga Na F 0,72
8 Koma Koma T 0,73
9 Ulu Ulu T 0,74
No Citra Aksara Bali Label Citra Label Prediksi Citra Status Waktu(Detik)
10 Tedong Tedong T 0,72
11 Na Na T 0,74
12 Da Da T 0,83
13 Wa Wa T 0,75
14 Taleng Ya T 0,75
15 Ra Ra T 0,71
16 Ya Ya F 0,73
17 Suku Ba T 0,74
18 Mangkan Mangkan T 0,76
Dari hasil pengujian data tunggal, 14 dari 18 citra terprediksi benar sesuai dengan kelasnya. Sehingga akurasi yang didapatkan adalah sebesar:
𝐴𝑘𝑢𝑟𝑎𝑠𝑖 = 14
18 𝑥 100% = 77,78%
Dengan waktu rata-rata yang dibutuhkan untuk mengklasifkasikan data tunggal adalah 0,73 detik.
Dari seluruh pengujian yang telah dilakukan, pengujian yang dilakukan dengan kombinasi preprocessing antara ukuran citra dan
thinning menunjukkan bahwa pengujian yang dilakukan dengan melakukan thinning mampu memberikan akurasi yang lebih tinggi dibandingkan dengan yang tidak dikenai thinning. Sementara, pengujian akurasi citra dengan ukuran asli lebih banyak yang memiliki akurasi lebih tinggi jika dibandingkan dengan pengujian yang dikenai proses resize. Hal ini terjadi karena ukuran asli citra berkisar pada ukuran 40x45 pixel sehingga resize menjadi 50x50 tidak memberikan perubahan hasil akurasi yang signifikan.
Pengujian dengan 2 nilai k dari k-fold cross validation yaitu k=3 dan k=5, menunjukan bahwa pengujian menggunakan k=5 mampu memberikan nilai akurasi yang lebih tinggi dikarenakan 5-fold cross validation memiliki data training yang lebih banyak dibandingkan dengan 3-fold cross validation sehingga nilai akurasi yang didapatkan dapat meningkat.
Pengujian pada kernel SVM menunjukan bahwa kernel polynomial mampu memberikan rata-rata akurasi tertinggi sebesar 83,72%, sedangkan kernel Gaussian memberikan rata-rata akurasi tertinggi sebesar 75,32%, kemudian untuk kernel linear memberikan rata-rata akurasi tertinggi sebesar 83,32%. Hal ini menunjukan bahwa kernel yang terbaik untuk klasifikasi aksara bali adalah kernel polynomial dimana citra data aksara bali dapat dipisahkan secara polynomial.
Pengujian pada model SVM menunjukan bahwa model One Vs One mampu memberikan rata-rata akurasi terbesar adalah 83,32% dan model One Vs All mampu memberikan rata-rata akurasi terbesar adalah 83,72%.
Sehingga pemodelan One vs all merupakan model SVM yang paling optimal pada penelitian ini.
BAB V.
KESIMPULAN DAN SARAN
5.1. Kesimpulan
Berdasarkan hasil penelitian klasifikasi citra aksara Bali dengan ciri Moment Invariant dan metode Support Vector Machine, disimpulkan bahwa:
1. Hasil akurasi paling optimal adalah pengujian dengan 5-fold cross validation, citra dikenai proses thinning, reduksi derau dan ukuran citra asli, dan dengan model SVM One vs All serta kernel Poluynomial mendapatkan akurasi tertinggi sebesar 83,72%. Dengan melihat nilai rata-rata akurasi proses pengujian, sistem yang dibangun menggunakan ciri moment invariant dan klasifikasi support vector machine dapat mengklasifikasikan citra aksara Bali dengan cukup baik.
2. Pengujian dengan 3 kernel SVM yaitu Linear, Polynomial, dan Gaussian menunjukan bahwa hasil paling optimal didapatkan menggunakan kernel polynomial hal ini disebabkan oleh pesebaran data dari citra aksara bali memiliki persebaran data yang dapat dipisahkan secara polynomial.
3. Pengujian dengan 5-fold menghasilkan rata-rata akurasi yang lebih tinggi dibandingkan dengan 3-fold yaitu sebesar 83,72%.
Hal ini dapat disebabkan oleh 5-fold memiliki jumlah data latih yang lebih banyak sehingga mampu memberikan pelatihan yang
Hal ini dapat disebabkan oleh 5-fold memiliki jumlah data latih yang lebih banyak sehingga mampu memberikan pelatihan yang