5.2 Hasil Pengujian Sistem
5.2.5. Hasil clustering menggunakan Agglomerative Hierarchical
Pada Agglomerative Hierarchical Clustering Single Linkage, didapatkan hasil akurasi sebesar 86,67% dengan angka error rate sebesar 13,33%. Untuk jenis-jenis dari model sebanyak 45 gambar didapatkan akurasi sebesar 75,56%. Sedangkan untuk average dan complete linkage hasil yang didapatkan sama yaitu sebesar 88,89% dengan angka error rate sebesar 11,11%. Untuk jenis-jenis dari model sebanyak 45 gambar didapatkan akurasi sebesar 75,56%. Berikut detailnya pada Tabel 5.1.
Tabel 5.1. Akurasi hasil Agglomerative Hierarchical Clustering Agglomerative Hierarchical Clustering
Single Linkage Average Linkage Complete Linkage Validasi cluster 86,67% 88,89% 88,89%
Error rate 13,33%. 11,11% 11,11%
Uji tunggal 75,56%. 75,56%. 75,56%.
Error rate 24,44% 24,44% 24,44%
Hasil cluster yang didapat sudah cukup baik walaupun layang-layang dikenali sebagai segitiga. Namun cluster lingkaran tampak memisah dari segitiga maupun segi empat. Complete linkage dipilih karena hasil yang didapat sedikit lebih bagus daripada menggunakan single linkage, sedangkan untuk average memiliki hasil yang sama dengan complete, maka dipilih salah satu.
Penentuan nama cluster dipilih dari banyaknya anggota cluster yang mirip. Karena yang termasuk ke dalam cluster 3 hanya ada elips dan
lingkaran, maka dilihat bahwa yang termasuk ke dalam cluster tersebut adalah model lingkaran. Karena 3 sudah terpilih sebagai lingkaran, maka kita lihat cluster 1. Banyaknya anggota dalam cluster 1 adalah segitiga. Maka ditetapkan bahwa cluster pertama adalah cluster segitiga. Maka cluster 2 adalah sisanya, yaitu cluster segi empat.
Setelah ditentukan nama-nama cluster, cari rata-rata ekstrak fitur untuk masing-masing cluster. Rata-rata tersebut menjadi model yang akan dibandingkan dengan gambar input.
Untuk pengujian menggunakan 45 gambar yang didapat dari hasil gambar tangan yang di-scan, gambar scan dari buku materi dan beberapa gambar dari sumber lain (internet). Langkah pengujian file testing adalah membagi ke dalam 3 grup, yaitu grup 1-3. Dimana masing-masing grup berisi 15 gambar, grup 1 adalah gambar yang dibuat manual kemudian melalui proses scan, grup 2 adalah gambar yang di-scan dari buku materi dan grup 3 adalah gambar dari beberapa sumber lain.
Data gambar grup 1
:
Data gambar grup 2 :
Gambar 5.10. Data garmbar pengujian grup 2
Data gambar grup 3 :
Gambar 5.11. Data garmbar pengujian grup 3
Kemudian cari rata-rata akurasi 30 gambar dari masing-masing gabungan grup 1 dan 2, 1 dan 3, 2 dan 3. Berikut listing program untuk membantu pengujian dan hasil rata-rata akurasi dari ke-3 gabungan grup :
Untuk masing-masing moetode, didapatkan hasil akurasi sebagai berikut : 1. Single Linkage
Dari 30 gambar pada gabungan pertama di dapatkan 5 gambar yang tidak sesuai antara jenis model dengan hasil output dari sistem.
Tabel 5.2.Confussion matrix single linkage kelompok 1 Aktual/Prediksi Segitiga Segi Empat Lingkaran
Segitiga 8 2 0 Segi Empat 3 13 0 Lingkaran 0 0 4 Akurasi 1 = (8+13+4)/(8+2+0+3+13+0+0+0+4)*100% = 25 / 30 * 100% = 83,33% Error rate = 100% - 83,33% = 16,67%
Dari gabungan kedua di dapatkan 4 gambar yang tidak sesuai antara jenis model dengan hasil output dari sistem.
Tabel 5.3.Confussion matrix single linkage kelompok 2 Aktual/Prediksi Segitiga Segi Empat Lingkaran
Segitiga 9 1 0
Segi Empat 3 13 0 Lingkaran 0 0 4
Akurasi 2 = (9+13+4)/(9+1+0+3+13+0+0+0+4)*100% = 26 / 30 * 100%
= 86,67%
Error rate = 100% - 86,67% = 13,33%
Dari gabungan ketiga di dapatkan 3 gambar yang tidak sesuai antara jenis model dengan hasil output dari sistem.
Tabel 5.4.Confussion matrix single linkage kelompok 3 Aktual/Prediksi Segitiga Segi Empat Lingkaran
Segitiga 9 1 0 Segi Empat 2 14 0 Lingkaran 0 0 4 Akurasi 2 = (9+14+4)/(9+1+0+2+14+0+0+0+4)*100% = 27 / 30 * 100% = 90% Error rate = 100% - 90% = 10%
Dari ke-3 gabungan tersebut didapat masing-masing nilai akurasi dan error rate. Sehingga akurasi sistem merupakan rata-rata dari ke-3 akurasi gabungan yang didapatkan.
Akurasi = (Akurasi1 + Akurasi 2 + Akurasi 3) / 3 = (83,33% + 86,67% +90%) / 3
= 260 / 3 = 86,67%
Error rate = 100% - 86,67% = 13,33%
2. Complete Linkage
Dari 30 gambar pada gabungan pertama di dapatkan 4 gambar yang tidak sesuai antara jenis model dengan hasil output dari sistem.
Tabel 5.5.Confussion matrix complete linkage kelompok 1 Aktual/Prediksi Segitiga Segi Empat Lingkaran Segitiga 10 0 0 Segi Empat 4 12 0 Lingkaran 0 0 4 Akurasi 1 = (10+12+4)/(10+0+0+4+12+0+0+0+4)*100% = 26 / 30 * 100% = 86,67% Error rate = 100% - 86,67% = 13,33%
Dari gabungan kedua didapatkan 4 gambar yang tidak sesuai antara model dengan hasil output dari sistem.
Tabel 5.6.Confussion matrix complete linkage kelompok 2 Aktual/Prediksi Segitiga Segi Empat Lingkaran Segitiga 10 0 0 Segi Empat 4 12 0 Lingkaran 0 0 4 Akurasi 1 = (10+12+4)/(10+0+0+4+12+0+0+0+4)*100% = 26 / 30 * 100% = 86,67%
Error rate = 100% - 86,67% = 13,33%
Dari gabungan ketiga di dapatkan 2 gambar yang tidak sesuai antara jenis model dengan hasil output dari sistem.
Tabel 5.7.Confussion matrix complete linkage kelompok 3 Aktual/Prediksi Segitiga Segi Empat Lingkaran Segitiga 10 0 0 Segi Empat 2 14 0 Lingkaran 0 0 4 Akurasi 2 = (10+14+4)/(10+0+0+2+14+0+0+0+4)*100% = 28 / 30 * 100% = 93,33% Error rate = 100% - 93,33% = 6,67%
Dari ke-3 gabungan tersebut didapat masing-masing nilai akurasi dan error rate. Sehingga akurasi sistem merupakan rata-rata dari ke-3 akurasi gabungan yang didapatkan.
Akurasi = (Akurasi1 + Akurasi 2 + Akurasi 3) / 3 = (86,67% + 86,67% +93,33%) / 3 = 266,67 / 3
= 88,89%
3. Average Linkage
Dari 30 gambar pada gabungan pertama di dapatkan 4 gambar yang tidak sesuai antara jenis model dengan hasil output dari sistem.
Tabel 5.8.Confussion matrix average linkage kelompok 1 Aktual/Prediksi Segitiga Segi Empat Lingkaran Segitiga 10 0 0 Segi Empat 4 12 0 Lingkaran 0 0 4 Akurasi 1 = (10+12+4)/(10+0+0+4+12+0+0+0+4)*100% = 26 / 30 * 100% = 86,67% Error rate = 100% - 86,67% = 13,33%
Dari gabungan kedua didapatkan 4 gambar yang tidak sesuai antara model dengan hasil output dari sistem.
Tabel 5.9.Confussion matrix average linkage kelompok 2 Aktual/Prediksi Segitiga Segi Empat Lingkaran Segitiga 10 0 0 Segi Empat 4 12 0 Lingkaran 0 0 4 Akurasi 1 = (10+12+4)/(10+0+0+4+12+0+0+0+4)*100% = 26 / 30 * 100% = 86,67% Error rate = 100% - 86,67% = 13,33%
Dari gabungan ketiga di dapatkan 2 gambar yang tidak sesuai antara jenis model dengan hasil output dari sistem.
Tabel 5.10.Confussion matrix average linkage kelompok 3 Aktual/Prediksi Segitiga Segi Empat Lingkaran Segitiga 10 0 0 Segi Empat 2 14 0 Lingkaran 0 0 4 Akurasi 2 = (10+14+4)/(10+0+0+2+14+0+0+0+4)*100% = 28 / 30 * 100% = 93,33% Error rate = 100% - 93,33% = 6,67%
Dari ke-3 gabungan tersebut didapat masing-masing nilai akurasi dan error rate. Sehingga akurasi sistem merupakan rata-rata dari ke-3 akurasi gabungan yang didapatkan.
Akurasi = (Akurasi1 + Akurasi 2 + Akurasi 3) / 3 = (86,67% + 86,67% +93,33%) / 3 = 266,67 / 3
= 88,89%
Error rate = 100% - 88,89% = 11,11%
Hasil yang didapat adalah masih cukup banyak bangun datar yang diinputkan dikenali sebagai bangun lain. 11 gambar diantaranya dikenali sebagai bangun lain. Seperti misalnya kemiripan bangun elips dengan lingkaran. Sehingga akurasi dari jenis model ini adalah sebesar 75,56% dari hasil 34/45*100%, dengan error rate sebesar 24,44%. Hal ini dikarenakan di dalam cluster segitiga terdapat 3 buah layang-layang dan beberapa segitiga sembarang, segitiga tumpul, dan segitiga sama kaki di dalam cluster segi empat. Jika menggunakan single dan average linkage, hasil yang didapatkan sama.
Akurasi yang didapat cukup tinggi, namun karena aplikasi ini akan menampilkan detail dari masing-masing nama bangun datar, maka perlu dilakukan lagi pencocokan dari jenis masing-masing model untuk mengetahui jenis dari segitiga, segi empat, atau lingkaran. Tabel hasil pencocokan yang dilakukan manual dan tunggal (uji tunggal) dapat dilihat pada lampiran (Tabel 5.12) halaman 97.
89
BAB VI
PENUTUP
Bab ini berisi kesimpulan dan saran dari penulis sebagai langkah yang dapat diambil untuk pengembangan selanjutnya.
