48 BAB 4
HASIL PENELITIAN DAN PEMBAHASAN
4.1 Proses Retrival
Berikut ini adalah contoh tampilan hasil dari kueri:
1. Kategori Gajah
49
Gambar 4.3 Hasil kueri kategori gajah dengan pembobotan Gambar 4.2 Hasil kueri kategori gajah dengan pembagian
50
2. Kategori Bunga
Gambar 4.5 Hasil kueri bunga dengan pembagian
51
3. Kategori Mobil
Gambar 4.7 Hasil kueri kategori mobil dengan histogram biasa Gambar 4.6 Hasil kueri kategori bunga dengan pembobotan
52
Gambar 4.9 Hasil kueri kategori mobil dengan pembobotan Gambar 4.8 Hasil kueri mobil dengan pembagian
53
4. Kategori Makanan
Gambar 4.11 Hasil kueri makanan dengan pembagian
54
5. Kategori Blob
Gambar 4.13 Hasil kueri kategori blob dengan histogram biasa Gambar 4.12 Hasil kueri kategori makanan dengan pembobotan
55 4.2 Evaluasi
4.2.1 Prosedur Pengujian
Evaluasi terhadap RCBK yang telah dibuat, dilakukan dengan menghitung nilai
precision dan recall. Evaluasi dilakukan menggunakan 500 citra, yang terdiri dari 5 Gambar 4.15 Hasil kueri kategori blob dengan pembobotan
56
kategori, dimana masing – masing kategori berisi 100 citra. Pertama – tama terhadap
500 citra tersebut akan dilakukan pengindeksan, kemudian akan dilakukan kueri
sebanyak total 500 kali untuk setiap metode, dengan perincian, masing – masing 100
kali untuk 5 kategori yang ada, dengan kata lain, terhadap semua citra dalam basis data
akan dilakukan kueri. Untuk setiap citra, akan dikueri dengan empat macam metode,
yaitu histogram warna biasa, histogram warna dengan pembagian, histogram warna
dengan pembobotan dan Color Coherence Vector (CCV). Metode CCV dimasukkan dalam pengujian sebagai pembanding, karena CCV juga bertujuan memodifikasi histogram warna untuk memasukkan informasi spasial.
Dalam melakukan evaluasi, digunakan program yang dibuat dengan Visual Studio
2008 Express Edition dengan bahasa pemrograman C#. Program dipakai dengan tujuan
melakukan otomatisasi terhadap kueri dan evaluasi terhadap hasil kueri.
Untuk setiap kueri yang dilakukan, akan dilakukan pengukuran nilai precision
pada 11 titik recall standar (0%, 10%, 20%, 30%,..100%). Kemudian digunakan
precision interpolasi lalu dihitung rata – rata precision untuk setiap kategori dan juga
nilai rata – rata precision untuk semua kueri.
Pengujian dilakukan menggunakan komputer dengan spesifikasi :
Prosesor AMD Athlon II X4 620 (2600MHZ)
RAM 4GB DDR2 1066MHZ
Hard Disk SATA2 640GB
57 4.2.2 Hasil Pengujian
Berikut adalah hasil percobaan yang dilakukan, berupa tabel recall dan precision
untuk tiap kategori, disertai dengan grafik recall dan precision dari setiap tabel.
1. Kategori gajah
CCV Histogram Biasa Pembagian Pembobotan
0 1 1 1 1 0.1 0.610397647 0.586114436 0.604140441 0.655047875 0.2 0.435921169 0.434856699 0.421361383 0.466903836 0.3 0.364524684 0.372839412 0.338959037 0.376189663 0.4 0.312479954 0.328698427 0.298165321 0.326639795 0.5 0.28313956 0.30699376 0.269248677 0.305059072 0.6 0.255541355 0.286465085 0.245195214 0.291173958 0.7 0.243115404 0.267133928 0.231500841 0.274546699 0.8 0.233906728 0.254195656 0.221762092 0.259512387 0.9 0.224584325 0.241292342 0.212943489 0.229327207 1 0.203490502 0.205790895 0.201480504 0.208228824 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Pr e ci si o n Recall
Grafik Rata - Rata Precision Kategori Gajah
CCV
Histogram Biasa Pembagian Pembobotan
Tabel 4.1 Rata - rata precision kategori gajah
58
2. Kategori bunga
CCV Histogram Biasa Pembagian Pembobotan
0 1 1 1 1 0.1 0.774227065 0.7968838 0.778943984 0.697013075 0.2 0.614651207 0.639883989 0.628710412 0.481917854 0.3 0.479393835 0.521799928 0.52124194 0.342382669 0.4 0.396176659 0.444346803 0.434188881 0.274528154 0.5 0.339137261 0.384298342 0.379436512 0.239062237 0.6 0.298876345 0.338555155 0.338384058 0.218528211 0.7 0.275497858 0.306972107 0.312881487 0.206516768 0.8 0.255527386 0.280584525 0.294309178 0.201431717 0.9 0.240930052 0.250438099 0.26374181 0.200659302 1 0.208295718 0.207733706 0.216488029 0.200116232 3. Kategori mobil
CCV Histogram Biasa Pembagian Pembobotan
0 1 1 1 1 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Pr e ci si o n Recall
Grafik Rata - Rata Precision Kategori Bunga
CCV
Histogram Biasa Pembagian Pembobotan
Tabel 4.2 Rata - rata precision kategori bunga
Tabel 4.3 Rata - rata precision kategori mobil Gambar 4.17 Rata – rata precision kategori bunga
59 0.1 0.796794358 0.818550764 0.761302485 0.84873265 0.2 0.69290325 0.733158757 0.626456569 0.786385542 0.3 0.571723534 0.664108009 0.490118817 0.74254025 0.4 0.448694485 0.568372552 0.382413278 0.69021264 0.5 0.340828549 0.45225871 0.317822251 0.619105004 0.6 0.278015727 0.365707515 0.26656169 0.517646363 0.7 0.251551371 0.300999619 0.243013784 0.410072746 0.8 0.235827604 0.263259697 0.222949273 0.332110927 0.9 0.212263623 0.225658198 0.207145688 0.255057156 1 0.201206955 0.202330903 0.202309701 0.203367426 4. Kategori Makanan
CCV Histogram Biasa Pembagian Pembobotan
0 1 1 1 1 0.1 0.859805333 0.869699331 0.884478799 0.890343853 0.2 0.811165185 0.819159923 0.843449605 0.850117028 0.3 0.771664906 0.775195813 0.806912193 0.810362327 0.4 0.724908189 0.742133239 0.7548278 0.768185885 0.5 0.681604518 0.702754063 0.703232617 0.722108441 0.6 0.62404621 0.64923936 0.638587862 0.664950365 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Pr e ci si o n Recall
Grafik Rata - Rata Precision Kategori Mobil
CCV
Histogram Biasa Pembagian Pembobotan
Tabel 4.4 Rata - rata precision kategori makanan Gambar 4.18 Rata – rata precision kategori mobil
60 0.7 0.567088613 0.593198196 0.570777813 0.60913421 0.8 0.471126481 0.514818506 0.485514811 0.532627603 0.9 0.337880966 0.390224672 0.349644572 0.405855087 1 0.21266857 0.223222844 0.216155721 0.251655531 5. Kategori blob
CCV Histogram Biasa Pembagian Pembobotan
0 1 1 1 1 0.1 0.990337341 0.991094917 0.989139847 0.996578947 0.2 0.981810214 0.984533033 0.98549644 0.994682384 0.3 0.971845481 0.982043149 0.982329248 0.993211344 0.4 0.755482158 0.959002084 0.929422236 0.983267099 0.5 0.692094767 0.852129964 0.841863498 0.979331041 0.6 0.639615822 0.74408237 0.749732555 0.970394937 0.7 0.440027276 0.504988237 0.523361946 0.959117804 0.8 0.304029505 0.423839846 0.447406747 0.922458312 0.9 0.249767423 0.3455339 0.345137877 0.857569522 1 0.20126753 0.20315652 0.211435857 0.377333947 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Pr e ci si o n Recall
Grafik Rata - Rata Precision Kategori
Makanan
CCV
Histogram Biasa Pembagian Pembobotan
Tabel 4.5 Rata - rata precision kategori blob Gambar 4.19 Rata – rata precision kategori makanan
61
Dari hasil pengujian didapat juga nilai rata – rata precision dari keseluruhan kueri.
CCV Histogram Biasa Pembagian Pembobotan
0 1 1 1 1 0.1 0.806312349 0.81246865 0.803601111 0.81754328 0.2 0.707290205 0.72231848 0.701094882 0.716001329 0.3 0.631830488 0.663197262 0.627912247 0.65293725 0.4 0.527548289 0.608510621 0.559803503 0.608566714 0.5 0.467360931 0.539686968 0.502320711 0.572933159 0.6 0.419219092 0.476809897 0.447692276 0.532538767 0.7 0.355456104 0.394658417 0.376307174 0.491877645 0.8 0.300083541 0.347339646 0.33438842 0.449628189 0.9 0.253085278 0.290629442 0.275722687 0.389693655 1 0.205385855 0.208446974 0.209573962 0.248140392 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Pr e ci si o n Recall
Grafik Rata - Rata Precision Kategori Blob
CCV
Histogram Biasa Pembagian Pembobotan
Gambar 4.20 Rata – rata precision kategori blob
62 4.3 Pembahasan
Berdasarkan data hasil pengujian pada subbab 4.2, terlihat bahwa pada kategori
pertama yaitu gajah, metode pembobotan merupakan metode yang memiliki performa
paling baik jika dibandingkan ketiga metode lainnya. Pada kategori ini, metode
pembagian memiliki performa paling buruk.
Pada kategori kedua yaitu bunga, metode histogram biasa dan pembagian memiliki
performa paling baik, metode pembagian unggul dibanding histogram biasa untuk titik
recall diatas 0.5, pada kategori ini, metode pembobotan memiliki performa paling buruk
dibanding metode lain.
Pada kategori ketiga yaitu mobil, metode pembobotan unggul dibanding ketiga
metode lainnya. Pada kategori ini, metode pembagian merupakan metode dengan
performa terburuk. 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Pr e ci si o n Recall
Grafik Rata - Rata Precision
CCV
Histogram Biasa Pembagian Pembobotan
63
Pada kategori keempat, yaitu makanan, metode pembobotan kembali menjadi
metode yang paling baik. Metode pembagian unggul dari histogram warna biasa sampai
pada titik recall 0.5. Pada kategori ini CCV merupakan metode terburuk.
Pada kategori kelima, yaitu blob. Metode pembobotan unggul sangat jauh
dibanding metode lainnya. Pada kategori ini, CCV menjadi metode terburuk.
Dari performa rata – rata pada tabel 4.6 metode pembobotan sedikit kalah dari
histogram biasa pada titik recall 0.2 - 0.3, untuk titik recall lainnya, metode pembobotan
lebih unggul cukup jauh, bahkan mencapai sekitar 10% pada titik recal 0.7. Metode
pembagian memiliki performa yang hampir sama dengan CCV keduanya memiliki
keunggulan dititik recall tertentu, pembagian lebih unggul dari CCV untuk titik recall
diatas 0.3, kedua metode ini sedikit buruk dibandingkan metode histogram biasa. Dapat
disimpulkan bahwa performa rata- rata metode pembobotan unggul cukup jauh
dibanding metode lainnya, terutama pada titik recall diatas 0.4.
Dari hasil percobaan yang dilakukan, usulan untuk memodifikasi histogram warna
dengan memasukkan informasi spasial menjadi metode pembobotan berhasil
meningkatkan performa retrival RCBK, sedangkan untuk metode pembagian, hasilnya
masih kurang memuaskan.
Dari hasil percobaan terlihat bahwa suatu metode hanya unggul di satu atau lebih
kategori citra, namun belum ditemukan suatu metode yang unggul untuk semua kategori
citra. Bahkan metode pembobotan yang secara rata – rata paling baik, merupakan
64 4.4 Percobaan Tambahan
Berdasarkan hasil percobaan yang telah dilakukan, didapatkan beberapa
kesimpulan sebagai berikut:
- Metode pembobotan memiliki performa yang paling baik pada citra yang
objeknya berada di tengah.
- Penggunaan fitur warna akan membedakan 2 buah objek yang memiliki bentuk
yang sama tetapi memiliki warna yang berbeda.
- Metode pembagian memiliki performa yang kurang memuaskan karena
mengakibatkan objek terpotong, sehingga diperlukan metode pemotongan
yang lebih baik untuk metode ini.
Metode pembobotan menunjukkan performa yang paling baik pada citra yang
objeknya berada di tengah citra akan tetapi pada citra yang objeknya menyebar metode
ini dapat menunjukkan performa yang kurang baik. Oleh karena itu dilakukan percobaan
untuk menentukan secara otomatis apakah sebuah citra cocok digunakan untuk metode
pembobotan atau tidak yaitu mendeteksi apakah objek dari sebuah citra berada di tengah
atau tidak.
Percobaan dilakukan dengan menghitung variance dari histogram warna pada blok
yang berada di tengah citra. Dari hasil percobaan, ditemukan bahwa citra yang objeknya
berada di tengah cenderung memiliki nilai variance yang kecil. Akan tetapi hal ini tidak
terjadi pada semua objek. Oleh karena itu akurasi dari menghitung variance masih
