55 BAB 5
UJI COBA DAN ANALISA HASIL
Pada bab ini diuraikan mengenai lingkungan uji coba, hasil uji coba serta analisa hasil uji coba dari perangkat lunak.
5.1 Lingkungan Uji Coba
Lingkungan uji coba merupakan komputer tempat uji coba perangkat lunak. Lingkungan uji coba yang digunakan pada tugas akhir ini yaitu notebook, dengan spesfikasi prosesor Intel Core 2 Duo 2,20 GHz dan memori 0,99 GB, dengan sistem operasi Microsoft Windows XP Home Service Pack 2.
5.2 Metodologi Pengujian
Pengujian dilakukan dengan menggunakan basis data ETH-80, dengan data pelatihan dan data uji coba yang saling pisah (disjoint). Pada basis data ETH-80, terdapat 8 kategori, dengan masing kategori terdapat 10 jenis yang berbeda-beda, dimana tiap jenis terdiri dari 41 citra obyek, yang memiliki perbedaan perubahan posisi. Ukuran citra asli adalah 128 x 128 piksel.
Uji coba pengenalan obyek dilakukan dengan pendekatan Appearance Based. Dimana, citra tersebut telah tersedia pada basis data ETH-80. Contoh citra yang digunakan sebagai uji coba adalah seperti pada Gambar 5.1 dan 5.2.
Gambar 5.2 Contoh Citra Mobil dengan 10 Jenis yang Berbeda Pada uji coba ini, jumlah citra yang digunakan sebagai data pelatihan dan data uji coba adalah sebanyak 1920 citra (24 pose untuk setiap 1 jenis). Tahap awal yang dilakukan adalah pemilihan citra pada tiap kategori dan tiap jenis, dengan memperhatikan pose. Kemudian tahap selanjutnya adalah mengubah ukuran citra menjadi berukuran 40 x 40 piksel. Terdapat 3 variasi jumlah citra pada data pelatihan yang digunakan pada uji coba. Tabel 5.1 merupakan tabel perbandingan antara jumlah data pelatihan dan jumlah data uji coba.
Tabel 5.1 Perbandingan Data Pelatihan dan Data Uji Coba Basis Data Jumlah Data Pelatihan Jumlah Data Uji Coba Perbandingan
(Data Pelatihan : Data Uji Coba)
1 640 1280 8 : 16
2 800 1120 10 : 14
3 960 960 12 : 12
Pada uji coba pengenalan obyek dengan pendekatan Appearance Based Recognition, diperlukan input jumlah subkelas per kelasnya. Uji coba dilakukan dengan nilai input jumlah subkelasnya sama dengan 2 – 10. Uji coba dilakukan dengan nilai threshold = 1000, 1500, dan 2000.
Pada uji coba 1, pemilihan nomor citra yang digunakan sebagai data pelatihan dan data uji coba untuk setiap kategori
tidak seluruhnya sama. Tabel 5.2-a dan 5.2-b merupakan tabel himpunan data citra pelatihan per jenis pada uji coba 1.
Tabel 5.2-a Himpunan Data Citra Pelatihan pada Uji Coba1 Data Pelatihan 1-1 Data Pelatihan 1-2 Data Pelatihan 1-3 Kategori No Citra yang Dilatih Jumlah Data Uji No Citra yang Dilatih Jumlah Data Uji No Citra yang Dilatih Jumlah Data Uji 1 3, 8, 16, 20, 24, 28, 32, 40 16 3, 8, 16, 20, 24, 28, 32, 40, 2, 19 14 3, 8, 16, 20, 24, 28, 32, 40, 2, 19, 21, 36 12 2 4, 7, 11, 15, 16, 22, 28, 40 16 4, 7, 11, 15, 16, 22, 28, 40, 17, 20 14 4, 7, 11, 15, 16, 22, 28, 40, 17, 20. 26, 31 12 3 3, 8, 16, 20, 24, 28, 32, 40 16 3, 8, 16, 20, 24, 28, 32, 40, 2, 19 14 3, 8, 16, 20, 24, 28, 32, 40, 2, 19, 21, 36 12 4 3, 8, 16, 20, 24, 28, 32, 40 16 3, 8, 16, 20, 24, 28, 32, 40, 2, 19 14 3, 8, 16, 20, 24, 28, 32, 40, 2, 19, 21, 36 12
Tabel 5.2-b Himpunan Data Citra Pelatihan pada Uji Coba1 Data Pelatihan 1-1 Data Pelatihan 1-2 Data Pelatihan 1-3 Kategori No Citra yang Dilatih Jumlah Data Uji No Citra yang Dilatih Jumlah Data Uji No Citra yang Dilatih Jumlah Data Uji 5 11, 13, 15, 16, 19, 20, 22, 24 16 11, 13, 15, 16, 19, 20, 22, 24, 6, 12 14 11, 13, 15, 16, 19, 20, 22, 24, 6, 12, 25, 31 12 6 3, 8, 16, 20, 24, 28, 32, 40 16 3, 8, 16, 20, 24, 28, 32, 40, 2, 19 14 3, 8, 16, 20, 24, 28, 32, 40, 2, 19, 21, 36 12 7 3, 8, 16, 20, 24, 28, 32, 40 16 3, 8, 16, 20, 24, 28, 32, 40, 2, 19 14 3, 8, 16, 20, 24, 28, 32, 40, 2, 19, 21, 36 12 8 3, 8, 16, 20, 24, 28, 32, 40 16 3, 8, 16, 20, 24, 28, 32, 40, 2, 19 14 3, 8, 16, 20, 24, 28, 32, 40, 2, 19, 21, 36 12 Jumlah 1280 1120 960 Prosentase 66,67% 58,33% 50%
Pada uji coba 2, tidak terdapat perbedaan nomor citra yang digunakan sebagai data pelatihan dan data uji coba untuk setiap kategorinya. Tabel himpunan data citra pelatihan untuk tiap jenis pada uji coba 2, ditampilkan pada Tabel 5.3.
Tabel 5.3 Himpunan Data Citra Pelatihan pada Uji Coba2 Data Pelatihan 2-1 Data Pelatihan 2-2 Data Pelatihan 2-3 Kategori No Citra yang Dilatih Jumlah Data Uji No Citra yang Dilatih Jumlah Data Uji No Citra yang Dilatih Jumlah Data Uji 1 - 8 11, 13, 15, 16, 19, 20, 22, 24 16 11, 13, 15, 16, 19, 20, 22, 24, 6, 12 14 11, 13, 15, 16, 19, 20, 22, 24, 6, 12, 25, 31 12 Jumlah 1280 1120 960 Prosentase 66,67% 58,33% 50%
5.3 Hasil Uji Coba
Penjelasan hasil uji coba berikut ini dilakukan dengan menggunakan nilai threshold = 1000, 1500 dan 2000 dan nilai input subkelas = 6. Sedangkan hasil uji coba dengan input subkelas = 2 – 10, tertera pada bab lampiran.
5.3.1 Hasil Uji Coba 1
5.3.1.1 Hasil Uji Coba 1 dengan Nilai threshold = 1000
Uji coba 1 dilakukan dengan nomor citra yang ditampilkan pada Tabel 5.2-a dan 5.2-b. Tabel 5.4 merupakan tabel hasil pengenalan dengan metode SDA, dengan input jumlah subkelas = 6, dan nilai threshold = 1000 :
Tabel 5.4 Hasil Pengujian dengan Perbedaan dalam Pemilihan Nomor Citra dan Nilai threshold = 1000
Data Pelatihan 1-1 Data Pelatihan 1-2 Data Pelatihan 1-3 Kategori Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar 1 160 150 140 131 120 113 2 160 105 140 91 120 90 3 160 48 140 50 120 41 4 160 127 140 117 120 99 5 160 84 140 77 120 71 6 160 79 140 74 120 71 7 160 151 140 137 120 117 8 160 159 140 140 120 120 Jumlah 903 /1280 817 /1120 722 /960 Prosentase 70,55% 72,95% 75,21%
5.3.1.2 Hasil Uji Coba 1 dengan Nilai threshold = 1500
Uji coba 1 dilakukan dengan nomor citra yang ditampilkan pada Tabel 5.2-a dan 5.2-b. Tabel 5.5 merupakan tabel hasil pengenalan dengan metode SDA, dengan input jumlah subkelas = 6, dan nilai threshold = 1500 :
Tabel 5.5 Hasil Pengujian dengan Perbedaan dalam Pemilihan Nomor Citra dan Nilai threshold = 1500
Data Pelatihan 1-1 Data Pelatihan 1-2 Data Pelatihan 1-3 Kategori Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar 1 160 148 140 127 120 110 2 160 103 140 84 120 85 3 160 32 140 35 120 42 4 160 128 140 115 120 91 5 160 84 140 73 120 61 6 160 68 140 70 120 64 7 160 153 140 138 120 115 8 160 158 140 139 120 120 Jumlah 874 /1280 781 /1120 688 /960 Prosentase 68,28% 69,73% 71,67%
5.3.1.3 Hasil Uji Coba 1 dengan Nilai threshold = 2000
Uji coba 1 dilakukan dengan nomor citra yang ditampilkan pada Tabel 5.2-a dan 5.2-b. Tabel 5.6 merupakan tabel hasil pengenalan dengan metode SDA, dengan input jumlah subkelas = 6, dan nilai threshold = 2000 :
Tabel 5.6 Hasil Pengujian dengan Perbedaan dalam Pemilihan Nomor Citra dan Nilai threshold = 2000
Data Pelatihan 1-1 Data Pelatihan 1-2 Data Pelatihan 1-3 Kategori Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar 1 160 139 140 129 120 111 2 160 73 140 87 120 81 3 160 52 140 45 120 41 4 160 122 140 112 120 92 5 160 58 140 72 120 65 6 160 69 140 72 120 66 7 160 152 140 136 120 117 8 160 158 140 140 120 119 Jumlah 823 /1280 793 /1120 692 /960 Prosentase 64,30% 70,80% 72,08%
5.3.2 Hasil Uji Coba 2
5.3.2.1 Hasil Uji Coba 2 dengan Nilai threshold = 1000
Uji coba 2 dilakukan dengan nomor citra yang ditampilkan pada Tabel 5.3. Tabel 5.7 merupakan tabel hasil pengenalan dengan metode SDA, dengan input jumlah subkelas = 6, dan nilai threshold = 1000 :
Tabel 5.7 Hasil Pengujian dengan Persamaan dalam Pemilihan Nomor Citra dan Nilai threshold = 1000
Data Pelatihan 2-1 Data Pelatihan 2-2 Data Pelatihan 2-3 Kategori Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar 1 160 144 140 124 120 108 2 160 47 140 39 120 61 3 160 84 140 78 120 64 4 160 109 140 86 120 85 5 160 91 140 82 120 64 6 160 74 140 71 120 58 7 160 146 140 130 120 109 8 160 129 140 114 120 117 Jumlah 824 /1280 724 /1120 666 /960 Prosentase 64,38% 64,64% 69,38%
5.3.2.2 Hasil Uji Coba 2 dengan Nilai threshold = 1500
Uji coba 2 dilakukan dengan nomor citra yang ditampilkan pada Tabel 5.3. Tabel 5.8 merupakan tabel hasil pengenalan dengan metode SDA, dengan input jumlah subkelas = 6, dan nilai threshold = 1500 :
Tabel 5.8 Hasil Pengujian dengan Persamaan dalam Pemilihan Nomor Citra dan Nilai threshold = 1500
Data Pelatihan 2-1 Data Pelatihan 2-2 Data Pelatihan 2-3 Kategori Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar 1 160 141 140 122 120 110 2 160 44 140 52 120 57 3 160 91 140 73 120 59 4 160 106 140 83 120 83 5 160 83 140 74 120 69 6 160 78 140 70 120 62 7 160 147 140 127 120 109 8 160 124 140 114 120 115 Jumlah 814 /1280 715 /1120 664 /960 Prosentase 63,59% 63,84% 69,17%
5.3.2.3 Hasil Uji Coba 2 dengan Nilai threshold = 2000
Uji coba 2 dilakukan dengan nomor citra yang ditampilkan pada Tabel 5.3. Tabel 5.9 merupakan tabel hasil pengenalan dengan metode SDA, dengan input jumlah subkelas = 6, dan nilai threshold = 2000 :
Tabel 5.9 Hasil Pengujian dengan Persamaan dalam Pemilihan Nomor Citra dan Nilai threshold = 2000
Data Pelatihan 2-1 Data Pelatihan 2-2 Data Pelatihan 2-3 Kategori Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar Jumlah Data Uji Coba Jumlah Data yang Dikenali Benar 1 160 140 140 123 120 109 2 160 43 140 53 120 47 3 160 79 140 69 120 56 4 160 106 140 86 120 86 5 160 83 140 73 120 60 6 160 61 140 68 120 58 7 160 146 140 129 120 107 8 160 124 140 109 120 117 Jumlah 782 /1280 710 /1120 640 /960 Prosentase 61,09% 63,39% 66,67%
5.4 Analisa Hasil Uji Coba
Berdasarkan hasil uji coba yang diperoleh, perbedaan pemilihan nomor citra yang dilakukan pada uji coba 1 dan 2 memberikan tingkat akurasi yang berbeda. Ketika terdapat perbedaan dalam pemilihan citra untuk setiap kategori, seperti yang dilakukan pada uji coba 1, maka tingkat akurasi keberhasilan yang diperoleh cenderung lebih tinggi.
Tabel 5.10 – 5.11 merupakan tabel perbandingan hasil uji coba 1 dan uji coba 2 dengan nilai threshold = 1000, 1500 dan 2000, dan input subkelas = 6.
Tabel 5.10 Perbandingan Prosentase Akurasi pada Uji Coba 1 dan Uji Coba 2 dengan Nilai threshold = 1000
Tipe Data Uji Coba Jumlah Data
Pelatihan Uji Coba 1 Uji Coba 2
640 70,55% 64,38%
800 72,95% 64,64%
960 75,21% 69,38%
Tabel 5.11 Perbandingan Prosentase Akurasi pada Uji Coba 1 dan Uji Coba 2 dengan Nilai threshold = 1500
Tipe Data Uji Coba Jumlah Data
Pelatihan Uji Coba 1 Uji Coba 2
640 68,28% 63,59%
800 69,73% 63,84%
960 71,67% 69,17%
Tabel 5.12 Perbandingan Prosentase Akurasi pada Uji Coba 1 dan Uji Coba 2 dengan Nilai threshold = 2000
Tipe Data Uji Coba Jumlah Data
Pelatihan Uji Coba 1 Uji Coba 2
640 64,30% 61,09%
800 70,80% 63,39%
Pada hasil uji coba yang telah dilakukan, tingkat akurasi juga dipengaruhi oleh nilai threshold. Tabel 5.13 dan 5.14 berikut ini merupakan tabel informasi yang memuat data perbandingan tingkat akurasi cenderung menurun ketika nilai threshold diperbesar. Uji coba dilakukan dengan input subkelas = 6.
Tabel 5.13 Perbandingan Prosentase Akurasi pada Uji Coba 1 dengan Nilai threshold = 1000, 1500 dan 2000
Nilai threshold Data Pelatihan Jumlah Data Pelatihan 1000 1500 2000 1-1 640 70,55% 68,28% 64,30% 1-2 800 72,95% 69,73% 70,80% 1-3 960 75,21% 71,67% 72,68%
Tabel 5.14 Perbandingan Prosentase Akurasi pada Uji Coba 2 dengan Nilai threshold = 1000, 1500 dan 2000
Nilai threshold Data Pelatihan Jumlah Data Pelatihan 1000 1500 2000 2-1 640 64,38% 63,59% 61,09% 2-2 800 64,64% 63,84% 63,39% 2-3 960 69,38% 69,17% 66,67%
Gambar 5.3 berikut ini merupakan grafik yang menyajikan perbandingan prosentase akurasi dan nilai threshold dengan menggunakan 3 pilihan data pelatihan pada uji coba 1.
Gambar 5.3 Grafik Perbandingan Tingkat Akurasi terhadap Nilai threshold pada Uji Coba 1
Sedangkan pada Gambar 5.4 merupakan grafik yang menyajikan perbandingan prosentase akurasi dan nilai threshold dengan menggunakan 3 pilihan data pelatihan pada uji coba 2.
Gambar 5.4 Grafik Perbandingan Tingkat Akurasi Terhadap Nilai threshold pada Uji Coba 2
Tingkat akurasi cenderung meningkat ketika nilai threshold diperkecil. Hal tersebut disebabkan karena nilai threshold adalah faktor yang menjadi pembatas ketika pemilihan vektor eigen dari ΣX yang akan dipertahankan dan menjadi fitur ekstraksi.
Ketika vektor eigen ΣX yang nilai eigennya kurang dari hasil pembagian antara jumlah diagonal nilai eigen ΣX dan nilai threshold, maka vektor eigen tersebut akan dieliminasi. Dan yang menjadi fitur ekstraksi adalah vektor eigen yang tidak dieliminasi.
