IMPLEMENTASI DAN PENGUJIAN
4.3 Pengujian Sistem
Pada tahap ini dilakukan pengujian data dan sistem. Pengujian sistem bertujuan untuk mengetahui kemampuan sistem yang dibangun. Kemampuan sistem ini bergantung pada proses pelatihan sistem (data training). Pengujian data dilakukan pada citra atas pohon kelapa sawit sebanyak 30 citra. Dengan jumlah pengklasifikasian AdaBoost sebanyak 10 stage maka diperolehlah hasil pengujian citra seperti Tabel 4.1. berikut.
Tabel 4.1 Hasil pengujian citra
No Nama Citra Terdeteksi Salah Deteksi Tidak Terdeteksi Total Sawit
1. Image 1 33 - - 33
Tabel 4.2 Hasil Pengujian citra (Lanjutan)
No. Nama Citra Terdeteksi Salah Deteksi Tidak Terdeteksi Total Sawit
24. Image 24 28 - 6 34
Dari tabel hasil pengujian citra, kita dapat melihat jumlah dari pohon kelapa sawit yang terdeteksi, salah deteksi dan tidak terdeteksi. Kesalahan deteksi sistem pada beberapa citra masih ditemukan, seperti pada citra image 3, image 4 image 5 dan yang lainnya. Hal ini disebut dengan false positive . Dimana sistem salah dalam menafsirkan objek yang bukan kelapa sawit sebagai kalapa sawit. Pada Tabel 4.2 juga terdapat objek yang tidak terdeteksi. Hal ini disebut juga dengan istilah false negative. Dimana sistem menganggap beberapa pohon kelapa sawit bukan merupakan pohon kelapa sawit. Hal ini dipengaruhi sampel data latih, data uji, proses klasifikasi dan juga pengaruh lingkungan, misalnya pola canopy pohon kelapa sawit terhalangi oleh pohon lain atau pohon yang bukan pohon kelapa sawit.
Berdasarkan nilai dari hasil pengujian citra pohon kelapa sawit pada aplikasi penghitungan pohon kelapa sawit berdasarkan identifikasi pohon menggunakan algoritma Haar-Cascade Classifier, dapat diperoleh nilai akurasi dengan memanfaatkan Confusion matrix. Confusion Matrix merupakan alat yang berguna untuk menganalisis seberapa baik classifier mengenali tuple dari kelas yang berbeda. Dimana TP (true positive) dan TN (true negative) memberikan informasi ketika classifier benar.
Sedangkan FP (false Positive) dan FN (false Negative) memberitahu ketika classifier salah. Untuk lebih jelasnya dapat disimak seperti berikut ini:
1. TP ( True Positive) yaitu dimana sistem mendeteksi pohon kelapa sawit memang sebagai kelapa sawit.
2. TN (True Negative) yaitu dimana sistem mendeteksi yang bukan merupakan kelapa sawit memang bukan sebagai kelapa sawit.
3. FP (False Positive) yaitu dimana sistem mendeteksi yang bukan kelapa sawit merupakan kelapa sawit.
4. FN (False Negative) yaitu dimana sistem tidak mendeteksi pohon kelapa sawit sebagai kelapa sawit. Dengan kata lain, pohon kelapa sawit tidak terdeteksi.
Confusion matrix ini menunjukkan cara-cara dimana model klasifikasi bingung ketika membuat prediksi. Hal ini memberi kita wawasan bahwa kesalahan tidak hanya dibuat classifier, tetapi yang lebih penting adalah jenis kesalahan yang sedang dibuat.
Berikut adalah tabel dari confusion matrix:
Tabel 4.3 Confusion Matrix dari data
Predicted Class
Positif (P) Negatif (P)
Actual Class Positif (P) 949 117
Negatif (N) 22 0
Berdasarkan Tabel 4.3. jumlah true positif (TP) sebanyak 949 pohon, false negatif (FN) sebanyak 117 pohon dan false positif (FP) sebanyak 22 pohon.
Sedangkan nilai dari True negatif (TN) adalah 0 dikarenakan sistem yang dirancang bukan untuk menghitung objek selain dari pohon kelapa sawit.
Untuk mengetahui kemampuan sistem dalam melakukan klasifikasi berdasarkan Confussion matrix, ada 3 parameter yang diperlukan yaitu:
1. Accuracy yaitu sebagai tingkat kedekatan antara nilai prediksi dengan nilai aktual.
2. Precision yaitu tingkat ketepatan antara informasi yang diminta oleh user dengan jawaban yang diberikan oleh sistem.
3. Recall yaitu tingkat keberhasilan sistem dalam menemukan kembali sebuah informasi.
4. Error Rate yaitu Tingkat kegagalan sistem dalam menentukan prediksi.
Untuk perhitungan matematik dari setiap keluaran Confusion Matrix, dapat dilihat seperti persamaan-persamaan berikut ini.
Akurasi = 𝑇𝑇𝑇𝑇 + 𝑇𝑇𝑇𝑇
Dari perhitungan matematika di atas, nilai akurasi yang diperoleh sistem dengan data citra uji sebanyak 30 adalah 87 % dengan nilai error rate 13%. Sedangkan nilai recall dan precision adalah 89% dan 97 %.
Gambar 4.12 Grafik Hasil Recall dan Precision.
Dari Gambar 4.13, nilai Recall dan Precision menunjukkan bahwa nilai precision lebih tinggi dibandingkan dengan nilai recall. Hal ini menunjukkan bahwa sistem kehilangan banyak contoh positif ( nilai FN tinggi) tetapi yang diprediksi oleh sistem sebagai positif memanglah positif (FP rendah). Sebaliknya, jika nilai Recall tinggi dan nilai Precission rendah berarti menunjukkan bahwa sebagian besar contoh positif dikenali dengan benar (FN rendah) tetapi ada banyak kesalahan positif.
Ada beberapa hal yang mempengaruhi hasil dari nilai akurasi dalam pendeteksian objek yaitu diantaranya nilai dari scale factor dan min neighbor. Nilai Scale facor dan min neightbor sangat berpengaruh dalam menentukan sebuah objek.
Hal ini dikarenakan pencarian objek berdasarkan dari pengurangan skala dari dimensi x, y image. Apabila pemilihan skala faktor kurang tepat, maka akan menyebabkan objek dua kali terdeteksi atau bahkan tidak terdeteksi. Seperti gambar 4.12 berikut ini menampilkan perbandingan jumlah objek yang terdeteksi pada gambar image 1.jpg, dimana objek tidak terdeteksi dengan nilai scale factor 1.3 sedangkan pada scale factor 1.2 objek yang terdeteksi lebih banyak dengan nilai min neighbor yang sama yaitu 15.
Seperti yang ditampilkan pada Gambar 4.13 berikut ini.
84
Gambar 4.13 Perbandingan jumlah objek berdasarkan Scale Factor.
Perbandingan nilai scale factor antara gambar (A) dan (B) menghasilkan jumlah objek yang terdeteksi berbeda. Dimana gambar (A) mendeteksi objek sebanyak 33 pohon sedangkan pada gambar (B) mendeteksi objek sebanyak 31 pohon. Selain dari nilai scale factor, nilai dari min neighbor juga sangat mempengaruhi kemampuan sistem dalam mendeteksi objek.
Seperti yang di ketahui, haar cascade classifier bekerja dengan pendekatan sliding window. Jika dilihat dari file cascade ukuran parameter biasanya 24 x 24. Nilai ini adalah nilai minimal window yang dapat dideteksi oleh cascade. Jadi dengan menerapkan pendekatan sliding window, setiap perulangan pendeteksian haar cascade classifier akan menyimpan output dari objek yang terdeteksi. Jadi, ketika window di slide pada gambar dan di slide lagi akan menciptakan banyak false positive. Kita bisa melihat pada gambar image 3.jpg berikut ini dimana nilai dari min neighbor adalah 0.
Jadi, dengan meningkatkan nilai dari min neighbor, false positive dapat dihilangkan seperti ditunjukkan pada Gambar 4.15 . Namun, perlu hati-hati, karena dengan meningkatkan nilainya dapat juga kehilangan objek yang sesungguhnya. Oleh karena itu, untuk menghilangkan false positive dan mendapatkan objek yang tepat pada saat pendeteksian, dilakukan pendekatan terhadap lingkungan.
Seperti yang ditampilkan pada Gambar 4.15 berikut ini. Dimana nilai dari min neighbor yang di uji coba yaitu 15, 20 dan 25 sedangkan nilai scale factor yaitu 1,2.
Gambar 4.15 Perbandingan jumlah objek berdasarkan nilai Min Neighbor Seperti yang dijelaskan sebelumnya, semakin tinggi nilai dari min neighbor, maka dapat menghilangkan false positive. Namun, dilain sisi dapat juga menghilangkan true positive dalam hal ini dapat diamati pada Gambar 4.15. Hal inilah salah satu yang menyebabkan objek terdeteksi dan tidak terdeteksi.
Melihat hasil yang didapatkan dari nilai-nilai scale factor dan min neighbor untuk hasil yang maksimal dalam kasus pengidentifikasian pohon kelapan sawit, penulis mengambil nilai scale factor 1.2 dan nilai min neighbor 20. Sehingga mendapatkan nilai akurasi yaitu sebesar 87% dengan nilai error rate 13% .
BAB 5