IMPLEMENTASI DAN PENGUJIAN SISTEM
4.3 Pengujian Sistem
Pengujian sistem dilakukan untuk melihat hasil kinerja dari mulai proses preprocessing, shape segmentation, vein segmentation, feature extraction, sampai dengan klasifikasi menggunakan metode Probabilistic Neural Network dalam mengklasifikasikan nama dan jenis tumbuhan angiospermae berdasarkan bentuk tulang daun.
Sesuai dengan yang telah dijelaskan di bab 3, proses preprosessing terdiri dari dua tahap, yaitu tahap resize dan grayscale. Citra asli dan citra yang telah dilakukan proses pre-processing dapat dilihat di Gambar 4.22.
Gambar 4.22. Citra daun sebelum dilakukan pre-processing (kiri), citra daun sesudah diubah menjadi pre-processing (kanan)
Setelah dari tahap pre-processing, dilakukan tahap shape segmentation dan vein segmentation. Pada tahap shape segmentation, citra akan diubah menjadi binary image, Gaussian blur, dan inverse image. Contoh citra yang telah dilakukan proses shape segmentation dapat dilihat di Gambar 4.23.
Gambar 4.23. Citra daun setelah menjadi binary image (kiri), citra daun setelah dilakukan Gaussian blur (tengah), citra daun sesudah diubah menjadi inverse image
(kanan)
Pada tahap vein segmentation, citra akan diubah menjadi Canny edge detection dan binary image. Contoh citra yang telah dilakukan proses shape segmentation dapat dilihat di Gambar 4.24.
Gambar 4.24. Citra daun setelah dilakukan Canny (kiri), citra daun sesudah diubah menjadi binary image (kanan)
Citra digital yang digunakan pada proses testing sebanyak 360 data yang terdiri dari 10 jenis tumbuhan angiospermae (alpukat, durian, lemon, mangga, rambutan, bambu, padi, kurma, pandan, dan tebu). Output dari proses testing adalah klasifikasi nama tumbuhan dari citra digital. Hasil pengujian klasifikasi nama tumbuhan angiospermae ditunjukkan pada Tabel 4.1.
Tabel 4. 1 Hasil pengujian proses segmentasi dan klasifikasi
No Citra Shape
Segmentation
Vein
Segmentation Manual Sistem Status
1 Alpukat Durian Salah
2 Alpukat Alpukat Benar
3 Alpukat Alpukat Benar
4 Durian Durian Benar
5 Durian Bambu Salah
6 Durian Durian Benar
7 Lemon Lemon Benar
8 Lemon Alpukat Salah
9 Lemon Lemon Benar
10 Mangga Mangga Benar
11 Mangga Mangga Benar
12 Mangga Mangga Benar
13
Rambu-tan
Rambu-tan Benar
14
Rambu-tan
Rambu-tan Benar
15
Rambu-tan
Rambu-tan Benar
16 Bambu Bambu Benar
17 Bambu Lemon Salah
18 Bambu Pandan Salah
19 Padi Kurma Salah
20 Padi Padi Benar
21 Padi Padi Benar
22 Kurma Kurma Benar
23 Kurma Pandan Salah
24 Kurma Kurma Benar
25 Pandan Pandan Benar
26 Pandan Pandan Benar
27 Pandan Pandan Benar
28 Tebu Pandan Salah
29 Tebu Tebu Benar
30 Tebu Tebu Benar
… … … …
361 Alpukat Alpukat Benar
Berdasarkan pengujian model yang didapat dari proses klasifikasi 10 jenis tumbuhan angiospermae berdasarkan tulang daun menggunakan metode Probabilistic Neural Network terhadap 361 data testing, diperolah tingkat akurasi sebesar 83,6%.
Untuk lebih detailnya, dapat dilihat di Tabel 4.2.
Tabel 4. 2 Tingkat Keberhasilan Klasifikasi Tumbuhan Angiospermae No Nama Tumbuhan Jumlah Data Uji Salah Benar Akurasi
1 Alpukat 45 11 34 76%
2 Durian 33 5 28 85%
3 Lemon 39 6 33 85%
4 Mangga 36 0 36 100%
5 Rambutan 32 2 30 94%
6 Bambu 33 9 24 73%
7 Padi 37 7 30 81%
8 Kurma 32 6 26 81%
9 Pandan 42 6 36 86%
10 Tebu 32 8 24 75%
Total 361 60 301 83,6%
Berdasarkan pengujian klasifikasi jenis tumbuhan (monokotil atau dikotil) pada data testing citra daun angiospermae menggunakan Probabilistic Neural Network, dapat diperoleh nilai akurasi mencapai 87% dari implementasi metode perhitungan performa machine learning menggunakan fungsi confusion matrix.
Berdasarkan pengujian klasifikasi nama tumbuhan (alpukat, durian, lemon, mangga, rambutan, bambu, padi, kurma, pandan, dan tebu) pada data testing citra
daun angiospermae menggunakan Probabilistic Neural Network, diperoleh nilai akurasi 80% untuk tumbuhan monokotil dan 87% untuk tumbuhan dikotil, sehingga rata-rata akurasi pengklasifikasian nama tumbuhan angiospemae pada penelitian ini adalah 83,6%.
Setelah proses prediksi data testing terhadap model yang telah dilatih, dilakukan fungsi confusion matrix. Hasil implementasi confusion matrix terhadap citra digital daun ditunjukkan pada Tabel 4.3, 4.4, dan 4.5.
[162 23
25 151]
Tabel 4. 3 Hasil implementasi confusion matix data testing jenis tumbuhan
precision Recall f1-score Support
Dikotil 0.87 0.88 0.87 185
Tabel 4. 4 Hasil implementasi confusion matix data testing tumbuhan monokotil
precision Recall f1-score Support
Bambu 0.80 0.73 0.76 33
[
Tabel 4. 5 Hasil implementasi confusion matix data testing tumbuhan dikotil
precision Recall f1-score Support
Alpukat 0.89 0.76 0.82 45
Berdasarkan confusion matrix di atas, dapat dilihat nilai dari precision, recall, f1-score, dan accuracy dari 5 jenis tumbuhan monokotil dan 5 jenis tumbuhan dikotil.
Dari 176 data monokotil, akurasi yang dicapai ialah 80%. Dari 185 data dikotil, akurasi yang dicapai ialah 87%. Dari keseluruhan data testing monokotil maupun dikotil yang berjumlah 361 data, didapat nilai akurasi untuk menentukan jenis tumbuhan monokotil atau dikotil mencapai akurasi sebesar 87%.
Berdasarkan confusion matrix di atas, mangga adalah tumbuhan dengan tingkat akurasi tertinggi. Hal tersebut dikarenakan tulang daun mangga terlihat paling jelas dibanding tumbuhan lainnya. Bentuk daun mangga juga lebih panjang dan keriting dibanding daun dikotil lainnya. Selain itu, dimasukkan beberapa citra dengan background polos untuk membantu keakurasian klasifikasi tumbuhan mangga.
Perbandingan penerapan preprocessing dan segmentation dari citra daun mangga background tidak polos dan polos dapat dilihat di Gambar 4.25 dan 4.26 di bawah ini.
Gambar 4.25. Citra daun mangga background tidak polos (kiri), citra daun sesudah diterapkan shape segmentation (tengah), citra daun sesudah diterapkan vein
segmentation (kanan)
Gambar 4.26. Citra daun mangga background polos (kiri), citra daun sesudah diterapkan shape segmentation (tengah), citra daun sesudah diterapkan vein
segmentation (kanan)
Hal ini membuktikan bahwa preprocessing dan segmentation berjalan lebih baik pada citra daun dengan background polos. Tulang dan bentuk tepi daun terlihat lebih jelas sehingga pengklasifikasian lebih mudah dilakukan.
Sebaliknya, tumbuhan dengan tingkat akurasi terendah ialah tumbuhan bambu.
Hal ini dikarenakan daun bambu yang kecil menyebabkan sulit untuk mendeteksi tulang daunnya yang tipis-tipis.
Untuk pengujian jenis tumbuhan, tumbuhan dikotil mengungguli monokotil disebabkan tulang daun dikotil terlihat lebih jelas dan bentuk-bentuk daun monokotil yang digunakan dalam penelitian ini terlihat mirip.
Dalam image processing, mendapatkan persentase rendah dapat disebabkan oleh beberapa alasan, seperti kualitas citra kurang baik, citra mengandung noise sehingga informasi data tertutupi, atau jumlah data tidak cukup banyak untuk data training sehingga proses pembelajaran machine learning kurang.
Agar mendapat persentase keberhasilan yang tinggi, dapat dilakukan beberapa hal seperti melakukan tahap-tahap yang tepat agar informasi citra dapat diambil dengan baik dan benar, menghilangkan noise pada citra, serta menyediakan data yang cukup banyak untuk proses training.
Dalam penelitian ini, terjadinya kesalahan dalam proses klasifikasi terjadi dikarenakan miripnya bentuk daun tumbuhan dan background yang tidak polos sehingga kesulitan dalam mendeteksi tepi daun. Cahaya juga menjadi salah satu faktor penentu tingkat akurasi. Pencahayaan yang tepat, dengan minimal pencahayaan lampu ruangan hemat energy 30w atau 450 lumen, membuat tulang daun dan tepi daun terlihat lebih jelas. Selain itu, kurangnya data training juga dapat menyebabkan rendahnya tingkat akurasi. Penulis telah melakukan percobaan terhadap beragam jumlah data untuk membuktikan bahwa jumlah data training mempengaruhi tingkat akurasi penelitian. Untuk lebih jelasnya dapat dilihat di Tabel 4.6 dan Tabel 4.7.
Tabel 4. 6 Pengujian beragam jumlah data training tumbuhan dikotil Jumlah data training Jumlah data testing Tingkat akurasi
369 185 79%
443 185 80%
517 185 83%
591 185 84%
665 185 84%
739 185 87%
Tabel 4. 7 Pengujian beragam jumlah data training tumbuhan monokotil Jumlah data training Jumlah data testing Tingkat akurasi
350 176 76%
420 176 77%
490 176 78%
560 176 78%
630 176 80%
700 176 80%
Berdasarkan Tabel 4.6 dan 4.7, dapat dibuktikan bahwa tingkat jumlah data training dapat mempengaruhi tingkat akurasi penelitian. Menambah jumlah data training dapat menaikkan tingkat akurasi.
Selanjutnya, dilakukan uji bahwa pendeteksian tepi daun berpengaruh terhadap tingkat akurasi pengklasifikasian jenis tumbuhan. Sebelumnya, diambil 500 data dari 10 tanaman angiospermae yang sama. Data yang merupakan citra digital daun diambil
dari berbagai macam sisi yang masih terlihat bentuk tulang daunnya. Hasil yang diperoleh dari pengujian tersebut dapat dilihat di tabel 4.8.
Tabel 4. 8 Tingkat Keberhasilan Klasifikasi Tumbuhan Angiospermae Berbagai Sisi No Nama Tumbuhan Jumlah Data Uji Salah Benar Akurasi
1 Alpukat 5 2 3 60%
2 Durian 10 3 7 70%
3 Lemon 12 6 6 50%
4 Mangga 13 7 6 46%
5 Rambutan 10 5 5 50%
6 Bambu 10 5 5 50%
7 Padi 10 5 5 50%
8 Kurma 10 3 7 70%
9 Pandan 10 1 9 90%
10 Tebu 10 2 8 80%
Total 100 39 61 61,6%
Dari percobaan di atas, dapat disimpulkan bahwa tingkat akurasi dipengaruhi oleh sisi pengambilan gambar, tulang daun dan bentuk daun harus terlihat dengan jelas.
Percobaan di atas juga membuktikan bahwa jumlah data training yang sedikit membuat tingkat akurasi rendah.
BAB 5