Evaluasi Perbandingan Kinerja Convolutional Neural Networks untuk Klasifikasi Kualitas Biji Kakao
Indra Riyana Rahadjeng1, Muhammad Noor Hasan Siregar2, Agus Perdana Windarto3,*
1Universitas Bina Sarana Informatika, Jakarta, Indonesia
2Universitas Graha Nusantara, Padangsidimpuan, Indonesia
3STIKOM Tunas Bangsa, Pematangsiantar, Indonesia
Email: 1[email protected], 2[email protected], 3,*[email protected] Email Penulis Korespondensi: [email protected]
Abstrak−Penilaian kualitas biji kakao memainkan peran penting dalam industri cokelat, dan pendekatan otomatisasi menggunakan teknik pengolahan citra dan pengklasifikasi telah menjadi semakin menarik. Dalam penelitian ini, kami mengimplementasikan dan membandingkan kinerja pengklasifikasi citra menggunakan arsitektur Convolutional Neural Network (CNN) untuk klasifikasi kualitas biji kakao. Dengan menggunakan pendekatan ini, kami mengembangkan sistem yang mampu mengklasifikasikan citra biji kakao secara akurat dan efisien, mengurangi ketergantungan pada penilaian manusia.
Kami membandingkan beberapa arsitektur CNN, termasuk VGGNet, untuk mengevaluasi performa mereka dalam klasifikasi citra biji kakao. Hasil eksperimen menunjukkan bahwa pengklasifikasi berbasis CNN dapat memberikan penilaian kualitas biji kakao yang akurat, dengan tingkat keberhasilan yang signifikan. Penelitian ini memberikan kontribusi pada pengembangan sistem klasifikasi citra biji kakao yang efisien dan akurat, yang dapat meningkatkan efisiensi dalam industri cokelat dan memastikan kualitas produk akhir. Selain itu, hasil pengujian menunjukkan bahwa model dengan ukuran batch 64 mencapai akurasi tertinggi sebesar 98,44%, melampaui tiga ukuran batch lainnya yang diuji dalam kinerja klasifikasi biji kakao.
Kata Kunci: Penilaian Kualitas Biji Kakao; Pengolahan Citra; Pengklasifikasi; Convolutional Neural Network (CNN);
Arsitektur CNN; VGGNet.
Abstract−The assessment of cocoa bean quality plays a crucial role in the chocolate industry, and automated approaches utilizing image processing techniques and classifiers have become increasingly appealing. In this study, we implemented and compared the performance of image classifiers using Convolutional Neural Network (CNN) architectures for cocoa bean quality classification. By employing this approach, we developed a system capable of accurately and efficiently classifying cocoa bean images, reducing dependence on human evaluation. We compared several CNN architectures, including VGGNet, to evaluate their performance in cocoa bean image classification. Experimental results demonstrated that CNN-based classifiers can provide accurate assessments of cocoa bean quality, with significant success rates. This research contributes to the development of efficient and accurate image classification systems for cocoa beans, which can enhance efficiency in the chocolate industry and ensure product quality. Additionally, our testing results indicate that the model with a batch size of 64 achieved the highest accuracy of 98.44%, outperforming the other three tested batch sizes in cocoa bean classification performance.
Keywords: Cocoa Bean Quality Assessment; Image Processing; Classifier; Convolutional Neural Network (CNN); CNN architecture; VGGNet
1. PENDAHULUAN
Industri cokelat merupakan salah satu industri yang terus berkembang dan memiliki peran penting dalam perekonomian global [1]. Permintaan akan produk cokelat yang berkualitas tinggi terus meningkat, baik di pasar domestik maupun internasional. Salah satu faktor kunci dalam produksi cokelat yang berkualitas adalah biji kakao yang digunakan [2]. Biji kakao merupakan salah satu komoditas pertanian yang memiliki peran penting dalam industri cokelat. Biji kakao dipetik dari pohon kakao dan melalui beberapa tahap pemrosesan sebelum diubah menjadi cokelat [3]. Kualitas biji kakao memiliki dampak signifikan terhadap rasa, aroma, dan tekstur produk akhir. Biji kakao berkualitas tinggi cenderung memiliki karakteristik seperti warna yang seragam, ukuran yang konsisten, bentuk yang baik, dan keutuhan yang utuh. Sebaliknya, biji kakao berkualitas rendah dapat memiliki perbedaan yang signifikan dalam hal atribut-atribut ini. Kualitas biji kakao memiliki dampak signifikan terhadap rasa dan aroma produk akhir, sehingga menentukan daya saing dan nilai jual produk cokelat. Oleh karena itu, penilaian kualitas biji kakao menjadi langkah kritis dalam proses produksi[4], [5]. Tradisionalnya, penilaian kualitas biji kakao dilakukan secara manual oleh ahli yang berpengalaman. Metode ini melibatkan proses pengamatan visual dan penilaian subjektif terhadap biji kakao berdasarkan karakteristik seperti warna, ukuran, bentuk, dan keutuhan. Namun, pendekatan ini memiliki beberapa kelemahan yang perlu diatasi [6]. Metode manual memerlukan waktu dan tenaga yang besar, terutama jika jumlah biji kakao yang dievaluasi cukup besar. Proses ini dapat menjadi lambat dan memakan biaya jika dilakukan secara manual dalam skala produksi yang besar. Kedua, penilaian subjektif rentan terhadap variasi antar penilai. Ketidakakuratan dalam penilaian ini dapat mengakibatkan ketidaksesuaian antara kualitas biji kakao yang diharapkan dan yang sebenarnya. Oleh karena itu, diperlukan pendekatan yang lebih objektif, efisien, dan konsisten dalam penilaian kualitas biji kakao [7], [8].
Dalam era digitalisasi dan perkembangan teknologi, pendekatan otomatisasi menggunakan teknik pengolahan citra dan pengklasifikasi semakin menarik dalam penilaian kualitas biji kakao. Pengolahan citra memungkinkan analisis yang lebih objektif dan akurat terhadap atribut-atribut biji kakao, sedangkan pengklasifikasi dapat mengenali pola dan membedakan biji kakao berkualitas tinggi dengan yang rendah.
Penggunaan metode ini diharapkan dapat mengatasi kelemahan-kelemahan metode manual dan memberikan solusi yang lebih efisien dan konsisten dalam penilaian kualitas biji kakao[9], [10]. Dalam penelitian ini, akan dilakukan implementasi dan perbandingan kinerja pengklasifikasi citra kualitas biji kakao menggunakan arsitektur Convolutional Neural Network (CNN)[11]. CNN merupakan salah satu jenis arsitektur jaringan saraf yang terbukti berhasil dalam pengenalan pola pada data citra. Dengan menggunakan pendekatan ini, diharapkan dapat dikembangkan suatu sistem yang dapat mengklasifikasikan citra biji kakao secara akurat dan efisien, serta mengurangi ketergantungan pada penilaian manusia [10], [12].
2. METODOLOGI PENELITIAN
2.1 Desain Penelitian
Penelitian ini menggunakan desain eksperimental untuk mengimplementasikan dan membandingkan kinerja pengklasifikasi citra kualitas biji kakao menggunakan arsitektur Convolutional Neural Network (CNN). Desain eksperimental memungkinkan kami untuk menguji dan membandingkan beberapa arsitektur CNN yang umum digunakan dalam pengolahan citra[13], [14].
Start
Sumber Data : Data Gambar Biji Kakau https://www.kaggle.com/
Download Data Gambar Biji Kakau https://www.kaggle.com/
Pra-Pemrosesan Data Dataset terdiri dari 2 Variabel
Masukan
Data dibagi 2 menjadi Data Latih dan Data Uji
Data Latih Data Uji
Proses Latih Pengklasifikasi
Proses Uji Pengklasfikasi
Model Arssitektur VGG16 BS_128
Model Arssitektur VGG16 BS_64
Model Arssitektur VGG16 BS_32
Model Arssitektur VGG16 BS_16
Laporan Performance (Recall, Preccsison, F1-Score,
Accurcy)
Selesai Perfromance Terbaik (Recall, Preccsison, F1-Score,
Accurcy)
Gambar 1. Alur Penelitian 2.2 Pengumpulan Data
Data yang digunakan dalam penelitian ini terdiri dari kumpulan citra biji kakao yang sudah diklasifikasikan berdasarkan kualitasnya. Data citra biji kakao dikumpulkan dari sumber yang terpercaya dan direkam dalam format digital. Data yang diambil dari website https://www.kaggle.com/. Setiap citra dilengkapi dengan label kualitas biji kakao yang sesuai [15], [16].
2.3 Pengumpulan Data
Sebelum dilakukan pelatihan dan pengujian pengklasifikasi citra, data citra biji kakao akan mengalami tahap pra- pemrosesan. Pra-pemrosesan ini meliputi langkah-langkah berikut:
1. Resolusi dan Ukuran Citra: Citra biji kakao akan diubah menjadi ukuran yang konsisten, misalnya 256x256 piksel, untuk memastikan konsistensi dalam pengolahan data.
2. Augmentasi Data: Augmentasi data akan diterapkan pada data citra untuk meningkatkan variasi dan jumlah sampel. Beberapa teknik augmentasi yang mungkin digunakan termasuk pergeseran, rotasi, zoom, dan flipping citra.
3. Normalisasi: Citra biji kakao akan dinormalisasi agar memiliki rentang nilai yang seragam, seperti rentang 0 hingga 1, sehingga mempermudah proses pelatihan jaringan saraf.
Pada penelitian ini data yang digunakan adalah dataset “Cocoa Beans Images Dataset” yang didapatkan dari situs Kaggle.com yang dibuat oleh Khawaritzmi Abdallah Ahmad. Dataset terdiri dari 614 gambar biji kakao dengan format .JPG. Pada Tabel 1 adalah kelas, gambar, jumlah dan deskripsi dari kelas biji kakao.
Tabel 1. Data Kelas, Jumlah Gambar dan Deskripsi
Kelas Gambar Jumlah Data Deskripsi
Broken Beans Cocoa 100 kelas untuk biji kakao yang rusak
Whole Beans Cocoa 104 kelas untuk biji kakao yang utuh
Tahap persiapan atau preprocessing data adalah mengolah data asli agar siap digunakan pada model.
Proses ini sangatlah penting, karena untuk dapat menggunakan CNN, maka raw data harus diubah sesuai dengan format yang dapat diterima oleh CNN. Resize Image adalah proses untuk mengatur ulang ukuran gambar sehingga dapat disesuaikan dengan ukuran yang dapat dibaca oleh CNN. Pada penelitian ini, ukuran gambar yang digunakan adalah 256 x 256, oleh karena itu prosesresize akan di set untuk menjadi gambar ukuran 256 x 256. Proses resize dapat dilihat pada Gambar 10.
(a) (b)
Gambar 2. Citra yang telah melalui preprocessing (a) sebelum dilakukan resize, (b) setelah dilakukan resize Pembagian Dataset
Dataset yang digunakan sebanyak 293 gambar yang terbagi menjadi enak kelas. Dari 293 gambar tersebut dibagi menjadi data train dan data testing masing – masing 70% data Latih dan 30% data Uji.
Tabel 2. Tabel Pembagian Data Kelompok Data Jumlah Data
Pelatihan 206
Pengujian 89
2.4 Implementasi Arsitektur CNN
Dalam penelitian ini, kami akan mengimplementasikan beberapa arsitektur CNN yang umum digunakan dalam pengolahan citra, termasuk VGGNet. Setiap arsitektur akan diimplementasikan menggunakan kerangka kerja yang sesuai, seperti PyTorch [17], [15].
Gambar 3. Arsitektur CNN 2.5 Pelatihan Pengklasifikasi Citra
Setelah implementasi arsitektur CNN, kami akan melakukan pelatihan pengklasifikasi citra menggunakan data citra biji kakao yang sudah diproses. Pelatihan akan dilakukan pada komputer yang dilengkapi dengan GPU untuk mempercepat proses pelatihan. Parameter pelatihan, seperti learning rate, batch size, dan jumlah epoch, akan ditentukan dan disesuaikan untuk setiap arsitektur CNN [18], [19].
Proses klasifikasi pada arsitektur Convolutional Neural Network (CNN) memiliki beberapa lapisan.
Gambar 4 menjelaskan proses kalsifikasi biji kakao.
2x2x2
Flatten Fully Connected
Softmax
3x3x2 Max Pooling
X O Convolutional
Gambar 4. Proses Klasifikasi
Kemudian diberlakukan augmentasi merupakan suatu teknik yang berfungsi memberikan gambar biji kakao dapat diperbesar, diputar, diberi pencahayaan dan teknik augmentasi dapat menaikan nilai akurasi model. Adapun parameter augmentasi yang digunakan dalam penelitian ini adalah rotation_range = 25, zoom_range = 0.2, shear_range = 0.2, horizontal_flip = True, fill_mode = “nearest”.
2.6 Pengujian dan Evaluasi
Setelah pelatihan selesai, kami akan menguji kinerja pengklasifikasi citra menggunakan data uji yang terpisah dari data pelatihan. Pengujian akan dilakukan dengan menghitung metrik evaluasi yang relevan, seperti akurasi, presisi, recall, dan F1-score. Hasil pengujian akan digunakan untuk membandingkan kinerja antara arsitektur CNN yang berbeda[20].
3. HASIL DAN PEMBAHASAN
Berdasarkan hasil pelatihan dan hasil pengujian dengan menggunakan batch size yang berbeda-beda untuk membandingkan hasil kinerja pengklasfikasi yang paling baik sebagai model analisis kualitas biji kopi.
3.1 Hasil
Pada grafik akurasi dapat dilihat bahwa semakin lama pelatihan dilakukan maka akurasinya akan semakin meningkat, sedangkan untuk grafik pengujian loss semakin lama akurasinya akan semakin menurun. Sebagai hasil akhir, bisa dilihat perbandingan dari beberapa arssitektur yang digunakan.
Pengujian Cost Pengujian Akurasi
Gambar 5. Hasil Pengujian Klasifikasi Dari 4 Arsitektur Model Batch Size yang Berbeda
Gambar 5. menunjukaan grafik peforma hasil Cost (loss) dan akurasi (score) dari arsitektur VGG16Net, dimana garis hijau untuk batch size 16, kuning untuk batch size 32, merah untuk batch size 128, dan biru untuk batch size 64 dari data pengujian. Hasil klasifikasi menunjukkan nilai Cost (loss) dan akurasi (score) pada data peatihan dan data pengujian mengalami lonjakan naik turun yang stabil.
’ Gambar 6. Confusion Matrix Batch 64
Pada Gambar 6 merupakan hasil dari tabel confusion matrix. Berdasarkan tabel confussion matrix dapat dipahami bahwa terdapat 63 data yang diprediksi dengan tepat, dan terdapat 1 data yang salah diprediksi oleh model.
Gambar 7. Visulisasi data hasil prediksi menggunakan Batch Sie 64
Pada gambar 7 Untuk dapat melihat apa sebenarnya yang terjadi saat mesin memprediksi, peneliti coba untuk menampilkan visualisasi hasi prediksi model dengan gambar yang yang terdapat pada data pengujian. Dapat dilihat pada gambar 7 diatas bahwa font yang berwarna merah adalah kesalahan dalam memprediksi dan yang berwarna hijau adalah predkisi yang tepat. Hasil yang didapat ternyata pada batch size 64 sangat baik dalam mengklasifikasi kopi atau dataset yang kita gunakan dan terbukti cocok diterapkan pada penelitian ini.
3.2 Pembahasan
Berikut hasil dari pelatihan dan pengujain yang dilakukan oleh penulis dalam menganaslisis kualitas biji kopi dengan mengklasfikasi biji kopi ruska dan bagus, dengan model arsitektur dan membandingankan batch size mana yang paling baik kinerjanay dalam mengklasfikasi dan memprediksi kualitas biji kopi dengan menggunakna data image yang diolah dengan aplikasi google colab dengan Bahasa pytroch. Hasil rekapitulasi bis akita lihat pad tabel 3 beikut ini.
Tabel 3. Rekapitulasi Hasil Pengujian Optimiz
e
Batch_siz e
Test Score
Test Cost
Best Epoch
Precisio
n Recall F1 Score
Accurac y
ADAM
16 0,9892 0,1212 16 0,8889 0,888
9 0,9412 0,9412
32 1,0000 0,1747 19 0,9231 0,923
1 0,9600 0,9697
64 0,9785 0,1150 27 0,9655 1,000
0 0,9825 0,9844
128 0,9570 0,6912 14 0,9259 0,907
0 0,9512 0,9570
Gambar 8. Grafik Rekapitulasi Hasil Pengujian
0,9892
0,1212
0,8889 0,8889 0,9412 0,9412
1,0000
0,1747
0,9231 0,9231 0,9600 0,9697
0,9785
0,1150
0,9655 1,0000 0,9825 0,9844
0,9570
0,6912
0,9259 0,9070 0,9512 0,9570
0,0000 0,2000 0,4000 0,6000 0,8000 1,0000
Test Score Test Cost Precision Recall F1 Score Accuracy
Rekapitulasi
ADAM 16 ADAM 32 ADAM 64 ADAM 128
Pada Gambar 8 merupakan hasil evaluasi model menggunakan classification_report, dimana diperoleh akurasi model terbesar 0,9844 atau 98,44% dengan nilai precision, recall , dan f1_score tertinggi terdapat pada kelas model arsitektur batch size 64.
4. KESIMPULAN
Penelitian ini berhasil mengimplementasikan dan membandingkan kinerja pengklasifikasi citra untuk menilai kualitas biji kakao menggunakan arsitektur CNN. Hasilnya menunjukkan bahwa pengklasifikasi berbasis CNN mampu memberikan penilaian yang akurat dan efisien terhadap kualitas biji kakao. Implementasi sistem ini dapat meningkatkan efisiensi dalam industri cokelat dan memastikan kualitas produk akhir yang terjamin. Penelitian ini memberikan kontribusi penting pada pengembangan sistem pengklasifikasi citra biji kakao yang efisien dan akurat, dengan potensi untuk meningkatkan efisiensi dan kualitas dalam industri cokelat. Selain itu, hasil pengujian menunjukkan bahwa model dengan ukuran batch 64 memiliki performa yang paling baik dengan akurasi sebesar 98,4%. Ini membuktikan bahwa model tersebut menghasilkan kinerja pengklasifikasi biji kakao yang terbaik dibandingkan dengan tiga ukuran batch lain yang diuji.
REFERENCES
[1] E. G. Winarto, Rahmayati, and A. Lawi, “Implementasi Arsitektur Inception Resnet-V2 untuk Klasifikasi Kualitas Biji Kakao,” Konf. Nas. Ilmu Komput. 2021 , pp. 132–137, 2021.
[2] S. V. M. Dan and K. N. Knn, “Perbandingan Kinerja Pengklasifikasi Citra Buah Kakao Sakit Dan Sehat Menggunakan Support Vector Machine (Svm) Dan K-Nearest Neighbors (Knn),” vol. 14, no. 1, pp. 1–8, 2023.
[3] R. Febrian, B. M. Halim, M. Christina, D. Ramdhan, and A. Chowanda, “Facial expression recognition using bidirectional LSTM - CNN,” Procedia Comput. Sci., vol. 216, no. 2022, pp. 39–47, 2023, doi: 10.1016/j.procs.2022.12.109.
[4] V. Choudhary, P. Guha, G. Pau, R. K. Dhanaraj, and S. Mishra, “Automatic Classification of Cowpea Leaves Using Deep Convolutional Neural Network,” Smart Agric. Technol., p. 100209, 2023, doi: 10.1016/j.atech.2023.100209.
[5] S. Sowmya and D. Jose, “Contemplate on ECG signals and classification of arrhythmia signals using CNN-LSTM deep learning model,” Meas. Sensors, vol. 24, no. October, p. 100558, 2022, doi: 10.1016/j.measen.2022.100558.
[6] S. Anwar and Á. Rocha, “Special issue on towards advancements in machine learning for exploiting large-scale and heterogeneous repositories,” Neural Comput. Appl., vol. 5, pp. 7909–7911, 2023, doi: 10.1007/s00521-022-08182-5.
[7] L. F. de J. Silva, O. A. C. Cortes, and J. O. B. Diniz, “A novel ensemble CNN model for COVID-19 classification in computerized tomography scans,” Results Control Optim., vol. 11, no. September 2022, p. 100215, 2023, doi:
10.1016/j.rico.2023.100215.
[8] B. Eidel, “Deep CNNs as universal predictors of elasticity tensors in homogenization,” Comput. Methods Appl. Mech.
Eng., vol. 403, p. 115741, 2023, doi: 10.1016/j.cma.2022.115741.
[9] D. Ruan, J. Wang, J. Yan, and C. Gühmann, “CNN parameter design based on fault signal analysis and its application in bearing fault diagnosis,” Adv. Eng. Informatics, vol. 55, no. June 2022, p. 101877, 2023, doi: 10.1016/j.aei.2023.101877.
[10] W. N. Ismail, H. A. Alsalamah, M. M. Hassan, and E. Mohamed, “AUTO-HAR: An adaptive human activity recognition framework using an automated CNN architecture design,” Heliyon, vol. 9, no. 2, p. e13636, 2023, doi:
10.1016/j.heliyon.2023.e13636.
[11] A. Abbas, J. P. Vantassel, B. R. Cox, K. Kumar, and J. Crocker, “A frequency-velocity CNN for developing near-surface 2D vs images from linear-array, active-source wavefield measurements,” Comput. Geotech., vol. 156, no. February, p.
105305, 2023, doi: 10.1016/j.compgeo.2023.105305.
[12] R. Li, R. Gao, and P. N. Suganthan, “A decomposition-based hybrid ensemble CNN framework for driver fatigue recognition,” Inf. Sci. (Ny)., vol. 624, pp. 833–848, 2023, doi: 10.1016/j.ins.2022.12.088.
[13] N. N. Prakash, V. Rajesh, D. L. Namakhwa, S. Dwarkanath Pande, and S. H. Ahammad, “A DenseNet CNN-based liver lesion prediction and classification for future medical diagnosis,” Sci. African, vol. 20, p. e01629, 2023, doi:
10.1016/j.sciaf.2023.e01629.
[14] Z. A. Sejuti and M. S. Islam, “A hybrid CNN–KNN approach for identification of COVID-19 with 5-fold cross validation,” Sensors Int., vol. 4, no. November 2022, p. 100229, 2023, doi: 10.1016/j.sintl.2023.100229.
[15] Q. Hou, R. Xia, J. Zhang, Y. Feng, Z. Zhan, and X. Wang, “Learning visual overlapping image pairs for SfM via CNN fine-tuning with photogrammetric geometry information,” Int. J. Appl. Earth Obs. Geoinf., vol. 116, no. October 2022, p. 103162, 2023, doi: 10.1016/j.jag.2022.103162.
[16] M. Chu, P. Wu, G. Li, W. Yang, J. L. Gutiérrez-Chico, and S. Tu, “Advances in Diagnosis, Therapy, and Prognosis of Coronary Artery Disease Powered by Deep Learning Algorithms,” JACC Asia, vol. 3, no. 1, pp. 1–14, 2023, doi:
10.1016/j.jacasi.2022.12.005.
[17] K. Cheng, “Hierarchical attributes learning for pedestrian re-identification via parallel stochastic gradient descent combined with momentum correction and adaptive learning rate,” Neural Comput. Appl., vol. 2, 2019, doi:
10.1007/s00521-019-04485-2.
[18] N. Youssouf, “Traffic sign classification using CNN and detection using faster-RCNN and YOLOV4,” Heliyon, vol. 8, no. 12, 2022, doi: 10.1016/j.heliyon.2022.e11792.
[19] G. Rajeshkumar et al., “Smart office automation via faster R-CNN based face recognition and internet of things,” Meas.
Sensors, vol. 27, no. November 2022, p. 100719, 2023, doi: 10.1016/j.measen.2023.100719.
[20] J. D. Rosita P and W. S. Jacob, “Multi-Objective Genetic Algorithm and CNN-Based Deep Learning Architectural Scheme for effective spam detection,” Int. J. Intell. Networks, vol. 3, no. December 2021, pp. 9–15, 2022, doi:
10.1016/j.ijin.2022.01.001.
