DOI: 10.30865/mib.v8i1.7119
Evaluasi Performa Oversampling dan Augmentasi pada Klasifikasi Penyakit Kulit Menerapkan Convolutional Neural Network
Deo Andrianto Iskandar*, Abus Salam
Ilmu Komputer, Teknik Informatika, Universitas Dian Nuswantoro, Semarang, Indonesia Email: 1,*[email protected], 2[email protected]
Email Penulis Korespondensi: [email protected]
Abstrak−Kulit adalah bagian tubuh terluar yang paling luas pada tubuh manusia. Menjaga kulit adalah hal yang sangatlah penting. Munculnya hal tak biasa pada kulit akan memunculkan kekhawatiran karena memungkinkan kulit terkena penyakit fatal bisa saja terjadi. Pemeriksaan oleh dokter spesialis yang terbatas di indonesia menambah kesulitan dalam pencegahan penyakit kulit. Maka penelitian ini dilakukan untuk mempermudah dalam membantu pengklasifikasikan penyakit kulit.
Klasifikasi penyakit kulit haruslah memiliki akurasi atau ketepatan yang baik dalam mengklasifikasikan setiap jenisnya.
Penelitian ini melakukan klasifikasi penyakit kulit yang tepat dan akurat dengan mengevaluasi performa teknik Oversampling dan Augmentasi. Penelitian ini menggunakan pendekatan Convolutional Neural Network (CNN). Menggunakan dataset HAM10000 yang berisi dermoscopic gambar dengan total 10015 gambar. Penelitian ini menerapkan Oversampling untuk mengatasi ketidak seimbangan data dan menerapkan augmentasi gambar untuk meningkatkan performa latih model. Kinerja dari model di evaluasi menggunakan accuracy, recall, precision, f1-score, specificity, sensitivity, gmean. Perbandingan diperoleh dari pengujian dataset original, dataset dengan oversampling dan berbagai teknik augmentasi. Hasil evaluasi menunjukan bahwa pengujian ketiga yaitu pengklasifikasian menggunakan pendekatan CNN dengan oversampling dan augmentasi rotation, zoom,width, height, vertical_flip mendapatkan hasil terbaik yaitu accuracy 0.98, recall 0.98, precision 0.98, f1-score 0.98, specificity 0.99, sensitivity 0.98, gmean 0.98.
Kata Kunci: Penyakit Kulit; Klasifikasi; Augmentasi; Oversampling; HAM10000
Abstract−The skin is the largest outer part of the human body. Maintaining skin is very important. The appearance of unusual things on the skin will raise concerns because it is possible that the skin could be affected by fatal diseases. Limited specialist doctor examinations in Indonesia add to the difficulty in preventing skin diseases. Therefore, this research was conducted to facilitate the classification of skin diseases. Skin disease classification must have good accuracy or precision in classifying each type. This study classifies skin diseases accurately and precisely by evaluating the performance of Oversampling and Augmentation techniques. This research uses the Convolutional Neural Network (CNN) approach. Using the HAM10000 dataset which contains dermoscopic images with a total of 10015 images. This study applies Oversampling to overcome data imbalance and applies image augmentation to improve model training performance. The performance of the model is evaluated using accuracy, recall, precision, f1-score, specificity, sensitivity, gmean. Comparisons are obtained from testing the original dataset, the dataset with oversampling and various augmentation techniques. The evaluation results show that the third test, namely classification using the CNN approach with oversampling and augmentation rotation, zoom, width, height, vertical_flip, gets the best results, namely accuracy 0.98, recall 0.98, precision 0.98, f1-score 0.98, specificity 0.99, sensitivity 0.98, gmean 0.98.
Keywords: Skin Disease; Classification; Augmentation; Oversampling; HAM10000
1. PENDAHULUAN
Penyakit kulit merupakan masalah kesehatan yang umum dihadapi oleh banyak orang di seluruh dunia. Diagnosis dan klasifikasi penyakit kulit menjadi kunci untuk memberikan perawatan yang tepat dan efektif kepada pasien [1]. Beberapa faktor yang menjadi pemicu munculnya penyakit kulit meliputi kurangnya kesadaran akan kebersihan lingkungan sekitar, fluktuasi iklim yang ekstrem, kualitas udara, dan juga reaksi alergi terhadap berbagai zat [2]. Menurut laporan dari Organisasi Kesehatan Dunia (WHO), skabies, yang merupakan infestasi parasitik yang disebabkan oleh sarcoptes scabiei var hominis, telah mempengaruhi lebih dari 200 juta orang di seluruh dunia pada setiap waktu [3].
Skabies adalah salah satu kondisi dermatologis yang paling umum, yang menyumbang proporsi yang signifikan dari penyakit kulit di negara-negara berkembang [4]. Ketepatan akurasi dalam memprediksi penyakit sangatlah penting, karena kesalahan dalam prediksi penyakit akan berakibat fatal untuk pasien [5]. Jumlah dokter spesialis yang memiliki Surat Tanda Registrasi(STR) per bulan Desember 2023 hanya sebanyak 48.102 dokter spesialis [6]. Dengan kesenjangan jumlah dokter spesialis ini dibutuhkan teknologi yang dapat melakukan klasifikasi penyakit kulit.
Klasifikasi penyakit kulit menjadi penting karena dengan adanya klasifikasi ini dapat mengetahui secara dini mengenai penyakit kulit yang sedang menyerang bagian dari tubuh manusia. Tujuannya dari klasifikasi penyakit kulit ini juga untuk mengetahui jenis penyakit kulit yang sedang menyerang pada bagian dari tubuh manusia dan mengkategorikan penyakit kulit ini secara tepat dan akurat, sehingga pasien mendapatkan penanganan dan tataleksana yang tepat untuk jenis penyakitnya [7].
Dampak dari kesalahan dalam klasifikasi penyakit kulit ini dapat memperburuk kondisi pasien, menimbulkan masalah psikologi terutama jika terjadi pada wajah [8], dan membesarkan resiko terjadinya penyakit kulit yang lebih berbahaya [9]. Solusi yang bisa dilakukan adalah dengan memanfaatkan teknologi yang dapat melakukan pengklasifikasian atau pendeteksian dini khususnya pada penyakit kulit. Seiring dengan perkembangan
teknologi informasi, klasifikasi penyakit kulit dapat juga menggunakan pendekatan Machine Learning (ML) maupun Deep Learning (DL) [10].
Convolutional Neural Networks (CNN) adalah salah satu jenis deep learning yang secara khusus dirancang untuk mengolah data berbentuk citra atau gambar [11], [12]. Sebagai bagian dari pendekatan deep learning, CNN memerlukan jumlah data yang besar dan beragam dengan data yang seimbang. Oleh karena itu, teknik oversampling dan augmentasi data sangat penting untuk diterapkan meningkatkan kualitas dan kuantitas data latih [13], [14].
Oversampling adalah teknik yang digunakan dalam deep learning untuk menangani dataset yang tidak seimbang, di mana beberapa kelas memiliki jumlah sampel yang lebih besar dibandingkan dengan kelas lain [15].
Dimana pada dataset HAM10000 [5], yang akan digunakan dalam penelitian ini memiliki tantangan yaitu data yang tidak seimbang atau inbalanced data. Salah satu contoh teknik oversampling adalah Random Oversampling, yang melibatkan penggandaan acak dari contoh-contoh dalam kelas minoritas [16], [17].
Teknik ini telah terbukti efektif dalam meningkatkan kinerja model deep learning dan mengatasi inbalanced data [15]. Augmentasi pada data gambar juga merupakan teknik yang juga digunakan dalam pendekatan deep learning CNN untuk meningkatkan jumlah dan variasi data pelatihan [18]. Augmentasi data dalam klasifikasi gambar telah terbukti menunjukkan efektivitas augmentasi data melalui teknik seperti pemotongan, rotasi, dan flipping pada gambar input [19].
Pada penelitian yang dilakukan oleh Lukas dan Hendra [20], dengan judul “Penggunaan Augmentasi Data pada Klasifikasi Jenis Kanker Payudara dengan Model Resnet-34”. Pada penelitian tersebut membahas mengaplikasikan augmentasi data pada proses klasifikasi jenis kanker payudara pada Convolutional Neural Network. Dataset yang digunakan adalah Dataset BACH (BreAst Cancer Histology) [21] yang memiliki jumlah data 400 gambar dan 4 class dimana jumlah tersebut terlalu tidak kurang optimal diterapkan pada pendekatan deep learning. Hasil yang didapat dengan menggunakan teknik augmentasi mendapatkan hasil 93,75% dibandingkan akurasi yang didapat tanpa menggunakan teknik augmentasi data 86,25%.
Pada penelitian yang berjudul “Improving Batik Pattern Classification using CNN with Advanced Augmentation and Oversampling on Imbalanced Dataset” [22], melakukan penelitian augmentasi gambar pada dataset Batik yang memiliki data gambar inbalanced. Hasil menunjukan best accuracy diperoleh adalah dengan teknik augmentasi pada pretrained model CNN 84,62%. Pada penelitian berjudul “Random and Synthetic Over- Sampling Approach to Resolve Data Imbalance in Classification”, melakukan penelitian pada data inbalanced menggunakan teknik oversampling yaitu Random Oversampling (ROS) [23].
Dimana teknik ROS adalah teknik menambahkan data pada class minoritas [24]. Hasil yang didapat menggunakan teknik ROS menunjukan hasil peningkatan class recognition dari 12%-100%. Penelitian yang berjudul “Automatic Classification of Cassava using Data Augmentation and CNN” [25], memiliki tantangan pada dataset yang sedikit dan inbalance pada kelas tertentu. Augmentasi terbukti menaikan performa klasifikasi model CNN dan mendapatkan akurasi 92.4% dengan metode Rescale, shear, zoom, dan horizontal flip. Pada penelitian [26] yang berjudul “Improving the Accuracy of Diabetes Retinopathy Image Classification using Augmentation”, melakukan penerapan teknik augmentasi rotasi 0-40 derajat dan flipped horizontally. Hasilnya teknik ini menaikan performa akurasi model CNN dengan best akurasi 86,96%.
Berdasarkan hasil dari hasil beberapa penelitian terdahulu yang telah terurai, penelitian ini menggunakan penggabungan metode oversampling dengan teknik ROS [23] dan Augmentasi dengan teknik transformasi [20], [22], akan diterapkan pada model custom CNN. Dengan penerapan dua metode tersebut penelitian ini bertujuan untuk meningkatkan performa kerja model CNN dalam memprediksi penyakit kulit dan mengatasi ketidak seimbangan data atau inbalanced data pada dataset HAM10000 [5]. Penelitian ini melakukan pengujian dan melakukan evaluasi dari performa klasifikasi penyakit kulit untuk menemukan pengujian dengan metode mana yang terbaik. Melalui penelitian ini diharapkan dapat membantu prediksi penyakit kulit dengan akurat dan berkontribusi untuk membantu bidang kesehatan tenaga medis.
2. METODOLOGI PENELITIAN
2.1 Tahapan Penelitian
Pada penelitian ini terdapat beberapa tahapan dimana dimulai dari input dataset HAM10000 [5], melakukan preprocessing data yaitu menyiapkan segala data agar nantinya siap digunakan oleh model, oversampling dan augmentasi data yaitu teknik yang akan diterapkan dalam penelitian ini, training model dimana model penelitian ini menggunakan custom CNN, kemudian evaluasi performa hasil model menggunakan confusion matrix yaitu untuk melihat pengujian mana yang memiliki hasil terbaik pada penelitian ini. Untuk itu pada gambar 1 adalah gambar yang menunjukan tahapan-tahapan penelitian yang akan dilakukan untuk melaksanakan proses penelitian ini.
DOI: 10.30865/mib.v8i1.7119
Gambar 1. Diagram Metode Penelitian 2.2 Dataset Penelitian
Dataset yang digunakan pada penelitian ini adalah HAM10000 yang dikumpulkan oleh Department of Dermatology at the Medical University of Vienna, Austria, and the skin cancer practice of Cliff Rosendahl in Queensland, Australia [5] berisi gambar dermatoscopic kulit manusia dengan total gambar 10015 berisi 7 kelas, dengan distribusi setiap kelas dapat dilihat pada tabel 1 berikut:
Tabel 1. Distribusi kelas dataset HAM10000
No Kelas Jumlah Data
1 Actinic keratoses (AKIEC) 327 2 Basal cell carcinoma (BCC) 514 3 Benign keratosis-like lesions (BKL) 1113
4 Dermatofibroma (DF) 115
5 Melanoma(MEL) 6705
6 Melanocytic nevi (NV) 1099
7 Vascular skin lesions (VASC) 142
Pada tabel 1 menunjukan kelas dan jumlah data yang dimiliki oleh dataset, dimana tabel tersebut memperlihatkan jumlah data masing-masing kelas memiliki ketidak seimbangan antar kelas. Perbedaan data terlihat dari kelas Dermatofibroma (DF) yang hanya memiliki jumlah data 115 dibandingkan dengan Melanoma(MEL) yang memiliki data sebanyak 6705 data. Gambar 2 adalah visualisasi dari data gambar yang dimiliki dataset ini
Gambar 2. Visualisasi data setiap kelas 2.3 Preprocessing Data
Persiapan atau preprocessing data adalah proses mengelola data original atau asli agar data siap digunakan oleh model. Proses ini sangatlah penting untuk penanganan data yang hilang, pengkodean kategorikal, penggabungan
maupun penghapusan atribut yang dibutuhkan atau tidak dibutuhkan [27]. Pada tahap ini nantinya akan dilakukan Exploratory Data Analysis (EDA) dimana dilakukan pemahaman isi dari dataset, penggabungan data, cleaning data, pengkodean kategorikal, resize resolusi gambar.
2.4 Oversampling dan Augmentasi Data
Tahap selanjutnya dalam penelitian ini yaitu Oversampling dan Augmentasi Data. Oversampling dilakukan dengan menggunakan teknik ROS dimana teknik ini untuk mengatasi inbalanced data pada dataset HAM10000 [5]. Class inbalanced adalah kelas yang dimana salah satu atau lebih memiliki jumlah nilai yang lebih besar dari kelas lainnya [28] .Dimana ROS adalah teknik menambahkan data pada class minoritas [17]. Augmentasi data yang digunakan yaitu menggunakan teknik rotation 0-10 derajat, zoom 0-5%, shift image right and left 10%, dan vertical flip.
Teknik augmentasi tersebut digunakan untuk menambahkan variasi pada saat training model, meningkatkan performa model dan mengatasi overfitting saat pelatihan model.
2.5 Arsitektur Model CNN
Penelitian ini dalam melakukan klasifikasi data citra menggunakan model custom layer convolutional neural network (CNN). CNN adalah salah satu model yang termasuk dalam pendekatan deep learning, dimana CNN memiliki berbagai jenis layer yang dapat digunakan. Pada penelitian ini layer yang digunakan diantaranya convolutional layer untuk pengekstrakan fitur yang relevan, max pooling layer untuk mereduksi ukuran data, batch normalization untuk menormalisasi data input antara layer, flatten untuk mengubah array menjadi vektor satu dimensi. Pada gambar 3 menunjukan penerapan arsitektur dari model yang akan digunkan dalam penelitian ini.
Gambar 3. Arsitektur Model CNN 2.6 Evaluasi Confusion Matrix
Evaluasi performa diperlukan untuk melihat hasil performa dari sebuah model dalam memprediksi. Pada penelitian ini Confusion Matrix digunakan sebagai alat ukur keberhasilan model dalam mengklasifikasikan penyakit kulit dengan dataset yang digunakan yaitu HAM10000 [5]. Confusion Matrix dapat mencakup hasil nilai accuracy, recall, specificity, F1-score, Gmean yang dapat dilihat pada persamaan (1)-(5).
Pengukuran Accuracy Accuracy = TP+TN
TP+TN+FP+FN (1)
Pengukuran Recall
DOI: 10.30865/mib.v8i1.7119 Recall = TP
TP+FN (2)
Pengukuran Specificity Specificity = TN
TN+FP (3)
Pengukuran F1-score F1 score = 2(precision ×recall)
precision+recall (4)
Pengukuran Gmean gSS= √TP∗TN
√(TP+FN)(TN+FP) (5)
3. HASIL DAN PEMBAHASAN
3.1 Preprocessing Data
Hasil EDA pada dataset HAM10000 didapatkan yang ditunjukan oleh tabel 1 dan gambar 4 bahwa data menunjukan inbalanced dengan kelas paling sedikit yaitu Dermatofibroma (DF) dengan total 115 gambar dibandingkan dengan kelas paling banyak yaitu Melanoma(MEL) dengan total 6705 gambar.
Gambar 4. EDA data distribusi pada dataset
Visualisasi yang ditunjukan oleh gambar 4 memberikan gambaran hasil dari inbalaced data pada dataset penelitian ini.
3.2 Oversampling dan Augmentation Data
Penelitian pada tabel 1 dan hasil EDA pada gambar 4 menunjukan data yang perlu diterapkan Oversampling data dikarenakan perbantingan jauh jumlah data pada kelas DF dengan MEL. Penelitian ini menerapkan metode ROS untuk mengatasi inbalanced data, dengan prinsip ROS yang meningkatkan jumlah kelas minoritas dengan cara mehasilkan data baru secara random. Hasil dari proses ROS yaitu jumlah persebaran data pada kelas menjadi seimbang dan balanced dengan hasil yang dapat dilihat dari tabel 2.
Tabel 2. Distribusi kelas setelah oversampling
No Kelas Jumlah Data
1 Actinic keratoses (AKIEC) 6705 2 Basal cell carcinoma (BCC) 6705 3 Benign keratosis-like lesions (BKL) 6705
No Kelas Jumlah Data
4 Dermatofibroma (DF) 6705
5 Melanoma(MEL) 6705
6 Melanocytic nevi (NV) 6705
7 Vascular skin lesions (VASC) 6705
Pada penelitian ini untuk meningkatkan pelatihan model training dan menghindari overfitting, yaitu dengan teknik augmentasi yang diterapkan pada model ini, dengan beberapa tipe augmentasi diantaranya:
3.2.1 Augmentation 1
Pada augmentasi type 1 penelitian ini melakukan 3 metode augmentasi yaitu melakukan zoom sebesar 0.05, data gambar akan dilakukan random zoom-in atau out dari 0 hingga 5%. Horizontal flip yaitu melakukan flip gambar secara random ke kanan atau ke kiri. Vertical_flip yaitu melakukan flip gambar secara random ke atas atau ke bawah. Hasil augmentasi type ini dapat dilihat pada gambar 5 dengan penetapannya sebagai berikut:
a. zoom_range=0.05, gambar secara acak di zoom-in atau out 0-5%
b. Horizontal_flip=True gambar secara acak di-flip secara Horizontal (ke kanan atau ke kiri) c. vertical_flip=True gambar secara acak di-flip secara vertical (ke atas atau ke bawah).
Gambar 5. Visualisasi augmentasi type 1 3.2.2 Augmentation 2
Pada augmentasi type 2 penelitian ini melakukan 5 metode augmentasi yaitu melakukan ratation dengan nilai 10, data gambar akan dilakukan random rotation 0 sampai 10 derajat. Zoom dengan nilai 0.05, data gambar akan dilakukan random zoom-in atau out dari 0 hingga 5% zoom. Width shift yaitu melakukan pergeseran data gambar secara horizontal sejauh 1% dari posisi asli gambar. Height shift yaitu melakukan pergeseran data gambar secara vertikal sejauh 1% dari posisi asli gambar. Vertical_flip yaitu melakukan flip gambar secara random ke atas atau ke bawah. Hasil augmentasi type ini dapat dilihat pada gambar 6 dengan penetapannya sebagai berikut:
a. rotation_range=10, gambar secara acak diputar 0-10 derajat b. zoom_range=0.05, gambar secara acak di zoom-in atau out 0-5%
c. width_shift_range=0.01 gambar secara acak digeser horizontal (ke kanan atau ke kiri) sejauh 1%
d. height_shift_range=0.01 gambar secara acak digeser vertical (ke atas atau ke bawah) sejauh 1%
e. vertical_flip=True gambar secara acak di-flip secara vertical (ke atas atau ke bawah).
DOI: 10.30865/mib.v8i1.7119
Gambar 6. Visualisasi augmentasi type 2 3.3 Metode Klasifikasi
Pada penelitian ini terdapat 3 metode perbandingan pengujian dimana pengujian pertama menggunakan model custom CNN+dataset original dengan jumlah epoch 30, pengujian kedua menggunakan model custom CNN+
oversampling dan augmentasi tipe 1 dengan jumlah epoch 30, pengujian ketiga menggunakan model custom CNN+oversampling dan augmentasi tipe 2 dengan jumlah epoch 30.
Pada penelitian ini menambahkan earlystopping dengan patience 10 dan parameternya adalah loss dari model. Penerapan earlysopping membantu dalam efisiensi training model pada saat model tidak memiliki peningkatan training. Learning rate reduction juga ditambahkan untuk membantu kerja model dengan parameter monitor adalah vall akurasi patience 2, dengan ini akan memberikan model kesempatan untuk menyesuikan dan meningkatkan kinerja pada fase berikutnya.
Setelah dilakukannya training model, hasil pengujian pertama mendapatkan best accuracy 0,75%, recall sebesar 0,43%, precision sebesar, f1-score sebesar 0,46%, specificity sebesar 0,93%, sensificity sebesar 0,43%, dan gmean sebesar 0,63%. Pengujian kedua mendapatkan best accuracy 0.97, recall sebesar 0.97, precision sebesar 0.97 %,, f1-score sebesar 0.97 %, specificity sebesar 0. 9965, sensificity sebesar 0.97 dan gmean sebesar 0.987.
Pengujian ketiga mendapatkan best accuracy 0.98, recall sebesar 0.98, precision sebesar 0.98, f1-score sebesar 0.9968, specificity sebesar 0.9968, sensificity sebesar 098, dan gmean sebesar 0.988.
3.4 Perbandingan Evaluasi Confusion Matrix
Hasil evaluasi confusion matrix dari semua pengujian menjadi bahan evaluasi kembali oleh peneliti untuk melihat dari semua aspek yang ada di confusion matrix. Hasil visualisasi pada gambar 7-9 terlihat bahwa oversampling dan augmentasi tipe 2 pada gambar 9 memiliki hasil yang lebih baik dari kedua metode dengan dataset original maupun augmentasi tipe 2. Hasil yang sama juga terlihat bahwa visualisasi pada gambar 10-12 dengan parameter accuracy dan vall accuracy grafik dari teknik oversampling dan augmentasi tipe 2 gambar 12, mendapatkan hasil visualisasi lebih stabil diantara kedua lainnya.
Evaluasi selanjutnya dengan melakukan perbandingan dan merangkum metode mana yang memiliki nilai terbaik dari setiap parameter accuracy recall precision, f1-score, specificity, sensitivity, gmean. Hasil yang didapat untuk parameter accuracy diperoleh pengujian ketiga dengan hasil 0,98, best recall diperoleh pengujian keetiga dengan hasil 0,98, best precision diperoleh pengujian ketiga dengan hasil 0,98, best f1-score diperoleh pengujian
ketiga dengan hasil 0,98, best specificity diperoleh pengujian ketiga dengan hasil 0.99, best sensificity diperoleh pengujian dengan hasil 0.98, dan best gmean diperoleh pengujian ketiga dengan hasil 0,98.
Gambar 7. Confussion Matrix Custom CNN dengan Dataset Original
Gambar 8. Confusion Matrix Custom CNN dengan Oversampling augmentation type 1
Gambar 9. Confusion Matrix Custom CNN dengan Oversampling augmentation type 2
Berdasarkan hasil dari gambar 9 penelitian dengan oversampling dan augmentasi tipe 2 mendapatkan hasil yang hampir sama dengan gambar 8 oversampling dan augmentasi tipe 1 namun, masih diatas dari pengujian gambar 7 dengan dataset original tanpa adanya proses oversampling dan augmentasi data. Penelitian ini melanjutkan pengujian dengan melihat akurasi dan melakukan visualisasi dari 2 pengujian yang memiliki hasil yang hampir sama.
Gambar 10. Custom CNN dengan Dataset Original
GAMBAR 11. Acc dan Val Acc Custom CNN dengan Oversampling augmentation type 1
DOI: 10.30865/mib.v8i1.7119
Gambar 12. Acc dan Val Acc Custom CNN dengan Oversampling augmentation type 2
Hasil dari pengujian dengan melihat akurasi pada gambar 11-12 terlihat bahwa augmentasi type 2 mendapatkan hasil diatas lebih baik dari augmentasi type 1. Kestabilan dari validasi akurasi menunjukan baahwa Custom CNN dengan Oversampling augmentation type 2 lebih stabil dan jarak yang kecil. Selanjutnya peneliti melakukan perbandingan pengujian untuk membandingkan dalam bentuk nilai capaian accuracy, recall, precision, f1-Score, Specificity, sensitivity, gmean dalam bentuk tabel 3 dibawah ini.
Tabel 3. Hasil perbandingan pengujian Model Klasifikasi accuracy recall precision f1-
Score Specificity sensitivity gmean Custom CNN dengan
Dataset Original 0.752396 0.436935 0.658735 0.469204 0.93524 0.436935 0.
639251 Custom CNN dengan
Oversampling dan Augmentation 1
0.
979205
0.
979095 0.979888 0.
978788 0.996534 0. 979095 0.
987776 Custom CNN dengan
Oversampling dan Augmentation 2
0.
980824
0.
980698 0.981622 0.
980474 0.996802 0. 980698 0.
988717 Hasil dari tabel 3 menujukan bahwa Custom CNN dengan Oversampling dan Augmentation 1 mendapatkan beberapa hasil yang hampir sama dengan Custom CNN dengan Oversampling dan Augmentation 2. Parameter specificity dan gmean adalah paramater dengan nilai yang dapat dilihat hampir mendekati sama. Hasil akhir dalam perbandingan ini melihat dari semua aspek parameter, Custom CNN dengan Oversampling dan Augmentation 2 adalah metode yang terbaik. Hasil ini juga membuktikan metode Oversampling dan Augmentasi mendapat hasil jauh dibandingkan dengan metode Custom CNN dengan dataset Original.
Tabel 4. Performance comparison with the state-of-the art models
Referensi Tahun Metode accuracy recall precision f1-
score
[29] 2023 InceptionResnet-V2 0.9126 0. 91 0.91 0.91
[30] 2023 ESVMKRF-HEAO 0.974 0.959 0.963 0.974
[31] 2023 AttDenseNet-121 0.98 0. 854 0.918 0.856
[32] 2023 EfficientNetV2 0.9496 0.9374 0.9316 0.9324
Penelitian
ini 2023 Custom CNN with Oversampling and
Augmentation 0. 98 0.98 0.981 0.98
Penelitian ini juga melakukan perbandingan dari penelitian terbaru yang dilakukan beberapa peneliti dengan perbedaan pada metode model, oversampling dan augmentasi pada dataset HAM10000 yang dapat dilihat pada tabel 4. Hasil yang didapat menunjukan penelitian ini mendapatkan hasil lebih baik dengan parameter accuracy, recall, precision, f1-score dengan nilai 0. 98, 0.98, 0.981, 0.98. Hasil ini menunjukan bahwa penelitian ini memiliki kestabilan akurasi, recall, precision, dan f1-score dibandingan penelitian [31] yang memiliki akurasi yang sama akan tetapi pada parameter recall, precision, f1-score mendapatkan hasil dibawah penilitian ini.
4. KESIMPULAN
Peneliti telah membandingkan hasil model dan evaluasi confusion matrix dari ketiga pengujian dengan model yang sama yaitu custom CNN, batch 128, dan epoch 30. Tujuan dari penelitian ini untuk menentukan hasil pengujian oversampling dan augmentasi yang memiliki pengaruh kepada performa model CNN dalam pengklasifikakan penyakit kulit pada dataset HAM10000. Berdasarkan hasil pengujian performa pengujian pertama mendapatkan hasil accuracy 0.75, recall 0.43, precision 0.65, f1-score 0.46, specificity 0.93, sensitivity 0.43, gmean 0.63.
Pengujian kedua mendapatkan hasil accuracy 0.97, recall 0.97, precision 0.97, f1-score 0.97, specificity 0.9965,
sensitivity 0.97, gmean 0.987. Pengujian ketiga mendapatkan hasil accuracy 0.98, recall 0.98, precision 0.98, f1- score 0.9968, specificity 0.98, sensitivity 0.988, gmean 0.988. Hasil ini menunjukan bahwa pengujian ketiga dengan augmentasi rotation, zoom,width, height, vertical_flip mendapat hasil terbaik dengan accuracy 0.98, recall 0.98, precision 0.98, f1-score 0.9968, specificity 0.98, sensitivity 0.988, gmean 0.988. Dengan hasil dan merujuk pada tabel 4 metode ini dapat direkomendasikan dalam pengklasifikasian citra penyakit kulit.
REFERENCES
[1] M. Hidayatullah, “Diagnosis Penyakit Kulit pada Manusia dengan Metode Naive Bayes menggunakan Shiny,” vol. 3, no. 3, 2023.
[2] I. M. Dijkhoff et al., “Impact of airborne particulate matter on skin: A systematic review from epidemiology to in vitro studies,” Part. Fibre Toxicol., vol. 17, no. 1, pp. 1–28, 2020, doi: 10.1186/s12989-020-00366-y.
[3] “Scabies - World Health Organization (WHO),” Online, 2023. https://www.who.int/news-room/fact-sheets/detail/scabies [4] “Scabies - World Health Organization (WHO),” Online, 2023. https://www.who.int/health-topics/scabies
[5] P. Tschandl, C. Rosendahl, and H. Kittler, “Data Descriptor : The HAM 10000 dataset , a large collection of multi-source dermatoscopic images of common pigmented skin lesions,” Nat. Publ. Gr., pp. 1–9, 2018, doi: 10.1038/sdata.2018.161.
[6] KKI, “STR-Konsil Kedokteran Indonesia,” 2023. https://kki.go.id/ (accessed Dec. 10, 2023).
[7] Dirjen Pelayanan Kesehatan, “PERANAN PATOLOGI ANATOMI,” 2022.
https://yankes.kemkes.go.id/view_artikel/459/peranan-patologi-anatomi
[8] N. Nurkhasanah and M. Murinto, “Klasifikasi Penyakit Kulit Wajah Menggunakan Metode Convolutional Neural Network,” Sainteks, vol. 18, no. 2, p. 183, Feb. 2022, doi: 10.30595/sainteks.v18i2.13188.
[9] D. D. Putri, M. T. Furqon, and R. S. Perdana, “Klasifikasi Penyakit Kulit Pada Manusia Menggunakan Metode Binary Decision Tree Support Vector Machine ( BDTSVM ),” J. Pengemb. Teknol. Inf. dan Ilmu Komput., vol. 2, no. 5, pp.
1912–1920, 2018.
[10] M. F. Naufal, “Comparative Analysis of Image Classification Algorithm for,” J. Teknol. Inf. dan Ilmu Komput., vol. 8, no. 2, pp. 311–318, 2021, doi: 10.25126/jtiik.202184553.
[11] N. Nurkhasanah and M. Murinto, “Klasifikasi Penyakit Kulit Wajah Menggunakan Metode Convolutional Neural Network,” Sainteks, vol. 18, no. 2, p. 183, 2021, doi: 10.30595/sainteks.v18i2.13188.
[12] Z. Huang, X. Yao, Y. Liu, C. O. Dumitru, M. Datcu, and J. Han, “Physically explainable CNN for SAR image classification,” ISPRS J. Photogramm. Remote Sens., vol. 190, pp. 25–37, 2022, doi: 10.1016/j.isprsjprs.2022.05.008.
[13] N. E. Khalifa, M. Loey, and S. Mirjalili, “A comprehensive survey of recent trends in deep learning for digital images augmentation,” Artif. Intell. Rev., vol. 55, no. 3, pp. 2351–2377, 2022, doi: 10.1007/s10462-021-10066-4.
[14] T. Kumar, A. Mileo, R. Brennan, and M. Bendechache, “Image Data Augmentation Approaches: A Comprehensive Survey and Future directions,” vol. 6223, 2023, [Online]. Available: http://arxiv.org/abs/2301.02830
[15] S. Diantika, “PENERAPAN TEKNIK RANDOM OVERSAMPLING UNTUK MENGATASI IMBALANCE CLASS DALAM KLASIFIKASI WEBSITE PHISHING MENGGUNAKAN ALGORITMA LIGHTGBM,” JATI (Jurnal Mhs.
Tek. Inform., vol. 7, no. 1, pp. 19–25, Jan. 2023, doi: 10.36040/jati.v7i1.6006.
[16] S. Choirunnisa, “Metode Hibrida Oversampling dan Undersampling Untuk Menangani Ketidakseimbangan Data Kegagalan Aakademik Universitas XYZ,” 2019.
[17] L. Qadrini, H. Hikmah, and M. Megasari, “Oversampling, Undersampling, Smote SVM dan Random Forest pada Klasifikasi Penerima Bidikmisi Sejawa Timur Tahun 2017,” J. Comput. Syst. Informatics, vol. 3, no. 4, pp. 386–391, 2022, doi: 10.47065/josyc.v3i4.2154.
[18] T. B. Sasongko, H. Haryoko, and A. Amrullah, “Analisis Efek Augmentasi Dataset dan Fine Tune pada Algoritma Pre- Trained Convolutional Neural Network (CNN),” J. Teknol. Inf. dan Ilmu Komput., vol. 10, no. 4, pp. 763–768, 2023, doi: 10.25126/jtiik.20241046583.
[19] L. Alzubaidi et al., “Review of deep learning: concepts, CNN architectures, challenges, applications, future directions,”
J. Big Data, vol. 8, no. 1, p. 53, Mar. 2021, doi: 10.1186/s40537-021-00444-8.
[20] G. Lukas Hansel and H. Bunyamin, “Penggunaan Augmentasi Data pada Klasifikasi Jenis Kanker Payudara dengan Model Resnet-34,” J. Strateg., vol. 3, no. 1, pp. 187–193, 2021.
[21] G. Aresta et al., “BACH: Grand challenge on breast cancer histology images,” Med. Image Anal., vol. 56, pp. 122–139, 2019, doi: 10.1016/j.media.2019.05.010.
[22] A. Jordan et al., “Improving Batik Pattern Classification using CNN with Advanced Augmentation and Oversampling on Imbalanced Dataset,” Procedia Comput. Sci., vol. 227, pp. 508–517, 2023, doi: 10.1016/j.procs.2023.10.552.
[23] M. Hayaty, S. Muthmainah, and S. M. Ghufran, “Random and Synthetic Over-Sampling Approach to Resolve Data Imbalance in Classification,” Int. J. Artif. Intell. Res., vol. 4, no. 2, p. 86, 2021, doi: 10.29099/ijair.v4i2.152.
[24] J. M. Johnson and T. M. Khoshgoftaar, “Deep learning and data sampling with imbalanced big data,” Proc. - 2019 IEEE 20th Int. Conf. Inf. Reuse Integr. Data Sci. IRI 2019, no. October, pp. 175–183, 2019, doi: 10.1109/IRI.2019.00038.
[25] K. Thaiyalnayaki, S. Raghul, U. K. Kumar, and S. Ramachandran, “Automatic classification of cassava using data augmentation and CNN,” AIP Conf. Proc., vol. 2405, no. August, 2022, doi: 10.1063/5.0072729.
[26] A. Maistry, A. Pillay, and E. Jembere, “Improving the accuracy of diabetes retinopathy image classification using augmentation,” ACM Int. Conf. Proceeding Ser., pp. 134–140, 2020, doi: 10.1145/3410886.3410914.
[27] K. Mallikharjuna Rao, G. Saikrishna, and K. Supriya, “Data preprocessing techniques: emergence and selection towards machine learning models - a practical review using HPA dataset,” Multimed. Tools Appl., vol. 82, no. 24, pp. 37177–
37196, Oct. 2023, doi: 10.1007/s11042-023-15087-5.
[28] F. Last, G. Douzas, and F. Bacao, “Oversampling for Imbalanced Learning Based on K-Means and SMOTE,” pp. 1–19, 2017, doi: 10.1016/j.ins.2018.06.056.
[29] G. Alwakid, W. Gouda, M. Humayun, and N. Z. Jhanjhi, “Diagnosing Melanomas in Dermoscopy Images Using Deep Learning,” Diagnostics, vol. 13, no. 10, pp. 1–15, 2023, doi: 10.3390/diagnostics13101815.
DOI: 10.30865/mib.v8i1.7119
[30] B. Kalpana, A. K. Reshmy, S. Senthil Pandi, and S. Dhanasekaran, “OESV-KRF: Optimal ensemble support vector kernel random forest based early detection and classification of skin diseases,” Biomed. Signal Process. Control, vol. 85, p.
104779, Aug. 2023, doi: 10.1016/j.bspc.2023.104779.
[31] P. Shan, C. Fu, L. Dai, T. Jia, M. Tie, and J. Liu, “Automatic skin lesion classification using a new densely connected convolutional network with an SF module,” Med. Biol. Eng. Comput., vol. 60, no. 8, pp. 2173–2188, Aug. 2022, doi:
10.1007/s11517-022-02583-3.
[32] X. Ma, J. Shan, F. Ning, W. Li, and H. Li, “EFFNet: A skin cancer classification model based on feature fusion and random forests,” PLoS One, vol. 18, no. 10 October, pp. 1–17, 2023, doi: 10.1371/journal.pone.0293266.
