Pembelajaran mendalam merupakan subbidang pembelajaran mesin yang diperkenalkan pada tahun 1986, kemudian diterapkan pada tahun 2000 pada jaringan saraf tiruan (ANN) (Schmidhuber, 2015). Salah satu potensi pembelajaran mendalam adalah mengganti fitur yang dihasilkan secara manual dengan algoritma yang efisien untuk pembelajaran hierarki tanpa pengawasan atau pembelajaran fitur semi-supervisi dan ekstraksi fitur hierarki (ekstraksi fitur) (Schmidhuber, 2015). Penerapan deep learning telah digunakan di beberapa bidang seperti klasifikasi gambar, klasifikasi video, deteksi objek, pengenalan pola, teks ke ucapan, bahasa alami.
Metode perhitungan proses konvolusi diilustrasikan pada Gambar 2.4, dimana piksel gambar dikalikan dengan filter untuk mendapatkan keluaran peta fitur. Sumber : (https://labs.bawi.io/deep-learning-convolutional-neural-networks/) Padding terdiri dari 2 jenis yaitu same padding dan valid padding.
Fully Connected Layer
Fungsi ini biasanya digunakan pada akhir lapisan yang terhubung penuh untuk klasifikasi lebih dari dua kelas yang digunakan dalam CNN untuk mendapatkan nilai probabilitas suatu objek untuk kelas yang ada (Wulandari et al., 2019). Fungsi kerugian merupakan fungsi yang menggambarkan kerugian terkait dengan segala kemungkinan yang dihasilkan oleh model. Ketika suatu model memiliki banyak kelas, harus ada cara untuk mengukur perbedaan antara probabilitas hasil hipotetis dan probabilitas kebenaran sebenarnya, dan selama pelatihan banyak algoritma dapat menyesuaikan parameter sehingga perbedaan ini diminimalkan (Wulandari et al. . , 2019).
Stochastic Gradient Descent adalah algoritma yang biasa digunakan dalam pembelajaran mesin, jaringan saraf dan pembelajaran mendalam untuk melakukan optimasi. Institut Teknologi Nasional | Dengan bobot awal dengan gradien yang diperoleh pada proses backward pass atau back propagation, tujuannya adalah untuk meminimalkan nilai fungsi kerugian (Ruder, 2017).
Overfittng, Underfitting, and Regularization
Reguralization
L2 Regularization
Institut Teknologi Nasional | Terakhir, neuron yang akan dihilangkan dipilih secara acak oleh sistem dan bobotnya tidak diperbarui selama proses pelatihan (Srivastava et al., 2014). Dalam jurnal asli yang mengusulkan lapisan dropout (Srivastava et al., 2014), dropout diimplementasikan pada setiap lapisan yang terhubung sepenuhnya, yang merupakan konfigurasi paling umum. Namun, dalam penelitian terbaru, dropout layer dapat diimplementasikan pada lapisan konvolusi setelah operasi ReLu (Liu, Tian, &. B, 2017).
Data Augmentasi
Transfer Learning
Memilih Pendekatan Transfer Learning
Pada dasarnya lapisan konvolusional pada lapisan bawah/awal merupakan prosedur ekstraksi fitur umum (Elgendy, 2019). Berdasarkan faktor-faktor yang dijelaskan pada poin 1 dan 2, Tabel 2.1 dan Gambar 2.14 memberikan aturan umum untuk pendekatan pembelajaran transfer. Melatih lapisan ekstraksi fitur tidak baik karena kumpulan data yang kecil tidak dapat memberikan informasi fitur yang cukup untuk generalisasi data, akibatnya, data tersebut akan terlalu divitalisasi.
Namun, seperti pada skenario #1, karena Anda memiliki kumpulan data yang besar, latih kembali lapisan fitur yang mewakili fitur tertentu, yaitu lapisan atas. Lapisan benih mewakili peta fitur yang sangat umum dan berguna untuk kumpulan data target kecil.
ImageNet
ImageNet banyak digunakan oleh para peneliti sebagai subset pra-pelatihan untuk mengadaptasi fitur-fiturnya terhadap tugas-tugas baru dan telah menjadi standar de facto untuk memecahkan berbagai masalah dalam visi komputer (Efros, 2016). Hasil yang baik dicapai dengan menggunakan pembelajaran transfer dalam penelitian klasifikasi gambar tertentu (Suh, IJsselmuiden, Hofstee, & van Henten, 2018) dengan akurasi 98,7% dengan kumpulan data hanya 1100 menggunakan arsitektur AlexNet di sektor pertanian untuk klasifikasi gula bit dan kentang sukarela. Kemudian penelitian dengan gambar spesifik lainnya di bidang medis (Shu, 2019) mencapai periodisasi sebesar 94,82% menggunakan arsitektur VGG19 untuk klasifikasi tumor otak menggunakan dataset 3064.
Dataset ini menjadi benchmark untuk computer vision seperti Celtech101 / Celtech256 dan PASCAL yang berperan penting dalam penelitian pengenalan dan pengenalan objek.
Arsitektur Visual Geometry Group (VGG Network)
Model VGGNet dirancang untuk mengurangi kernel besar di AlexNet 1x1 dan 5x5 dan menggantinya dengan beberapa kernel 3x3 dengan 1 langkah, yang berguna untuk mengekstraksi fitur yang kompleks (Simonyan & Zisserman, 2015). Kemudian, setelah setiap operasi, blok konvolusional direduksi menggunakan operasi maxpooling 2x2 dengan 2 langkah dan diakhiri dengan 2 lapisan padat sebanyak 4096 node/neuron.
Arsitektur Google Network (Inceptionv3)
Pelatihan Neural Network
Forward Pass
Pada tahap ini, data dari masukan akan ditransfer ke lapisan keluaran oleh masing-masing neuron pada lapisan tersembunyi seperti lapisan konvolusi pada subbab 2.5.2 pada Gambar 2.3.
Backward Pass
Penyakit Daun Kentang
Tinjauan Pustaka
Perbedaan penelitian yang dilakukan adalah penelitian dilakukan dengan menggunakan metode pembelajaran transfer VGG16 dan InceptionV3. Perbedaan penelitian yang dilakukan adalah penelitian dilakukan dengan menggunakan metode transfer learning dengan model VGG16 dan InceptionV3. Institut Teknologi Nasional | 33, yang dilakukan menggunakan metode pembelajaran transfer VGG16 dan InceptionV3 dengan dataset penyakit daun kentang.
Apa yang membuat penelitian ini berbeda adalah penelitian ini menggunakan pendekatan penyempurnaan pada kumpulan data penyakit daun kentang. Dalam penelitian ini digunakan 2 arsitektur yaitu CNN dengan 3 feature learning layer dan 2 classification layer serta model AlexNet dengan transfer learning. Kontribusi penelitian ini adalah klasifikasi penyakit pada daun mangga dan daun kentang serta membandingkan kinerja kedua model menggunakan metode CNN dan transfer learning AlexNet.
Tujuan dari penelitian ini adalah untuk mengklasifikasikan penyakit daun selentingan menggunakan konsep metode transfer learning menggunakan model pre-trained InceptionV3, VGG16 dan VGG19 dengan pengklasifikasi SVM, regresi logistik dan jaringan saraf. Kontribusi penelitian ini adalah klasifikasi penyakit daun selentingan menggunakan metode transfer learning dengan mengubah model lapisan atas. Perbedaan penelitian yang dilakukan terletak pada metode yang digunakan transfer learning dengan menggunakan model pre-trained VGG16 dan InceptionV3.
Penelitian (Bernico et al., 2019) meneliti pengaruh kesamaan domain antara domain sumber dan domain target terhadap penggunaan metode transfer learning. Penelitian (Too et al., 2019) terkait dengan penelitian ini yaitu implementasi dan perbandingan metode pembelajaran transfer menggunakan dataset PlantVillage, tetapi menggunakan berbagai model yang telah dilatih sebelumnya (VGG16, .National Institute of Technology | 36 InceptionV4, ResNet- 50, ResNet -101, ResNet-152, DenseNet-121 dan DenseNet). Selanjutnya dilakukan penelitian terkait penyakit daun dengan (Arya & Singh, 2019) klasifikasi penyakit daun kentang dan mangga menggunakan transfer learning CNN dan AlexNet, (Gangwar et al., 2020) klasifikasi penyakit daun anggur menggunakan metode transfer learning InceptionV3 dengan pengklasifikasi regresi logistik, dan (Agarawal, M. et al, 2020) klasifikasi penyakit daun kentang menggunakan metode CNN empat lapis dengan pendekatan kaviar dalam melatih model.
Pengujian Kinerja Sistem
Penelitian (Mohanty et al., 2016) melakukan penelitian untuk menguji reliabilitas dataset PlantVillage terhadap data pengujian lainnya (121 data IPM dan 119 pencarian gambar Bing) dengan menggunakan arsitektur GoogleNet dan AlexNet. Berdasarkan tinjauan pustaka, pada Gambar 2.18 di bawah ini merupakan pemetaan tinjauan pustaka yang mendukung penelitian ini.
Studi Kasus
Transfer Learning dan Fine-Tuning VGG16 dan Inceptionv3
Tambahkan lapisan Global Average Pooling untuk mengubah matriks menjadi vektor 1D dari bentuk keluaran blok5 7x7x512 menjadi 1x1x512, seperti yang ditunjukkan pada Gambar 2.20. Lakukan penyetelan pada model yang telah dilatih sebelumnya. Dalam studi kasus ini, penyetelan dilakukan pada model terlatih VGG16 lapisan ke-7 atau konvolusi blok3. Tranable = Benar jika lapisan telah dilatih ulang, Dapat Dilatih Salah jika lapisan belum dilatih ulang (dibekukan) atau bobotnya belum diperbarui.
Modifikasi lapisan atas dengan menambahkan 3 lapisan yang terhubung penuh ke lapisan atas, 2 lapisan FC menggunakan 4096 neuron dengan dropout 0,4, dan lapisan FC terakhir menggunakan 3 neuron dengan aktivasi softmax. Sedangkan learning transfer dan fine tuning InceptionV3 pada penelitian ini dimulai dari setup modul Inception mixed10 kembali ke setup keseluruhan jaringan. Pada studi kasus ini, setup dilakukan pada modul Inception mixed6 atau layer 165 dengan menambahkan lapisan atas menggunakan parameter FC Size 4096x2 dan dropout 0.4.
Tambahkan layer Global Average Pooling untuk mengubah matriks menjadi vektor 1D dari format output 5x5x2048 menjadi mixed10 setelah menambahkan layer GlobalAveragePooling menjadi 1x1x2048 seperti pada Gambar 2.25. Lakukan pembelajaran transfer dan penyiapan pada model yang telah dilatih sebelumnya. Dalam studi kasus ini, model InceptionV3 diatur ke lapisan 165 atau modul Inception mixed6. Dapat Dilatih Benar jika lapisan dilatih ulang atau bobotnya diperbarui, Dapat Dilatih Salah jika lapisan tidak dilatih ulang (dibekukan) atau bobotnya tidak diperbarui.
Pre-processing
Convolution
Kemudian untuk menghitungnya, lakukan cara yang sama pada poin 6 sehingga diperoleh hasil konvolusi matriks masukan dengan filter seperti pada Gambar 2.37.
Batch Normalization
Kurangi nilai matriks hasil konvolusi pada Gambar 2.36 dari matriks hasil rata-rata miniseri yang ditunjukkan pada Gambar 2.37. Kuadratkan setiap elemen pada matriks varians miniseri pada Gambar 2.38 sehingga diperoleh matriks seperti Gambar 2.39. Jumlahkan setiap kolom hasil variance minibatch kuadrat yang terdapat pada matriks pada Gambar 2.39, kemudian bagi dengan panjang kolom sehingga diperoleh matriks 1x5 seperti pada Gambar 2.41.
Hitung normalisasi menggunakan persamaan (2.5) pada matriks hasil mini batch untuk varian langkah 2c pada Gambar 2.40. Hitung akar kuadrat dari jumlah masing-masing elemen matriks pada matriks hasil variabel mini-jurnal langkah 2c pada Gambar 2.41 lalu tambahkan dengan 10−8 sehingga menghasilkan matriks seperti Gambar 2.41. Hitung distribusi tiap baris pada matriks hasil variance mini batch 2a pada Gambar 2.38 dengan matriks normalisasi hasil langkah 3a pada Gambar 2.41.
Lakukan operasi pembagian pada baris kedua, ketiga, dan keempat pada matriks 2a (Gambar 2.38) sehingga diperoleh matriks pada Gambar 2.42. ReLu dijalankan pada setiap hasil konvolusi dan/atau setelah normalisasi batch. Studi kasus ini menggunakan matriks hasil normalisasi batch Gambar 2.42 dengan mengubah nilai negatif menjadi sama dengan 0, dan menjaga nilai lebih besar dari 0.
Pooling
- Max pooling dan Average pooling
- Global Average Pooling
Institut Teknologi Nasional | 54 Nilai GAP pada Gambar 2.47 masih dihitung pada 1 channel R dengan jumlah filter 1, banyaknya hasil GAP bergantung pada jumlah filter pada setiap operasi konvolusi pada masing-masing model.
Fully Connected Layer
Dropout
Setelah menerapkan dropout pada lapisan yang terhubung penuh, selanjutnya dilakukan perhitungan probabilitas untuk setiap kelas menggunakan softmax. Fungsi softmax diterapkan pada vektor lapisan 1D yang terhubung penuh dengan dropout yang diilustrasikan pada Gambar 2.49. Softmax digunakan untuk mendapatkan nilai probabilitas suatu objek pada kelas tertentu. Misalnya untuk studi kasus, pada penelitian ini terdapat 3 vektor ciri karena terdiri dari 3 kelas maka dihitung 3 ground truth dari hasil vektor layer yang terhubung penuh.
Karena proses ini berlangsung pada lapisan tersembunyi, maka nilai bobot dan biasnya tidak dapat terlihat. Oleh karena itu, nilai bobot dan bias diinisialisasi secara acak, yang diilustrasikan pada Gambar 2.50. Dari hasil perhitungan untuk menghitung probabilitas ground truth dari 3 kelas tersebut, diperoleh nilai softmax sebagai berikut, dimana hasil prediksi mendapatkan p-value probabilitas tertinggi pada kelas pertama.
Categoircal Corss Entropy
Institut Teknologi Nasional | 59 Dari perhitungan cost atau error menggunakan cross-entropy diperoleh nilai fungsi kerugian sebesar 0,1436.
Backward Pass
Namun studi kasus ini menggunakan nilai learning rate η sebesar 0,001 agar nilai outputnya tidak terlalu kecil agar proses perhitungannya mudah dipahami. Untuk nilai α umumnya menggunakan α = 0.0 karena survey menggunakan hard frame yang secara default tidak menggunakan bootstrapping.
