84
Tabel 4.22. Rekapitulasi Hasil Pengujian Algoritma-algoritma Machine Learning dengan tingkat keberhasilan tertinggi
Objek Citra
Algoritma dengan keberhasilan
tertinggi
Kelas Yes Kelas No Persentasi Keber-hasilan Benar Salah Benar Salah
Wajah Sahrul
Logistic Regression
9 1 10 0 95 %
Kupu-kupu Random Forest 6 4 8 2 70 %
Bunga matahari
C4.5 Decision Tree
9 1 6 4 75 %
Cangkir Naïve Bayes 7 3 8 2 75 %
Hasil-hasil penelitian yang telah dibahas masih membutuhkan diskusi lebih lanjut. Hal tersebut akan didiskusikan pada sub bab Pembahasan.
85
browser. Semua proses harus dilaksanakan di sisi server. Hal ini sangat mempermudah pengguna karena dapat menggunakan aplikasi dengan hanya bermodalkan web browser. Namun programmer (peneliti) harus bekerja keras untuk mewujudkan hal tersebut.
GAE juga membatasi programmer dalam menggunakan native library yang biasanya digunakan pada pemrograman Java. GAE hanya dapat menerima low level library. Pada GAE ada yang istilah white list library/API yaitu library/API yang diperbolehkan digunakan dalam GAE.
Salah satu library populer dalam pengolahan citra di Java adalah imageIO. Library ini sangat memudahkan dalam pengolahan citra, seperti mengambil gambar citra, memanipulasi citra, membaca dan memanipulasi pixel. Namun library ini tidak termasuk white list dari GAE. API populer yang sering digunakan dalam pengolahan citra pada umumnya juga tidak dapat digunakan karena API tersebut juga menggunakan library imageIO.
GAE mempunyai API sendiri dalam memanipulasi citra digital seperti mengubah ukuran citra, rotasi dan flip, namun belum dapat mengeksplorasi pixel citra, sementara aplikasi yang dibangun membutuhkan ekplorasi pixel untuk diolah dan dijadikan data set.
Penelitian sempat terhambat pada masalah ini, namun setelah membaca beberapa literatur di internet, ternyata ada library yang dapat menggantikan imageIO dan merupakan dapat berjalan di GAE. Library tersebut bernama PNGJ. Library ini fungsinya mirip dengan imageIO namun hanya terbatas pada file citra bertype PNG. File PNG memang
86
secara umum digunakan untuk citra web, sehingga peneliti berasumsi bahwa alasan inilah yang menyebabkan mengapa file PNG dapat diekplorasi secara detail pada GAE yang juga berjalan pada web browser.
Aplikasi yang dibangun telah mengalami beberapa revisi setiap kali di-deploy, setiap revisi terekam dalam bentuk versi aplikasi. Versi pertama, aplikasi telah dapat dijalankan namun belum mempunyai modul autentikasi atau modul login. Versi kedua telah dilengkapi dengan modul login, namun masih mempunyai bug dimana jika koneksi lambat, menu yang mestinya non aktif ketika pengguna belum login sempat aktif beberapa detik sebelum non aktif. Versi ketiga memperbaiki bug tersebut namun data set uji dan latih ketika dilakukan proses pengujian dan pelatihan belum terbagi secara proporsional. Versi keempat memperbaiki hal tersebut, dan pada saat ini versi keempat merupakan versi terakhir.
Namun kedepan tetap akan dilakukan penambahan-penambahan pada penelitian selanjutnya, sehingga versinya pun akan berubah.
Aplikasi ini didesain dengan batasan, input citra yang dapat digunakan hanya file PNG true color dan klasifikasi yang digunakan jenis klasifikasi binary (ya atau tidak). Aplikasi tetap terbuka untuk dikembangkan namun hal tersebut akan dilakukan pada penelitan berikutnya.
Rekapitulasi hasil pengujian black box pada Tabel 4.12 dan Tabel 4.17 memperlihatkan bahwa semua modul/fungsi dari aplikasi dapat berjalan sesuai keinginan. Hal ini tidak langsung dapat terwujud. Peneliti
87
beberapa kali menghadapi kendala dalam pembuatan aplikasi. Salah satu kendala yang telah disebutkan sebelumnya tentang white list GAE.
Terkadang untuk menguji penggalan-penggalan ide dalam bentuk kode program, peneliti mencoba membuat program sederhana berbasis desktop, setelah sukses, peneliti mengira hal tersebut juga dapat sukses di implementasikan pada pemrograman berbasis servlet GAE di Eclipse yang menggunakan plugin GAE, namun ternyata ada beberapa yang tidak sukses. Berkat ketekunan peneliti, sehingga semua modul/fungsi dapat berjalan.
Berjalan di Eclipse dengan plugin GAE pun bukan jaminan dapat berjalan di GAE sesungguhnya (secara online), terkadang masih ada modul/fungsi yang berfungsi di komputer peneliti sebelum di-deploy namun tidak berfungsi setelah di-deploy ke GAE yang diakses secara online melalui web browser. Sekali lagi, berkat ketekunan peneliti, mencari solusinya sehingga hal tersebut dapat dipecahkan. Jadi, seluruh modul/fungsi yang telah sukses melewati pengujian black box, pengujiannya dilakukan secara online dengan hanya bermodalkan web browser.
Aplikasi ini diperuntukkan untuk mengenali citra digital. Sebelum mengenali citra, terlebih dahulu dilakukan pengujian algoritma-algoritma machine learning yang telah disediakan. Algoritma yang mempunyai tingkat keberhasilan tertinggilah yang digunakan untuk mengenali citra digital. Rekapitulasi Hasil Pengujian Algoritma-algoritma Machine Learning
88
dengan tingkat keberhasilan tertinggi dalam mengenali data set citra wajah sahrul, kupu-kupu, bunga matahari dan cangkir dapat dilihat pada Tabel 4.22. Pada Tabel tersebut, untuk mengenali wajah sahrul, algoritma logistic regression mendapatkan tingkat keberhasilan tertinggi. Algoritma random forest tertinggi dalam mengenali citra kupu-kupu. Algoritma C4.5 Decision Tree mendapatkan keberhasilan tertinggi dalam mengenali citra bunga matahari. naïve bayes mendapatkan tingkat keberhasilan tertinggi dalam mengenali citra cangkir. Jika dibandingkan setiap algoritma tersebut maka algoritma logistic regression mencapai tingkat keberhasilan tertinggi yaitu 95%.
Peneliti mencoba untuk proporsional dalam membandingkan algoritma-algoritma machine learning yang digunakan. Ada 4 jenis objek yang diuji, semuanya memiliki data set dengan perbandingan yang proporsional yaitu jumlah data set 50, 30 untuk pelatihan dan 20 untuk pengujian. Data set pelatihan dibagi lagi secara proporsional yaitu 15 untuk kelas yes dan 15 untuk kelas no. hal tersebut juga berlaku pada data set pengujian yaitu 10 untuk kelas yes dan 10 untuk kelas no.
Ada dua hal yang mempengaruhi kesuksesan sebuah algoritma machine learning dalam mengenali citra digital. Pertama adalah jenis data set yang diberikan. aplikasi yang dibangun menggunakan pra-proses berupa normalisasi dan bag of words (BoW). Setiap citra digital, sebelum menjadi data set latih dan uji, mengalami perubahan ukuran citra menjadi 64X64 pixel kemudian dilakukan BoW 16 bagian. Dalam
penelitian-89
penelitian machine learning, hal ini biasa dilakukan dan dikenal dengan nama filterisasi data set. Metode filterisasi data set yang berbeda dapat mempengaruhi tingkat keberhasilan algoritma machine learning dalam mengenali citra digital.
Hasil pengujian memperlihatkan bahwa data set wajah mempunyai tingkat keberhasilan tertinggi. Hal ini dapat disebabkan karena dari setiap data set yang ada (lihat lampiran 6 sampai lampiran 9), citra-citra pada data set wajah kelihatan lebih fokus/lebih jelas dan lebih konsisten dibandingkan ketiga data set lainnya. Kefokusan dan kekonsistenan data set dapat mempengaruhi tingkat keberhasilan algoritma machine learning dalam mengenali citra digital.
Hal kedua yang mempengaruhi kesuksesan sebuah algoritma machine learning dalam mengenali citra digital adalah jenis algoritma machine learning yang digunakan. Pada aplikasi ini algoritma-algoritma machine learning yang digunakan adalah algoritma-algoritma klasifikasi Machine Learning WEKA dengan default setting. Padahal, algoritma-algoritma tersebut masih bisa diekplorasi dengan setting yang bervariasi, misalnya algoritma K-Nearest Neighbor, dimana nilai K dapat bervariasi, misalnya K=2, K=3, dan sebagainya, namun pada penelitian ini hanya menggunakan nilai K=1.
Algoritma logistic regression mempunyai tingkat keberhasilan tertinggi dari setiap algoritma machine learning yang diuji. Hal ini sesuai dengan sifatnya yang memang diperuntukkan bagi klasifikasi biner.
90
Namun kenyataannya, dari 4 jenis data set, algoritma ini hanya unggul di satu data set, yaitu data set wajah. Artinya, meskipun algoritma ini dikhususkan bagi klasifikasi biner, namun algoritma ini juga membutuhkan kondisi data set yang fokus dan konsisten seperti data set wajah.
Hasil diskusi pada pembahasan diharapkan dapat menjadi ide-ide pengembangan untuk penelitian selanjutnya. Hal ini dibahas pada sub bab berikutnya.