PERBANDINGAN KINERJA SINGLE DAN MULTIPLE FEATURE PADA
SISTEM TEMU KEMBALI CITRA TUMBUHAN MENGGUNAKAN
ENSEMBLE MULTINOMIAL LOGISTIC REGRESSION
YUANDRI TRISAPUTRA
DEPARTEMEN ILMU KOMPUTER
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR
BOGOR 2016
PERNYATAAN MENGENAI SKRIPSI DAN
SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA
Dengan ini saya menyatakan bahwa skripsi berjudul Perbandingan KinerjaSingle dan Multiple Feature pada Sistem Temu Kembali Citra Tumbuhan
Menggunakan Ensemble Multinomial Logistic Regression adalah benar karya saya dengan arahan dari komisi pembimbing dan belum diajukan dalam bentuk apa pun kepada perguruan tinggi mana pun. Sumber informasi yang berasal atau dikutip dari karya yang diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks dan dicantumkan dalam Daftar Pustaka di bagian akhir skripsi ini.
Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut Pertanian Bogor.
Bogor, Agustus 2016
Yuandri Trisaputra
ABSTRAK
YUANDRI TRISAPUTRA. Perbandingan Kinerja Single dan Multiple Feature pada Sistem Temu Kembali Citra Tumbuhan Menggunakan Ensemble Multinomial
Logistic Regression. Dibimbing oleh YENI HERDIYENI dan JULIO
ADISANTOSO.
Daun tumbuhan dapat diidentifikasi menggunakan fitur yang berbeda. Hal ini penting untuk memilih fitur yang optimal untuk melakukan identifikasi. Penelitian ini menganalisis kinerja single feature dan multiple feature menggunakan klasifikasi multinomial logistic regression. Hasil klasifikasi tersebut digunakan untuk seleksi fitur. Penelitian ini menggunakan 66 spesies tanaman dengan 660 citra. fuzzy local binarypPattern digunakan untuk mengekstrak fitur tekstur dan
global shape descriptor digunakan untuk mengekstrak fitur geometri. Similarity-based combination method digunakan untuk menggabungkan fitur sebagai ensemble classifier. Berdasarkan percobaan ditemukan bahwa beberapa citra daun
dapat diidentifikasi berdasarkan fitur tekstur dan citra lainnya dapat diidentifikasi berdasarkan fitur geometri. Hasil penelitian menunjukkan bahwa penerapan fitur tekstur memiliki kinerja lebih baik dibandingkan dengan fitur geometri dengan rata-rata precision sebesar 0.84. Sementara itu, single feature memiliki kinerja yang lebih baik daripada multiple feature. Rata-rata precision dari multiple feature adalah 0.69.
Kata kunci: multinomial logistic regression, perbandingan fitur, temu kembali citra
ABSTRACT
YUANDRI TRISAPUTRA. Performance Comparison of Single and Multiple Feature on Plant Image Retrieval System Using Ensemble Multinomial Logistic Regression. Supervised by YENI HERDIYENI and JULIO ADISANTOSO.
Leaf plant can be identified using different features. It is important to select the optimal features for identification. This study analyzed performance of single features and multiple feature using multinomial logistic regression classification. The classification result will be used for feature selection. This study used 66 species of plants with 660 images. Fuzzy local binary pattern was used to extract texture features and global shape descriptor was used to extract geometry features. Similarity-based combination method was used to combine features as ensemble classifier. We found that some leaf images can be identified based on texture feature and the others can be identified based on geometry feature. The experiment result showed that application of texture features has better performance compared to geometry features with an average precision of 0.84. Meanwhile, single feature has better performance than multiple feature. The average precision of multiple feature was 0.69.
Skripsi
sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer
pada
Departemen Ilmu Komputer
PERBANDINGAN KINERJA SINGLE DAN MULTIPLE FEATURE PADA
SISTEM TEMU KEMBALI CITRA TUMBUHAN MENGGUNAKAN
ENSEMBLE MULTINOMIAL LOGISTIC REGRESSION
DEPARTEMEN ILMU KOMPUTER
FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR
BOGOR 2016
PRAKATA
Alhamdulillahi rabbil ‘alamin, puji dan syukur penulis panjatkan kepada
Allah subhanahu wa ta’ala atas segala karunia-Nya sehingga karya ilmiah ini telah diselesaikan. Karya ilmiah ini merupakan hasil penelitian penulis yang dilakukan selama kurang lebih satu semester.
Terima kasih penulis ucapkan kepada seluruh pihak yang telah berperan penting pada penelitian ini yaitu:
1 Bapak dan Ibu penulis yaitu Maswar dan Rizwanti Lenggogeni atas dukungan, motivasi, nasihat, doa, dan kasih sayang yang selalu diberikan kepada penulis. Serta kepada uni Septia Rizmadita, uda Aprian Rizwardin, dan keluarga besar yang selalu memberikan semangat dan perhatian kepada penulis.
2 Ibu Dr Yeni Herdiyeni, SSi MKom selaku pembimbing I dan Bapak Ir Julio Adisantoso MKom selaku pembimbing II yang telah memberikan arahan, masukkan, ilmu-ilmu, dan bimbingan kepada penulis.
3 Ibu Mayanda Mega Santoni, SKomp MKom selaku penguji yang telah memberikan saran dan masukkan untuk skripsi ini.
4 Teman-teman satu angkatan, satu bimbingan, dan satu grup riset yang telah menjadi teman yang baik selama ini.
Semoga karya ilmiah ini bermanfaat.
Bogor, Agustus 2016
DAFTAR ISI
DAFTAR TABEL vii
DAFTAR GAMBAR vii
DAFTAR LAMPIRAN vii
PENDAHULUAN 1
Latar Belakang 1
Perumusan Masalah 2
Tujuan Penelitian 2
Manfaat Penelitian 2
Ruang Lingkup Penelitian 3
TINJAUAN PUSTAKA 3
Biometrik Daun Tumbuhan 3
Ekstraksi Fitur 4
Confusion Matrix 4
Multinomial Logistic Regression 5
Deviance 6
Recall dan Precision 6
Similarity-based Combination 6
K-Fold Cross Validation 7
METODE 7
Data Citra Daun Tumbuhan 7
Praproses Data 7
Ekstraksi Fitur Tekstur dengan FLBP 8
Ekstraksi Fitur Geometri 8
Multinomial Logistic Regression 9
Penggabungan Hasil Classifier, Urutan Kelas, dan Retrieve Citra 10
Evaluasi 10
Lingkungan Pengembangan 10
HASIL DAN PEMBAHASAN 11
Data Citra Daun Tumbuhan 11
Ekstraksi Fitur Geometri 11 Model klasifikasi Multinomial Logistic Regression 12
Penggabungan Fitur Hasil Classifier 15
Evaluasi Temu Kembali Citra 17
Antarmuka Sistem Temu Kembali Citra 20
SIMPULAN DAN SARAN 22
Simpulan 22
Saran 22
DAFTAR PUSTAKA 23
LAMPIRAN 25
DAFTAR TABEL
1 Confusion matrix untuk klasifikasi 5
2 Percobaan penggabungan dua fitur menggunakan SC 16 3 Hasil peluang citra query ke-31 untuk kelas 31 16 4 Percobaan kombinasi dua fitur dengan bobot proporsi 17 5 Perbandingan average precision untuk penggunaan fitur 19
DAFTAR GAMBAR
1 Contoh citra tekstur daun tumbuhan 3
2 Tahapan penelitian 8
3 Penggabungan hasil classifier 10
4 Grafik perbandingan akurasi model tekstur 12
5 Grafik perbandingan akurasi model tekstur masing-masing kelas 12 6 Contoh citra terklasifikasikan salah menggunakan fitur tekstur: (a)
kelas 15 (b) kelas 30 13
7 Contoh citra terklasifikasikan benar menggunakan fitur tekstur: (a)
kelas 60 (b) kelas 45 13
8 Grafik perbandingan akurasi model geometri 14
9 Perbandingan akurasi model geometri masing-masing kelas 14 10 Contoh citra terklasifikasikan salah menggunakan fitur geometri: (a)
kelas 17 (b) kelas 21 14
11 Contoh citra terklasifikasikan benar menggunakan fitur geometri: (a)
kelas 7 (b) kelas 14 15
12 Citra query/kelas 31 (Isotoma longiflora) 16
13 Grafik 11 titik average precision satu fitur 18 14 Perbandingan kelas aktual dan kelas prediksi penggunaan satu fitur 18 15 Hasil temu kembali citra teratas dengan data citra query kelas Altignia
excelsa 19
16 Grafik 11 titik average precision penggunaan dua fitur 20 17 Perbandingan grafik 11 titik average precision penggunaan satu dan
dua fitur 20
18 Halaman hasil sistem temu kembali citra daun tumbuhan berdasarkan citra query 1 (Aeglemarmelos) dengan fitur tekstur dan geometri 21 19 Halaman hasil sistem temu kembali citra daun tumbuhan berdasarkan
citra query 1 (Aeglemarmelos) dengan fitur geometri 21
DAFTAR LAMPIRAN
1 Daftar nama kelas/spesies 25
2 Data citra query 26
PENDAHULUAN
Latar Belakang
Indonesia dikenal secara luas sebagai mega center keanekaragaman hayati (biodiversity) terbesar kedua di dunia setelah Brazil yang terdiri dari tumbuhan tropis dan biota laut (Kemendag 2014). Seperti yang ketahui, tumbuhan merupakan salah satu makhluk hidup yang unik untuk setiap spesies, namun jenis tumbuhan sangat beragam di dunia ini. Di wilayah Indonesia terdapat sekitar 30 000 jenis tumbuhan. Dengan perkembangan teknologi, citra tumbuhan dapat diambil oleh siapa saja, sehingga citra tumbuhan banyak tersedia, baik yang disimpan sebagai koleksi pribadi maupun disimpan di internet. Misalnya Google Image, terdapat sekitar dua milyar citra. Walaupun begitu, masih banyak orang yang sulit untuk mencari citra dari koleksi citra yang ada atau pencarian citra tidak sesuai, karena temu kembali citra bergantung pada query pengguna dan dataset yang ada.
Terdapat dua jenis temu kembali citra yaitu temu kembali citra berdasarkan anotasi/label (annotation based image retrieval/ABIR) dengan query berupa teks dan temu kembali citra berdasarkan konten (content based image retrieval/CBIR) dengan query berupa citra (Kebapci et al. 2010). Sistem temu kembali citra lebih banyak yang menggunakan CBIR daripada ABIR. ABIR lebih mudah untuk diimplementasi (Ahmed dan Barskar 2011) karena query pengguna lebih mudah dibandingkan dengan anotasi/label teks yang sudah diberikan pada setiap citra, tetapi sulit dalam proses melakukan pelabelan citra tersebut karena dilakukan berdasarkan perspektif seseorang (subjektif). Sementara itu, CBIR lebih sulit untuk diimplementasi karena dilakukan ekstraksi fitur citra terlebih dahulu, tetapi menghasilkan precision yang cukup baik (Yunita 2009). Selain itu, konten visual memberikan informasi karakteristik citra, sehingga temu kembali citra yang dilakukan pada penelitian ini adalah temu kembali citra berdasarkan konten.
Fitur yang dapat diekstrak pada citra tumbuhan diantaranya warna, tekstur, dan geometri daun. Daun dapat digunakan sebagai penciri karena daun mempunyai peran penting sebagai pembeda antar tumbuhan (Bama et al. 2011). Banyak metode ekstraksi fitur daun yang dapat digunakan seperti kontur (Kalengkongan et al. 2015) atau venasi (Salima et al. 2015). Penelitian ini menggunakan fuzzy local
binary pattern untuk fitur tekstur (Maulana dan Herdiyeni 2013), (Herdiyeni dan
Kusmana 2013) dan global shape descriptor untuk fitur geometri seperti yang dilakukan Herdiyeni et al. (2015).
Daun tumbuhan dapat diidentifikasi dengan fitur yang berbeda-beda. Dalam proses identifikasi perlu diperhatikan fitur apa yang digunakan. Hal itu dikarenakan terdapat spesies yang berbeda tetapi mempunyai tekstur yang sama, sehingga apabila identifikasi menggunakan fitur tekstur akan sulit dibedakan. Sementara itu, terdapat juga spesies yang berbeda tetapi mempunyai bentuk/geometri yang sama, sehingga apabila identifikasi menggunakan fitur bentuk akan sulit dibedakan.
Penelitian oleh Kebapci et al. (2010) melakukan kombinasi fitur warna, bentuk, dan tekstur pada temu kembali citra tumbuhan memberikan hasil akurasi terbaik sebesar 73%. Sementara itu, penelitian oleh Bama et al. (2011) menggabungkan fitur warna, bentuk, dan tekstur pada temu kembali citra daun yang memberikan hasil terbaik dengan average precision 0.97. Penelitian yang dilakukan
2
oleh Pravista dan Herdiyeni (2012), Maulana dan Herdiyeni (2013) melakukan kombinasi ciri citra dengan tekstur dan teks, Herdiyeni et al. (2015) melakukan kombinasi fitur geometri dan tekstur dengan product decision rule dan probabilistic
neural network menghasilkan akurasi sebesar 88.5%. Pada umumnya
penggabungan fitur dilakukan dengan cara menggabungkan vektor ciri setiap fitur menjadi satu vektor. Penelitian ini menggunakan pendekatan metode ensemble
classifier untuk penggabungan fitur. Oleh karena itu, setiap dataset hasil ekstraksi
fitur akan mempunyai classifier sendiri. Metode yang digunakan dalam penggabungan tersebut adalah similarity-based combination dengan melihat nilai maksimum dan/atau nilai rata-rata hasil setiap classifier (Guo dan Neagu 2005).
Pada umumnya, proses temu kembali citra menggunakan pengukuran kemiripan atau jarak. Namun, penggunaan metode klasifikasi dapat meningkatkan
precision dan mempercepat kinerja dalam proses temu kembali citra (Yunita 2009)
daripada menggunakan ukuran kemiripan. Multinomial logistic regression (MLR) adalah salah satu metode yang dapat digunakan untuk klasifikasi. Jun Li et al. (2013) menggunakan MLR untuk mengklasifikasi citra hyperspectral. MLR digunakan pada penelitian ini karena model klasifikasi yang dihasilkan berupa fungsi dan berupa nilai peluang untuk setiap kelas, nilai peluang tersebut mengestimasi nilai peluang dengan high confidence. Nilai peluang tersebut atau hasil dari classifier dapat digunakan untuk peringkat atau score kelas dalam proses temu kembali dan dapat digunakan untuk penggabungan hasil fitur. Oleh karena itu, penelitian ini melakukan perbandingan kinerja pada penggunaan satu dan banyak fitur daun tumbuhan untuk sistem temu kembali citra tumbuhan dengan menggunakan klasifikasi MLR.
Perumusan Masalah
Rumusan masalah dalam penelitian ini, yaitu:
1 Bagaimana melakukan temu kembali citra tumbuhan dengan klasifikasi MLR? 2 Apa fitur daun yang dapat memberikan hasil sistem temu kembali citra
tumbuhan yang terbaik?
Tujuan Penelitian
Tujuan penelitian ini adalah menerapkan MLR untuk melakukan temu kembali citra tumbuhan, melakukan perbandingan kinerja penggunaan satu dan beberapa fitur daun pada temu kembali citra tumbuhan, dan menentukan fitur terbaik untuk sistem temu kembali citra tumbuhan.
Manfaat Penelitian
Penelitian ini diharapkan dapat membantu untuk mendapatkan hasil temu kembali citra tumbuhan yang relevan atau sesuai untuk keperluan yang dibutuhkan berdasarkan fitur yang digunakan.
3
Ruang Lingkup Penelitian
Ruang lingkup penelitian ini yaitu menggunakan citra daun tumbuhan IPBiotics Departemen Ilmu Komputer. Selain itu, fitur yang digunakan adalah tekstur dan geometri daun tumbuhan.
TINJAUAN PUSTAKA
Biometrik Daun Tumbuhan
Tumbuhan memiliki beberapa kemiripan dan perbedaan antara satu dengan yang lainnya dalam hal sifat dan bentuk. Pada dasarnya tumbuhan dapat diidentifikasi menurut ciri morfologinya seperti buah dan bunganya. Beberapa morfologi yang mencirikan suatu tumbuhan satu dengan yang lainnya terkadang hanya dapat diketahui oleh seorang pakar saja, seperti struktur reproduksi organ, warna, bentuk dan ukuran daun. Beberapa morfologi penciri ini memiliki peran penting dalam suatu identifikasi tumbuhan (Pahalawatta 2008). Morfologi tubuh tumbuhan yang dapat dijadikan sebagai pengidentifikasi disebut dengan biometrik tumbuhan. Biometrik tumbuhan dapat diamati dari segi bentuk daun, susunan daun, penampang tepi daun, dan venasi daun. Pengidentifikasi biometrik sangat khas, karakteristik yang terukur digunakan untuk mengidentifikasi individu tumbuhan. Dua kategori pengidentifikasi biometrik meliputi karakteristik fisiologis dan perilaku. Karakteristik fisiologis berhubungan dengan tekstur daun dan geometri daun.
Tekstur Daun
Tekstur adalah gambaran visual dari sebuah permukaan atau bahan. Fitur tekstur didefinisikan sebagai pengulangan pola atau pola-pola yang ada pada suatu daerah bagian permukaan. Dalam computer vision, tekstur dicirikan dengan variasi intensitas pada sebuah citra. Variasi intensitas dapat disebabkan oleh perbedaan warna pada suatu permukaan. Selain itu, tekstur juga merupakan properti dari area. Properti-properti dari tekstur citra meliputi keseragaman, kepadatan, kekasaran, keberaturan, linearitas, keberarahan, dan frekuensi. Penampilan tekstur dipengaruhi oleh skala dan arah pandangan serta lingkungan dan kondisi pencahayaan (Mäenpää 2003). Contoh citra tekstur daun tumbuhan disajikan pada Gambar 1 (Herdiyeni et al. 2015).
4
Ekstraksi Fitur
Ekstraksi fitur adalah proses mendapatkan fitur atau penciri dari suatu citra. Secara umum, fitur citra dari biometrik daun yang digunakan dalam penelitian ini adalah geometri dan tekstur.
Ekstraksi Fitur Tekstur dengan Fuzzy Local Binary Pattern
Ekstraksi fitur dapat diekstraksi dengan metode fuzzy local binary pattern.
Fuzzy local binary pattern (FLBP) merupakan metode local binary pattern (LBP)
yang menerapkan konsep fuzzy. Fuzzification pada pendekatan LBP meliputi transformasi variabel input menjadi variabel fuzzy berdasarkan sekumpulan fuzzy
rule. Dalam hal ini, digunakan dua fuzzy rule untuk menentukan nilai biner dan nilai fuzzy berdasarkan deskripsi relasi antara nilai pada circular sampling / 𝑝𝑖 dan piksel pusat 𝑝𝑐𝑒𝑛𝑡𝑒𝑟 (Iakovidis 2008). Metode LBP original hanya menghasilkan satu kode LBP, sedangkan metode FLBP menghasilkan satu atau lebih kode LBP. Masing-masing nilai LBP yang dihasilkan memiliki tingkat kontribusi (𝐶𝐴, 𝐶𝐵) yang berbeda bergantung pada nilai-nilai fungsi keanggotaan 𝑚0() dan 𝑚1() yang dihasilkan. Terdapat tiga parameter yang digunakan dalam FLBP yaitu nilai
fuzzification sebagai threshold menentukan nilai biner, radius sebagai nilai jarak
tetangga yang digunakan, dan sampling point sebagai nilai banyaknya titik tetangga yang digunakan.
Ekstraksi Fitur Geometri
Pahalawatta (2008) melakukan penelitian untuk mengklasifikasi spesies tumbuhan berbasis citra, salah satu fitur yang digunakan yaitu global shape
descriptor. Fitur ini terdiri atas area, circularity, eccentricity, dan centroid-radii.
Fitur geometri yang digunakan pada penelitian ini menggunakan penelitian Pahalawatta (2008). Area diperoleh dengan menghitung jumlah piksel objek daun pada citra. Citra yang digunakan yaitu citra biner. Circularity merupakan ukuran kemiripan bentuk objek daun dengan bentuk lingkaran. Eccentricity merupakan ukuran aspect ratio yaitu ukuran perbandingan garis panjang (𝜆𝑚𝑎𝑥) dan garis lebar (𝜆𝑚𝑖𝑛) pada daun yang dinyatakan dengan
𝜆𝑚𝑎𝑥
𝜆𝑚𝑖𝑛 . Ciri ini digunakan untuk
memperkirakan bentuk helai daun. Jika bernilai kurang dari 1, bentuk helai daun tersebut melebar. Jika bernilai lebih dari 1, bentuk helai daun tersebut memanjang. Sementara itu, Centroid-radii merupakan suatu model yang memperkirakan bentuk objek pada citra.
Confusion Matrix
Confusion matrix merupakan sebuah tabel/matriks yang terdiri atas
banyaknya baris data uji yang diprediksi benar dan salah oleh suatu model klasifikasi yang digunakan untuk menentukan kinerja suatu model klasifikasi (Tan
et al. 2006). Data uji diujikan untuk mendapatkan tingkat akurasi hasil prediksi
yang berupa jumlah true positive, true negative, false positive, dan false negative seperti yang dilihat pada Tabel 1 sedangkan perhitungan akurasi dinyatakan dalam Persamaan 1.
Akurasi = tp+tn
tp+fp+fn+tn=
Banyak data yang benar
5
Multinomial Logistic Regression (MLR)
Regresi logistik multinomial dapat digunakan untuk memprediksi suatu kategori/kelas atau menghitung peluang keanggotaan kategori pada variabel dependen (tidak bebas/terikat) berdasarkan beberapa variabel independen (bebas). Variabel independen (bebas) dapat berupa dikotomis (biner) atau kontinu (interval) (Starkweather dan Moske 2011). Selain itu, MLR adalah salah satu metode klasifikasi dengan menghasilkan sebuah persamaan regresi untuk menyelesaikan masalah yang peubah responsnya mempunyai kategori lebih dari dua dengan satu atau lebih peubah penjelas berskala kategorik atau interval (numerik) (Fitriany 2013). Suatu peubah respons dalam regresi logistik multinomial dengan C kategori/kelas membentuk persamaan logit sebanyak C-1 yang masing-masing persamaan membentuk regresi logistik biner yang membandingkan suatu kelompok kategori Y terhadap kategori pembanding. Model yang terbentuk dapat digunakan untuk memprediksi kategori dari sebuah data (citra) baru. Bentuk umum model regresi logistik multinomial dengan n kelas respons dengan kategori pembanding adalah kelas 0 dapat dilihat pada Persamaan 2 dan 3.
𝑃(𝑌 = 0|𝑥) = 𝜋0(𝑥) = 1 1 + ∑𝑛−1exp (𝑔ℎ(𝑥)) ℎ=1 (2) 𝑃(𝑌 = 𝑖|𝑥) = 𝜋𝑖(𝑥) = exp (𝑔𝑖(𝑥)) 1 + ∑𝑛−1exp (𝑔ℎ(𝑥)) ℎ=1 (3) dengan 𝑃(𝑌 = 𝑖|𝑥) atau 𝜋𝑖(𝑥) adalah peluang sebuah citra masuk kelas/spesies i jika diberikan vektor ciri x, n adalah banyaknya kelas/spesies dan 𝑔ℎ(𝑥) adalah fungsi logit kelas h terhadap x. Contoh bentuk transformasi logit dinyatakan dalam Persamaan 4 dan 5 dengan p adalah banyaknya elemen vektor dan x adalah vektor ciri, serta 𝛽𝑖𝑝 adalah parameter 𝛽 kelas i untuk elemen vektor ciri ke-p (Dobson 2002). 𝑔1(𝑥) = ln ( 𝜋1(𝑥) 𝜋0(𝑥) ) = ln [𝑃(𝑌 = 1|𝑥) 𝑃(𝑌 = 0|𝑥)] (4) = 𝛽10+ 𝛽11𝑥1+ 𝛽12𝑥2+ ⋯ + 𝛽1𝑝𝑥𝑝 𝑔2(𝑥) = ln (𝜋2(𝑥) 𝜋0(𝑥)) = ln [ 𝑃(𝑌 = 2|𝑥) 𝑃(𝑌 = 0|𝑥)] (5) = 𝛽20+ 𝛽21𝑥1+ 𝛽22𝑥2+ ⋯ + 𝛽2𝑝𝑥𝑝 Pendugaan parameter 𝛽𝑖𝑝 pada model logit dilakukan dengan metode penduga kemungkinan maksimum likelihood (ℓ). Fungsi likelihood untuk model
Tabel 1 Confusion matrix untuk klasifikasi
Predicted Class
C -C
Actual Class C true positive (tp) false positif (fp)
6
peluang dari regresi logistik multinomial untuk amatan ke-j dalam m amatan yang saling bebas, n adalah banyaknya kelas, dan 𝑦𝑖𝑗 adalah variabel respon kelas ke-i pada amatan ke-j dapat dilihat pada Persamaan 6.
ℓ(β) = ∏ 𝜋0(𝑥)𝑦0𝑗𝜋 1(𝑥)𝑦1𝑗𝜋2(𝑥)𝑦2𝑗… 𝜋𝑛−1(𝑥)𝑦𝑛−1𝑗 𝑚 𝑗=1 (6) Deviance
Deviance adalah salah satu ukuran statistik untuk mengukur kebaikan suatu
model (goodness of fit). Deviance pada regresi logistik didefinisikan sebagai nilai maksimum dari fungsi log-likelihood untuk fit model 𝑙(𝑏) dan maksimal model 𝑙(𝑏𝑚𝑎𝑥). Deviance dapat digunakan untuk uji kelayakan/kebaikan suatu model untuk dibandingkan dengan model yang lain, nilai deviance yang kecil adalah model yang terbaik. Selain itu, nilai deviance yang mendekati 0 layak digunakan. Persamaan deviance dapat dilihat pada Persamaan 7 (Dobson 2002).
𝐷 = 2[𝑙(𝑏𝑚𝑎𝑥) − 𝑙(𝑏)] (7)
Recall dan Precision
Recall dan precision adalah dua kriteria yang sering digunakan untuk
mengevaluasi kinerja dari sistem temu kembali citra berbasis konten (content-based
image retrieval). Precision adalah rasio citra yang relevan terhadap jumlah total
citra yang terambil. Recall adalah rasio citra yang relevan terhadap jumlah citra relevan yang berada dalam basis data (Manning et al. 2009). Persamaannya dapat dilihat pada Persamaan 8 dan 9. Average Precision juga digunakan untuk mengevaluasi sistem temu kembali menggunakan semua query uji. Persamaan
average precision dengan N adalah banyaknya query uji dapat dilihat pada
Persamaan 10.
recall = Jumlah citra relevan yang terambil
Jumlah citra relevan pada basis data (8)
precision = Jumlah citra relevan yang terambil
Jumlah seluruh citra yang terambil (9)
average precision = 1 𝑁∗ ∑ 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛𝑗 𝑁 𝑗=1 (10) Similarity-based Combination
Similarity-based combination (SC) adalah metode penggabungan hasil classifier yang menerapkan ensemble method. SC merupakan metode ensemble
yang menggunakan metode pembobotan (Rokach 2009). SC terdiri dari weighted
similarity-based combination (WSC), average similarity-based combination (ASC),
dan maximum similarity-based combination (MSC). WSC merupakan metode penggabungan hasil classifier dengan menjumlahkan nilai maksimum (maximum
similarity-based combination) dan nilai rata-rata dari hasil classifier (average similarity-based combination) (Guo dan Neagu 2005). Persamaan WSC, ASC, dan
7 𝑊𝑆𝐶𝑘= (𝛼 × max 𝐶 𝑠𝑐𝑘) + (1 − 𝛼) × (∑ 𝑠𝑐𝑘 𝐶 𝑐 ) , ∀𝑘 (11) 𝐴𝑆𝐶𝑘 = ∑ 𝑠𝑐𝑘 𝐶 𝑐 , ∀𝑘 (12) 𝑀𝑆𝐶𝑘 = max 𝐶 𝑠𝑐𝑘, ∀𝑘 (13) dengan 𝑆𝐶𝑘 adalah score penggabungan fitur kelas-k, 𝑠𝑐𝑘 adalah score kelas-k yang menggunakan classifier-c yang ada pada set C (kumpulan classifier yang digunakan/banyaknya classifier yang digunakan), dan 𝛼 adalah parameter kontrol untuk mengatur kepentingan berdasarkan lokal dan global score.
K-Fold Cross Validation
Metode k-fold cross validation membagi data menjadi k buah subset, sebanyak k-1 buah subset digunakan sebagai data latih dan satu buah set sebagai data uji (Han dan Kamber 2001). Pelatihan dan pengujian dilakukan sebanyak k kali. Dalam iterasi ke-i, subset D1 akan menjadi data uji, selainnya menjadi data latih. Pada iterasi pertama, D1 akan menjadi data uji, D2, D3 … Dk akan menjadi data latih. Selanjutnya iterasi ke-2, D2 akan menjadi data uji, D1, D3 … Dk menjadi data latih, dan seterusnya.
METODE
Penelitian ini dilakukan dalam beberapa tahap. Tahap-tahap tersebut disajikan pada Gambar 2. Penelitian ini fokus pada bagian yang diberi garis putus-putus.
Data Citra Daun Tumbuhan
Data citra daun tumbuhan diambil dari IPBiotics. Citra yang digunakan terdapat 66 spesies (kelas) dengan total keseluruhan 660 citra. Daftar spesies dapat dilihat pada Lampiran 1. Data citra dibagi menjadi dua, 90% data citra untuk pembentukan model dan 10% data citra untuk query uji. 90% data citra untuk pembentukan model, kemudian dibagi kembali menjadi 75% data latih dan 25% data uji dengan 4-fold cross validation.
Praproses Data
Sebelum ciri citra daun tumbuhan diekstraksi, citra tersebut dilakukan praproses terlebih dahulu. Proses yang dilakukan pada tahap ini yaitu mengubah ukuran citra menjadi lebih kecil dengan cara mengalikan lebar dan panjang citra dengan persentase tertentu sesuai ukuran citra asli. Setelah itu, dilakukan ekstraksi ciri citra. Ekstraksi ciri yang dilakukan terdiri atas ekstraksi ciri tekstur dan ciri geometri. Sementara itu, praproses citra dilanjutkan dengan mengonversi citra menjadi citra keabuan, citra biner dan menerapkan pendeteksian tepi.
8
Ekstraksi Fitur Tekstur dengan FLBP
Citra keabuan hasil praproses diektraksi cirinya menggunakan metode fuzzy
local binary pattern (FLBP). Nilai parameter yang digunakan yaitu fuzzification
sebesar 4, radius sebesar 2, dan sampling point sebesar 8 seperti penelitian yang dilakukan oleh Herdiyeni et al. (2015). Ciri tekstur dengan nilai sampling point 8, menghasilkan penciri sebuah vektor dengan banyaknya elemen sebesar 28 atau 256. Vektor ini merepresentasikan histogram kontribusi kode local binary pattern (LBP) citra daun. Vektor ciri tekstur didefinisikan sebagai vektor t dengan 𝑡 = [𝑡1 … 𝑡256] . Vektor ciri akhir adalah vektor ciri yang sudah dinormalisasi vektor. Ekstraksi fitur tekstur menggunakan program dari penelitian (Herdiyeni dan Kusmana 2013) yang menggunakan bahasa pemrograman C++, kemudian dikonversi ke bahasa pemrograman Python.
Ekstraksi Fitur Geometri
Citra biner hasil dari praproses dapat digunakan langsung untuk ekstraksi geometri area. Sementara itu, ciri geometri circularity tidak bisa didapatkan dari
Citra daun tanaman Kueri citra Praproses citra Praproses citra Ekstraksi Fitur Ekstraksi Fitur Tekstur Geometri Tekstur Geometri MLR Urutan Kelas Image Retrieval Evaluasi MLR Classifier 1 (C1) Classifier 2 (C2) Evaluasi Penggabun gan Hasil Classifier
9 citra biner, karena perhitungannya melibatkan perimeter atau keliling tepian objek daun. Dengan demikian, objek daun pada citra biner dilakukan deteksi tepi terlebih dahulu dengan algoritme pendeteksi tepi Canny. Setelah keliling tepi objek daun didapatkan, dilakukan penghitungan circularity seperti penelitian yang dilakukan oleh Herdiyeni et al. (2015).
Ciri geometri area, circularity, dan eccentricity masing-masing mewakili satu elemen vektor ciri. Sementara itu, ciri geometri centroid-radii menghasilkan 36 elemen vektor. Setiap citra yang diekstraksi dengan ciri geometri menghasilkan sebuah vektor dengan elemen sebanyak 39. Vektor ciri geometri didefinisikan sebagai vektor g dengan 𝑔 = [𝑔1 … 𝑔39] . Ekstraksi fitur geometri menggunakan program dari penelitian Herdiyeni et al. (2015) yang menggunakan bahasa pemrograman Java, kemudian dikonversi ke bahasa pemrograman Python.
Model Multinomial Logistic Regression
Keseluruhan data citra dilakukan ekstraksi fitur, kemudian didapatkan vektor ciri setiap fitur untuk setiap data citra. Data dengan kolom adalah fitur dan baris adalah indeks citra tumbuhan tersebut yang digunakan sebagai dataset. Sementara itu, dataset dengan vektor ciri atau variabel independen tersebut digunakan untuk membuat model klasifikasi menggunakan multinomial logistic regression (MLR). MLR dilakukan menggunakan program Python dengan library Scikit-Learn, kemudian didapatkan model MLR.
Terdapat dua model MLR (classifier) yang dihasilkan yaitu model MLR terbaik dari dataset dengan fitur tekstur (𝐶1) yang dapat dilihat pada Persamaan 14, 15, dan 16 dengan 𝑥 = [𝑥1, 𝑥2, 𝑥3, … , 𝑥256], dan model MLR terbaik dari dataset dengan fitur geometri (𝐶2) yang dapat dilihat pada Persamaan 17, 18 dan 19 dengan 𝑥 = [𝑥1, 𝑥2, 𝑥3, … , 𝑥39] dan 𝑖 = 1,2,3, … ,65. Setelah model klasifikasi dari MLR didapatkan, model tersebut dapat diterapkan menggunakan vektor ciri (t, g) dari hasil ekstraksi fitur query citra pengguna dengan 𝑡 = [𝑡1 … 𝑡256] dan 𝑔 = [𝑔1 … 𝑔39] . Hasil penerapan model MLR (hasil classifier) tersebut adalah peluang dari setiap kelas citra tumbuhan terhadap kriteria fitur. Peluang tersebut digunakan sebagai score dari setiap kelas, score dari sebuah classifier didefinisikan sebagai s dengan s = [𝑠1 … 𝑠𝑘].
𝑃(𝑌 = 0|𝑥) = 𝜋0(𝑥) = 1 1 + ∑65 exp (𝑔ℎ(𝑥)) ℎ=1 (14) 𝑃(𝑌 = 𝑖|𝑥) = 𝜋𝑖(𝑥) = exp (𝑔𝑖(𝑥)) 1 + ∑65 exp (𝑔ℎ(𝑥)) ℎ=1 (15) 𝑔ℎ(𝑥) = 𝛽ℎ0+ 𝛽ℎ1𝑥1+ 𝛽ℎ2𝑥2+ ⋯ + 𝛽ℎ255 (16) 𝑃(𝑌 = 0|𝑥) = 𝜋0(𝑥) = 1 1 + ∑65 exp (𝑔ℎ(𝑥)) ℎ=1 (17) 𝑃(𝑌 = 𝑖|𝑥) = 𝜋𝑖(𝑥) = exp (𝑔𝑖(𝑥)) 1 + ∑65ℎ=1exp (𝑔ℎ(𝑥)) (18) 𝑔ℎ(𝑥) = 𝛽ℎ0+ 𝛽ℎ1𝑥1+ 𝛽ℎ2𝑥2+ ⋯ + 𝛽ℎ35 (19)
10
Penggabungan Hasil Classifier, Urutan Kelas, dan Retrieve Citra
Setelah model MLR didapatkan, kemudian dilakukan penggabungan hasil
classifier berdasarkan fitur (satu fitur atau dua fitur) yang digunakan dengan metode similarity-based combination (SC). Sementara itu, proses penggabungan score classifier (𝐶1, 𝐶2) terhadap vektor ciri query citra dapat dilihat pada Gambar 3.
Query citra dapat diklasifikasikan berdasarkan nilai terbesar (max) dari score
penggabungan tersebut. Temu kembali citra dilakukan berdasarkan urutan kelas terbesar dari score penggabungan tersebut. Hasil temu kembali citra menampilkan semua citra yang terdapat pada kelas tersebut sesuai urutan terbesar (descending)
score combination yang didapatkan dari penggabungan hasil classifier tersebut.
Sebelum dilakukan penggabungan fitur hasil classifier, ditentukan parameter 𝛼 terbaik terlebih dahulu. Parameter 𝛼 yang dicobakan adalah 0, 0.5, dan 1. Selain itu, pada penelitian ini dilakukan percobaan dengan menggunakan bobot proporsi dari akurasi pembentukan model untuk setiap hasil classifier.
Evaluasi
Evaluasi dilakukan untuk mengukur keakuratan sistem. Evaluasi model klasifikasi dilakukan dengan melihat akurasi berdasarkan confusion matrix yang diperoleh. Model klasifikasi MLR dilakukan dengan 4 cross-validation dari seluruh data citra. Sementara itu, evaluasi temu kembali citra menggunakan threshold (nilai batas) score combination, score yang lebih besar dari threshold akan diambil dalam temu kembali citra. Threshold tersebut adalah nilai standar deviasi dari seluruh
score per query citra. Query citra yang digunakan pada evaluasi temu kembali yaitu
menggunakan satu citra dari setiap kelas atau ada sebanyak 66 citra yang digunakan untuk query. Setelah citra ditampilkan, kemudian dihitung average precision dari hasil temu kembali citra query tersebut, serta dilihat grafik 11 titik average
precision. 11 titik average precision dibuat dengan melihat banyaknya citra yang
diambil pada titik 0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, dan 1.0. Titik 0.1 berarti dilihat average precision berdasarkan 10% citra teratas dari jumlah citra yang diambil.
Lingkungan Pengembangan
Penelitian ini dilakukan dengan menggunakan perangkat keras dan perangkat lunak sebagai berikut:
g t C2 C1 S22 S2H S12 S1H SC1 SCH SC
11 1 Perangkat keras berupa komputer dengan spesifikasi sebagai berikut:
Intel® Core™ i3 Ghz RAM 6 GB
harddisk 500 GB monitor
mouse dan keyboard 2 Perangkat lunak:
sistem operasi Windows 10 code editor EmEditor library Opencv 2.4.9 library Scikit-Learn
Bahasa pemrograman PHP, Java, dan Python 3.4
HASIL DAN PEMBAHASAN
Data Citra Daun Tumbuhan
Data citra daun yang digunakan terdapat sebanyak 660 citra dari 66 spesies tumbuhan. Data citra yang digunakan seimbang yaitu terdapat sepuluh citra untuk setiap kelas. Data citra tersebut dipisahkan menjadi dua bagian, sembilan citra dari setiap spesies digunakan untuk data pembentukan model, sedangkan satu citra dari setiap spesies digunakan sebagai data query yang dipilih secara acak (random). Berdasarkan pembagian tersebut, 594 data citra digunakan untuk pembentukan model dan 66 citra (satu citra untuk masing-masing spesies) digunakan untuk query. 594 data citra dibagi kembali menjadi 75% data latih dan 25% data uji menggunakan 4-fold cross validation. Daftar nama spesies/kelas dapat dilihat pada Lampiran 1 dan data citra query yang digunakan dapat dilihat pada Lampiran 2.
Ekstraksi Fitur Tekstur dengan FLBP
Sebelum dilakukan ektraksi fitur tekstur, citra dilakukan praproses dengan mengonversi citra asli menjadi citra keabuan. Setelah itu, citra diesktraksi cirinya dengan metode FLBP. Hasil dari proses ini berupa histogram kontribusi kode LBP. Hasil ciri direpresentasikan sebagai vektor dengan jumlah elemen sebesar 256. Tahapan ini dilakukan menggunakan program Python. Hasil dari tahapan ini berupa
dataset fitur tekstur dengan dimensi data adalah 257 kolom dan 594 baris, 256
variabel independen dan satu variabel dependen/kelas (spesies). Dataset dibuat dalam format comma separated value (csv) file.
Ekstraksi Fitur Geometri
Sebelum dilakukan ekstraksi fitur geometri, citra dilakukan praproses dengan mengonversi citra asli menjadi citra biner atau melakukan pendeteksian tepi Canny. Setelah itu, citra diekstraksi cirinya dengan menghitung geometri area, circularity,
eccentricity, dan centroid-radii. Ciri area, circularity, dan eccentricity
12
direpresentasikan dengan 36 vektor, sehingga jumlah elemen vektor sebanyak 39 buah. Tahapan ini dilakukan menggunakan program Python. Hasil dari tahapan ini berupa dataset fitur geometri dengan dimensi data adalah 40 kolom dan 594 baris, 39 variabel independen dan satu variabel dependen/kelas (spesies). Dataset dibuat dalam format comma separated value (csv) file.
Model Multinomial Logistic Regression
Dataset dari hasil ekstraksi fitur digunakan untuk membuat model klasifikasi
MLR. Setiap dataset menghasilkan satu model MLR (classifier) berdasarkan model terbaik. Dataset fitur tekstur digunakan untuk membuat classifier MLR tekstur,
dataset fitur geometri digunakan untuk membuat classifier MLR geometri. Classifier MLR dihasilkan menggunakan program Python dan library Scikit-Learn.
Nilai deviance dilihat pada model yang terbentuk untuk melihat kebaikan/kelayakan model. Evaluasi model menggunakan 4 cross-fold validation. Pemilihan model terbaik dari fold tersebut berdasarkan nilai akurasi fold yang paling dekat dengan rata-rata akurasi keempat fold tersebut.
Model Fitur Teksur
Nilai deviance dari model MLR dengan dataset tekstur adalah 0.02. Nilai
deviance tersebut mendekati 0 sehingga model layak digunakan. Berdasarkan hasil
pembentukan model fitur tekstur, akurasi rata-rata dari pembentukan model menggunakan fitur tekstur adalah 88.83%. Perbandingan akurasi pembentukan model untuk masing-masing fold dapat dilihat pada Gambar 4. Berdasarkan grafik tersebut, model yang dipilih untuk digunakan untuk temu kembali citra adalah model dari fold ke-2 dengan akurasi 89.39% karena akurasinya yang paling dekat dengan rata-rata akurasi seluruh fold. Hal tersebut dilakukan agar model yang dipakai tidak overfitting. Sementara itu, model disimpan dalam bentuk fungsi Python. Fungsi Python tersebut yang digunakan untuk mencari urutan kelas untuk temu kembali citra. Perbandingan akurasi per kelas dari model terpilih dapat dilihat pada Gambar 5.
Gambar 4 Grafik perbandingan akurasi model tekstur
83.33
89.39 90.91 91.67
Fold 1 Fold 2 Fold 3 Fold 4
Gambar 5 Grafik perbandingan akurasi model tekstur masing-masing kelas
0 0.2 0.4 0.6 0.8 1 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 A kur as i (x 100 % ) Kelas
13 Berdasarkan Gambar 5, terdapat dua kelas yang memiliki akurasi 0% yaitu kelas 15 (Coleus scutellarioides) dan kelas 30 (Indigofera suffuritosa). Gambar 6 merupakan contoh data citra dua kelas tersebut. Gambar 6 menunjukkan bahwa dua kelas tersebut, secara visual memiliki tingkat intensitas cahaya dan tekstur yang beragam. Hal tersebut, dikarenakan adanya perbedaan usia daun dalam pengambilan citra daun tersebut. Karena perbedaan tersebut, dapat menyebabkan sulit untuk klasifikasi dan akurasi menjadi buruk.
Sementara itu, terdapat 54 spesies yang memiliki akurasi sebesar 100%. Gambar 7 merupakan contoh data citra yang mempunyai akurasi tersebut. Gambar 7 menunjukkan bahwa data citra spesies 60 (Solanum sp) dan 45 (Piper anduncum), secara visual memiliki tingkat intensitas cahaya dan tekstur yang seragam dan hampir sama. Oleh karena itu, hasil akurasi dari query tersebut menjadi baik.
Model Fitur Geometri
Nilai deviance dari model MLR dengan dataset geometri adalah 11.07. Nilai
deviance tersebut tidak terlalu dekat dengan 0 dan juga tidak terlalu jauh dengan
nilai 0, artinya model cukup fit untuk semua data, sehingga model cukup baik untuk digunakan. Berdasarkan hasil pembentukan model fitur geometri, akurasi rata-rata dari pembentukan model menggunakan fitur geometri adalah 74.12%. Perbandingan akurasi pembentukan model untuk masing-masing fold dapat dilihat pada Gambar 8. Berdasarkan grafik tersebut, model yang dipilih untuk digunakan untuk temu kembali citra adalah model dari fold ke-2 dengan akurasi 72.73% karena Gambar 7 Contoh citra terklasifikasikan benar menggunakan fitur tekstur: (a)
kelas 60 (b) kelas 45
Gambar 6 Contoh citra terklasifikasikan salah menggunakan fitur tekstur: (a) kelas 15 (b) kelas 30
(a)
(b)
14
akurasinya yang paling dekat dengan rata-rata akurasi seluruh fold. Hal tersebut dilakukan agar model yang dipakai tidak overfitting. Model yang disimpan dalam bentuk fungsi Python. Fungsi Python tersebut yang digunakan untuk mencari urutan kelas untuk temu kembali citra. Perbandingan akurasi perkelas dari model terpilih dapat dilihat pada Gambar 9.
Berdasarkan Gambar 9, terdapat sembilan kelas yang memiliki akurasi 0% yaitu kelas 13 (Castaropsis Argantas), 17 (Dahlia), 21 (Eupatorium riparum), 25 (Gardenia augusta), 26, 28, 47, 49, dan 64. Gambar 10 menunjukkan bahwa kelas yang memiliki akurasi 0%, misalnya kelas 17 dan 21, secara visual memiliki bentuk daun yang berbeda dan beragam, terdapat daun dengan bentuk yang lebih kecil dan lebih besar, serta ada yang bentuknya lebih lebar dari daun yang lain. Hal tersebut yang menyebabkan sulit untuk klasifikasi dan akurasi menjadi buruk karena ciri geometri yang dihasilkan lebih mirip ke ciri geometri kelas lain.
Gambar 8 Grafik perbandingan akurasi model geometri
67.68
72.73
77.27 78.79
Fold 1 Fold 2 Fold 3 Fold 4
Gambar 9 Perbandingan akurasi model geometri masing-masing kelas
0 0.2 0.4 0.6 0.81 1 4 7 10 13 16 19 22 25 28 31 34 37 40 43 46 49 52 55 58 61 64 Ak u ras i (x 1 0 0 % ) Kelas
Gambar 10 Contoh citra terklasifikasikan salah menggunakan fitur geometri: (a) kelas 17 (b) kelas 21
15 Sementara itu, terdapat 38 spesies yang memiliki akurasi sebesar 100%. Gambar 11 merupakan contoh data citra kelas yang memiliki akurasi tersebut. Gambar 11 menunjukkan bahwa data citra spesies 7 (Antanan) dan 14 (Clidemia
hirta), secara visual memiliki bentuk geometri/bentuk yang seragam dan hampir
sama. Oleh karena itu, hasil akurasi dari query tersebut menjadi baik.
Penggabungan Fitur Hasil Classifier
Berdasarkan evaluasi model, terdapat beberapa kelas yang memiliki akurasi yang tinggi saat percobaan menggunakan fitur tekstur, namun rendah saat percobaan menggunakan fitur geometri, dan sebaliknya. Misalnya kelas 17 (Dahlia
sp), memiliki akurasi 100% saat percobaan menggunakan fitur tekstur, namun
akurasi menjadi 0% saat percobaan menggunakan fitur geometri. Sementara itu, kelas 30 (Indigofera suffuritosa) memiliki akurasi 0% saat percobaan menggunakan fitur tekstur, namun akurasi menjadi 100% saat percobaan menggunakan fitur geometri.
Oleh hal itu, dilakukan penggabungan dari beberapa fitur. Model classifier menghasilkan score atau peluang setiap spesies (hasil classifier), kemudian score tersebut digunakan untuk penggabungan hasil classifier berdasarkan fitur (satu fitur atau dua fitur). Penggabungan hasil beberapa classifier dilakukan menggunakan metode similarity-based combination (SC).
Penentuan Metode Penggabungan Fitur
Metode kombinasi peluang yang digunakan adalah weighted similarity-based
combination/WSC dengan 𝛼 = 0.5, average similarity-based combination/ASC dengan 𝛼 = 0, dan maximum similarity-based combination/MSC dengan 𝛼 = 1. Hasil akurasi terbaik dari metode kombinasi digunakan untuk penggabungan fitur. Persamaan yang digunakan dapat dilihat pada Persamaan 20, 21, dan 22.
𝑊𝑆𝐶ℎ = 0.5 × max(𝑠1ℎ, 𝑠2ℎ) + 0.5 × (∑ 𝑠𝑐ℎ 2 2 1 ) (20) 𝑀𝑆𝐶ℎ = max(𝑠1ℎ, 𝑠2ℎ) (21) 𝐴𝑆𝐶ℎ= (∑ 𝑠𝑐ℎ 2 2 1 ) (22) Penggunaan penggabungan hasil classifier MSC menerapkan nilai maksimum yang berarti sistem dapat secara otomatis memilih hasil classifier fitur yang besar. Sementara itu, ASC menerapkan rata-rata hasil classifer yang berarti sistem melihat keseluruhan nilai yang ada dari semua hasil classifier.
Gambar 11 Contoh citra terklasifikasikan benar menggunakan fitur geometri: (a) kelas 7 (b) kelas 14
16
Percobaan Similarity-based Combination
Evaluasi menggunakan data citra query yaitu 66 citra dengan satu citra untuk masing-masing spesies. Evaluasi yang digunakan dilihat dari akurasi atau ketepatan dalam klasifikasi. Perbandingan evaluasi metode penggabungan dapat dilihat pada Tabel 2. Berdasarkan Tabel 2, akurasi penggabungan fitur lebih rendah dari akurasi fitur tekstur. Percobaan menggunakan fitur tekstur mengklasifikasi dengan benar 57 kelas/spesies, sedangkan ASC, MSC, WSC mengklasifikasi dengan benar 56 kelas. Terdapat satu kelas yang berbeda yaitu kelas 31 (Isotoma longiflora). Citra
query/kelas 31 dapat dilihat pada Gambar 12.
Kelas citra tersebut benar diklasifikasikan menggunakan fitur tekstur, sedangkan salah diklasifikasikan menggunakan fitur geometri. Hal tersebut dikarenakan peluang terbesar saat menggunakan fitur geometri lebih besar dari peluang terbesar menggunakan fitur tekstur, padahal fitur geometri salah mengklasifikasi, sehingga saat menggunakan ASC, MSC, dan WSC peluang terbesar menjadi salah klasifikasi. Selain itu, juga dikarenakan akurasi model klasifikasi geometri lebih kecil dari model klasifikasi tesktur. Misalnya citra query ke-31 (Isotoma longiflora), peluang terbesar menggunakan fitur tekstur adalah 0.9243 dengan hasil klasifikasi benar. Sementara itu, peluang terbesar menggunakan fitur geometri adalah 0.9903 dengan klasifikasi salah (kelas 62). Saat menggunakan ketiga metode SC diatas, hasil peluang terbesar mengikuti penggunaan fitur geometri. Oleh karena itu, hasil akhir menjadi salah klasifikasi. Hasil peluang citra query ke-31 dapat dilihat pada Tabel 3 dengan (B) adalah benar klasifikasi dan (S) adalah salah klasifikasi. Tabel perbandingan klasifikasi dan peluang menggunakan penggabungan fitur SC dapat dilihat pada Lampiran 3.
Gambar 12 Citra query/kelas 31 (Isotoma longiflora) Tabel 2 Percobaan penggabungan dua fitur menggunakan SC
Geometri Tekstur Penggabungan Fitur
ASC MSC WSC
69.70% 86.36% 84.85% 84.85% 84.85%
Tabel 3 Hasil peluang citra query ke-31 untuk kelas 31 Kelas
Prediksi
Peluang Kelas Prediksi Penggabungan Fitur
Tekstur Geometri ASC MSC WSC
31 0.9243 (B) 0.0097 0.4670 0.9243 0.6957
17 Percobaan Bobot Proporsi
Pecobaan kedua, kombinasi fitur menggunakan bobot proporsi dari akurasi pembentukan model. Pembobotan tersebut memodifikasi metode average
similarity-based combination (ASC). ASC menggunakan bobot yang sama untuk
setiap hasil classifier dengan persamaan 𝑆𝐶𝑘= 0.5 × 𝑠1𝑘+ 0.5 × 𝑠2𝑘, sedangkan kombinasi fitur ini menggunakan bobot proporsi dari akurasi pembentukan model seperti pada Persamaan 23, dengan 𝑎𝑐𝑐1 adalah akurasi pembentukan model fitur tekstur, 𝑎𝑐𝑐2 adalah akurasi pembentukan model fitur geometri, 𝑠1𝑘 adalah score
combination fitur tekstur untuk kelas k, dan 𝑠2𝑘 adalah score combination fitur geometri untuk kelas k.
𝑆𝐶𝑘 = 𝑎𝑐𝑐1
𝑎𝑐𝑐1+ 𝑎𝑐𝑐2× 𝑠1𝑘 +
𝑎𝑐𝑐1
𝑎𝑐𝑐1+ 𝑎𝑐𝑐2𝑠2𝑘 (23) Akurasi pembentukan model dengan fitur tekstur sebesar 89.39%, sedangkan dengan fitur geometri sebesar 72.73%. Akurasi pembentukan model dengan fitur tekstur lebih besar dari fitur geometri, maka bobot untuk peluang fitur tekstur dibuat lebih besar dari bobot peluang fitur geometri, dengan asumsi lebih mementingkan hasil dari classifier dengan akurasi pembentukan model yang besar. Oleh hal tersebut, percobaan ini menggunakan persamaan 𝑆𝐶ℎ =
0.8939
0.8939+0.7273× 𝑠1ℎ+ 0.7273
0.8939+0.7273𝑠2ℎ= 0.6𝑠1ℎ+ 0.4𝑠2ℎ , dengan 𝑠1ℎ adalah peluang citra diklasifikasikan masuk kelas h menggunakan fitur tekstur dan 𝑠2ℎ adalah peluang citra diklasifikasikan masuk kelas h menggunakan fitur geometri. Perbandingan evaluasi menggunakan citra query dapat dilihat pada Tabel 4.
Berdasarkan Tabel 4, penggunaan bobot proporsi dapat meningkatkan akurasi dari ASC, WSC, dan MSC sehingga akurasi yang dihasilkan sama besar dari akurasi saat menggunakan fitur tekstur. Satu citra yang sebelumnya salah klasifikasi saat menggunakan geometri menjadi benar diklasifikasikan menggunakan penggabungan fitur bobot proporsi. Berdasarkan percobaan pertama dan kedua, penggabungan dua fitur dengan bobot proporsi adalah yang terbaik dari metode penggabungan lainnya.
Evaluasi Temu Kembali Citra
Evaluasi temu kembali citra menggunakan average precision dari query citra yang dimasukkan. Precision adalah rasio citra yang relevan terhadap jumlah total citra yang terambil. Precision digunakan untuk mengukur kebaikan sistem temu kembali citra untuk pengguna. Sementara itu, recall adalah rasio citra yang relevan terhadap jumlah citra relevan yang berada dalam basis data. Recall untuk mengukur kebaikan sistem dalam menampilkan citra yang relevan. Temu kembali citra yang baik, jika nilai precision dan recall mendekati atau sama dengan 1. Selain itu, dilihat juga grafik 11 titik average precision dari setiap penggunaan fitur. Citra query yang digunakan untuk evaluasi sebanyak 66 citra, satu citra dari masing-masing kelas.
Tabel 4 Percobaan Kombinasi Dua Fitur dengan bobot proporsi
Geometri Tekstur Bobot proporsi
18
Penggunaan Satu Fitur
Berdasarkan citra query yang digunakan, temu kembali citra daun tumbuhan menggunakan fitur tekstur menghasilkan hasil average precision masing-masing sebesar 0.84. Sementara itu, temu kembali citra daun tumbuhan menggunakan geometri menghasilkan average precision sebesar 0.56. Perbandingan grafik 11 titik average precision untuk penggunaan satu fitur dapat dilihat pada Gambar 13.
Berdasarkan Gambar 13, kinerja temu kembali citra daun tumbuhan dengan menggunakan satu fitur yang terbaik adalah menggunakan fitur tekstur, terlihat dari grafik 11 titik average precision untuk penggunaan fitur tekstur berada paling atas diantara fitur geometri. Sementara itu, berdasarkan Gambar 14 terlihat bahwa ada citra query yang benar diklasifikasikan atau kelas aktual muncul di urutan pertama menggunakan fitur tekstur, tetapi salah diklasifikasikan menggunakan fitur geometri dan sebaliknya.
Gambar 13 Grafik 11 titik average precision satu fitur
0 0.2 0.4 0.6 0.8 1 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 A ve rage pr ec is ion
Citra yang diambil tekstur geometri
Gambar 14 Perbandingan kelas aktual dan kelas prediksi penggunaan satu fitur
1 6 11 16 21 26 31 36 41 46 51 56 61 66 1 4 7 1 0 1 3 1 6 1 9 2 2 2 5 2 8 3 1 3 4 3 7 4 0 4 3 4 6 4 9 5 2 5 5 5 8 6 1 6 4 K el as pr edi ks i Kelas aktual tekstur geometri
19 Misalnya hasil temu kembali citra query kelas Altignia Excelsa yang dapat dilihat pada Gambar 15, citra yang relevan tetap dapat terambil pada citra teratas, walaupun tidak terdapat pada urutan pertama tetapi urutan kelas ketiga. Hal itu menyebabkan pengguna masih tetap mendapatkan citra yang relevan pada hasil pencarian. Selain itu, hasil dari pencarian citra query tersebut dapat menampilkan daun tumbuhan yang mempunyai fitur yang mirip.
Penggunaan Dua Fitur
Penggunaan dua fitur yaitu penggabungan fitur tekstur dan geometri. Berdasarkan temu kembali citra daun tumbuhan, penggabungan fitur tesktur dan geometri. menghasilkan nilai rata-rata precision sebesar 0.69. Grafik 11 titik
average precision penggunaan dua fitur dapat dilihat pada Gambar 16. Berdasarkan
rata-rata precision tersebut, nilai rata-rata precision penggunaan dua fitur lebih kecil dari penggunaan fitur tesktur, tetapi dengan melihat grafik 11 titik average
precision kinerja temu kembali citra daun tumbuhan penggunaan dua fitur tidak
terlalu berbeda pada titik 0, 0.1, 0.2, dan 0.3 dengan penggunaan fitur tekstur yang dapat dilihat pada Gambar 17. Selain itu, perbandingan average precision penggunaan satu fitur dan dua fitur dapat dilihat pada Tabel 5. Average precision dari penggunaan dua fitur menjadi lebih kecil dari penggunaan fitur tekstur, karena saat proses penggabungan, score combination yang lebih besar dari threshold
retrieval menjadi lebih banyak. Oleh karena itu, ada citra yang tidak relevan ikut
terambil.
Gambar 15 Hasil temu kembali citra teratas dengan data citra query kelas Altignia
excelsa
Tabel 5 Perbandingan average precision untuk penggunaan fitur
Geometri Tekstur Gabungan
20
Antarmuka Sistem Temu Kembali Citra
Halaman hasil dari temu kembali citra menampilkan citra daun yang relevan berdasarkan urutan kelas citra pada basis data. Urutan tersebut berdasarkan perhitungan vektor ciri citra query dengan model yang ada. Halaman pertama merupakan hasil temu kembali citra yang menampilkan citra teratas. Halaman hasil temu kembali menggunakan fitur tekstur dan geometri dari query kelas 1 (Aeglemarmelos) dapat dilihat pada Gambar 18. Selain itu, pengguna dapat melakukan temu kembali lagi menggunakan fitur berbeda dengan memilih fitur yang akan digunakan. Gambar 19 menampilkan hasil temu kembali citra query 1
Gambar 16 Grafik 11 titik average precision penggunaan dua fitur 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 A ve rage pr ec is ion
Citra yang diambil
Gambar 17 Perbandingan grafik 11 titik average precision penggunaan satu dan dua fitur
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 0 0 . 1 0 . 2 0 . 3 0 . 4 0 . 5 0 . 6 0 . 7 0 . 8 0 . 9 1 A ve rage pr ec is ion
Citra yang diambil
21 (Aeglemarmelos) dengan fitur geometri saja. Penggunaan fitur dapat menghasilkan temu kembali citra yang berbeda.
Gambar 18 Halaman hasil sistem temu kembali citra daun tumbuhan berdasarkan citra query 1 (Aeglemarmelos) dengan fitur tekstur dan geometri
Gambar 19 Halaman hasil sistem temu kembali citra daun tumbuhanberdasarkan citra query 1 (Aeglemarmelos) dengan fitur geometri
22
SIMPULAN DAN SARAN
Simpulan
Metode klasifikasi multinomial logistic regression (MLR) dapat diterapkan pada sistem temu kembali citra tumbuhan. Rata-rata akurasi dari pembentukan model MLR menggunakan fitur tekstur dan geometri masing-masing adalah 88.83% dan 74.12%. Kinerja penggunaan fitur untuk satu fitur dan beberapa fitur dapat dibandingkan dengan melihat average precision dan grafik 11 titik average
precision. Kinerja sistem temu kembali citra dengan menggunakan satu fitur yang
terbaik adalah fitur tekstur. Sementara itu, perbandingan dari penggunaan satu fitur dan dua fitur, menyatakan bahwa penggabungan fitur tekstur dan geometri menghasilkan nilai average precision sebesar 0.69 lebih kecil dari average
precision fitur tekstur yang sebesar 0.84. Saran
S
aran untuk penelitian selanjutnya yaitu menggunakan metode ekstraksi fitur geometri yang lain seperti SIFT, menggunakan fitur daun yang lain seperti fitur kontur dan venasi, atau menerapkan seleksi fitur untuk vektor ciri yang digunakan. Selain itu, diperlukan penggunaan metode penggabungan hasil fitur yang berbeda seperti product decision rule dan/atau penggunaan metode klasifikasi yang lain seperti random forest atau deep learning untuk meningkatkan hasil temu kembali citra tumbuhan.23
DAFTAR PUSTAKA
Ahmed GF, Barskar R. 2011. A study on different image retrieval techniques in image processing. International Journal of Soft Computing and Engineering
(IJSCE). 1(4): 247-251.
Bama BS, Valli SM, Mariam MA, Raju S, Abhaikumar V. 2011. Content based leaf image retrieval (CBLIR) intended for e-commerce. International Journal of
Information Technology Convergence and Services (IJITCS). 1(2): 1-5.
doi:10.5121/ijitcs.2011.1201.
Dobson AJ. 2002. An Introduction to Generalized Linear Models. Ed ke-2. New York (US): Chapman & Hall/CRC.
Fitriany N. 2013. Identifikasi faktor-faktor yang memengaruhi indeks prestasi kumulatif (IPK) menggunakan regresi logistik biner dan multinomial [skripsi]. Bogor (ID): Institut Pertanian Bogor.
Guo G, Neagu D. 2005. Similarity-based classifier combination for decision making. Di dalam: 2005 IEEE International Conference on Systems, Man and
Cybernetics; 2005 Okt 10-12; Waikoloa, Hawaii. Piscataway (US): IEEE.
Han J, Kamber M. 2001. Data Minning Concepts & Techniques. Massachusetts (US): Academic Press.
Herdiyeni Y, Kusmana I. 2013. Fusion of local binary patterns features for tropical medicinal plants identification. Di dalam: 2013 International Conference on
Advanced Computer Science and Information Systems (ICACSIS); 2013 Sep
28-29; Bali (ID): IEEE. hlm 353 - 357.
Herdiyeni Y, Ginanjar AR, Anggoro MRL, Douady S, Zuhud EAM. 2015. Medleaf: mobile biodiversity informatics tool for mapping and identifying indonesian medicinal plants. Di dalam: 2015 7th International Conference of Soft
Computing and Pattern Recognition (SoCPaR); 2015 Nov 13-15; Fukuoka (JP):
IEEE. hlm 54 - 59.
Iakovidis DK, Keramidas EG, Maroulis D. 2008. Fuzzy Local Binary Patterns for
Ultrasound Texture Charecterization. Athens (GR): University of Athens.
Jun Li, Bioucas-Dias JM, Plaza A. 2013. Semisupervised hyperspectral image classification using soft sparse multinomial logistic regression. IEEE Geosci
Remote Sensing Lett. 10(2): 318-322. doi:10.1109/lgrs.2012.2205216.
Kalengkongan WW, Herdiyeni Y, Silalahi BP, Douady S. 2015. Landmark analysis of leaf shape using dynamic threshold polygonal approximation. Di dalam:
International Conference on Advance Computer Science and Information System; 2015 Okt 10-11; Depok (ID): IEEE. hlm 287 - 292.
Kebapci H, Yanikoglu B, Unal G. 2010. Plant image retrieval using color, shape and texture features. The Computer Journal. 54(9): 1475-1490. doi:10.1093/comjnl/bxq037.
[Kemendag] Kementerian Perdagangan Republik Indonesia. 2014. Warta ekspor obat herbal tradisional [Internet]. [diunduh 2015 Des 21]. Tersedia pada: http://djpen.kemendag.go.id/app_frontend/webroot/admin/docs/publication/46 51421058307.pdf
Manning CD, Raghavan P, Schütze H. 2009. An Introduction to Information
24
Maulana O, Herdiyeni Y. 2013. Combining image and text features for medicinal plants image retrieval. Di dalam: Advanced Computer Science and Information
Systems (ICACSIS); 2013 Sep 28-29; Bali (ID): IEEE. hlm 273-277.
Mäenpää T. 2003. The Local Binary Patterns Approach to Texture Analysis. Oulu (FI): Oulu University Press.
Pahalawatta KK. 2008. Plant species biometric using feature hierarchies [tesis]. Christchurch (NZ): University of Canterbury.
Pravista DS, Herdiyeni Y. 2012. Medleaf: aplikasi mobile untuk identifikasi tumbuhan obat berbasis citra dan teks. Di dalam: Seminar Nasional Pertemuan
dan Presentasi Ilmiah Kalibrasi, Instrumentasi dan Meteorologi (PPI-KIM) ke-38; 2012 Okt; Jakarta (ID): LIPI.
Rokach L. 2009. Ensemble-based classifiers. Artif Intell Rev. 33(1-2):1-39. doi:10.1007/s10462-009-9124-7.
Salima A, Herdiyeni Y, Douady S. 2015. Leaf vein segmentation of medicinal plant using hessian matrix. Di dalam: International Conference on Advance
Computer Science and Information System; 2015 Okt 10-11; Depok (ID): IEEE.
hlm 275 - 279.
Starkweather J, Moske AK. 2011. Multinomial logistic regression. [Internet]. [diunduh 2015 Des 12]. Tersedia pada: http://www.unt.edu/rss/class/Jon/ Benchmarks/MLR_ JDS_ Aug2011.pdf.
Tan PN, Steinbach M, Kumar V. 2006. Introduction to Data Mining. Boston (US): Addison Wesley.
Yunita V. 2009. Klasifikasi citra menggunakan metode minor component analysis pada sistem temu kembali citra [skripsi]. Bogor (ID): Institut Pertanian Bogor.
25 Lampiran 1 Daftar nama kelas/spesies
Kode
Kelas Nama Spesies
Kode
Kelas Nama Spesies
1 Aeglemarmelos 34 Justicia gandarussa
2 Ageratum Conyzoides 35 kejibeling_Strobilanthes
crispus
3 Akar bilawan 36 Magnolia SP
4 Allamanda cathartica 37 Melastoma Malabatrikum
5 Altignia Excelsa 38 Mikania micrantha
6 Amaranthus tricolor 39 Mirabilis Jalapa
7 Antanan 40 Morinda citrifolia
8 Bareria Hispida 41 Morus Alba
9 Berberis fortunel 42 Nasturtium montanum
10 Bidens pilosa 43 Orthosipon aristatus
11 Blumea Balsamifera 44 Phaleria macrocarpa
12 Brassica rappa 45 Piper aduncum
13 Castaropsis Argantas 46 Piper umbellatum
14 Clidemia hirta 47 Plantago mayor
15 Coleus scutellarioides 48 Pluchea indica
16 Colevs ambinicus 49 Plumbago
17 Dahlia sp 50 Poh pohan
18 Datura SP 51 Psidium Guajava
19 Daun Jinten 52 Ranunculus SP
20 Dillenra
Philippinensis 53 Ricinus communis
21 Eupatorium riparum 54 Rosella Ungu
22 Euphorbia prunifolia 55 Rumex japonicus
23 Euphorbia
pulcherrima 56 Santiria
24 Excoecaria bicolor 57 Sida rombhifolia
25 Gardenia augusta 58 Smilax sp Gadung
26 Graptophyllum Pictum 59 Solanum nigrum
27 Guazuma Umifolia 60 Solanum sp
28 Haottuina cordata 61 Solanum torvum
29 Impatiens Balsamina 62 Sonchus arvensis
30 Indigofera suffuritosa 63 Synderella Nodiflora
31 Isotoma longiflora 64 Synedella sp
32 Ixora Japonica 65 Tabernaermatana sp
26
27 Lanjutan 2 Lanjutan
28
Lampiran 3 Tabel klasifikasi dan nilai peluang penggabungan fitur dengan SC Kode T adalah Tekstur, G adalah Geometri, W adalah penggabungan fitur dengan WSC, A adalah penggabungan fitur dengan ASC, dan M adalah penggabungan fitur dengan MSC. Nilai 1 berarti benar diklasifikasikan dan nilai 0 berarti salah diklasifikasikan.
Query
/Kelas
Klasifikasi Peluang Kelas Aktual
T G W A M T G W A M 1 1 0 1 1 1 0.9849 0.2797 0.8086 0.6323 0.9849 2 1 1 1 1 1 0.9997 0.8801 0.9698 0.9399 0.9997 3 1 1 1 1 1 0.9998 0.9213 0.9801 0.9605 0.9998 4 1 1 1 1 1 0.9999 0.7595 0.9398 0.8797 0.9999 5 0 0 0 0 0 0.0895 0.0024 0.0678 0.0460 0.0895 6 1 1 1 1 1 0.4818 0.4267 0.4680 0.4543 0.4818 7 0 1 0 0 0 0.0000 0.3495 0.2621 0.1747 0.3495 8 1 0 1 1 1 0.8474 0.0110 0.6383 0.4292 0.8474 9 1 0 0 0 0 0.6176 0.0051 0.4645 0.3114 0.6176 10 1 1 1 1 1 1.0000 0.8427 0.9607 0.9214 1.0000 11 1 1 1 1 1 0.9999 0.7395 0.9348 0.8697 0.9999 12 1 1 1 1 1 0.9998 0.9551 0.9886 0.9774 0.9998 13 1 0 1 1 1 0.9991 0.0015 0.7497 0.5003 0.9991 14 1 1 1 1 1 0.9998 0.5523 0.8880 0.7761 0.9998 15 1 1 1 1 1 0.5626 0.6197 0.6054 0.5911 0.6197 16 1 0 1 1 1 0.9996 0.0000 0.7497 0.4998 0.9996 17 1 0 1 1 1 0.9996 0.1070 0.7764 0.5533 0.9996 18 1 1 1 1 1 0.9997 0.2038 0.8007 0.6018 0.9997 19 1 1 1 1 1 0.9997 0.9645 0.9909 0.9821 0.9997 20 1 1 1 1 1 0.9997 0.8453 0.9611 0.9225 0.9997 21 1 0 1 1 1 0.8636 0.0065 0.6493 0.4350 0.8636 22 1 1 1 1 1 1.0000 0.8831 0.9707 0.9415 1.0000 23 1 1 1 1 1 0.9998 0.8123 0.9529 0.9061 0.9998 24 1 1 1 1 1 0.7085 0.8789 0.8363 0.7937 0.8789 25 1 0 1 1 1 0.9999 0.1398 0.7849 0.5698 0.9999 26 1 1 1 1 1 0.9996 0.6525 0.9128 0.8260 0.9996 27 1 1 1 1 1 0.9999 0.8199 0.9549 0.9099 0.9999 28 0 0 0 0 0 0.0406 0.2935 0.2303 0.1670 0.2935 29 1 1 1 1 1 0.9998 0.8740 0.9683 0.9369 0.9998 30 1 1 1 1 1 0.8352 0.2741 0.6949 0.5546 0.8352 31 1 0 0 0 0 0.9243 0.0097 0.6956 0.4670 0.9243 32 0 0 0 0 0 0.1324 0.0087 0.1015 0.0705 0.1324 33 1 1 1 1 1 1.0000 0.7542 0.9385 0.8771 1.0000 34 1 0 1 1 1 0.7977 0.2877 0.6702 0.5427 0.7977
