10 kbp. Hasil akurasi organisme uji juga mengalami penurunan dengan bertambahnya nilai k tetangga terdekat. Pada k = 3 diperoleh akurasi 98.28%. Untuk nilai k = 5 dan k = 7 masing-masing diperoleh akurasi sebesar 98.02% dan 97.58%. Penurunan juga terjadi pada hasil sensitivitas dan spesifisitas dengan bertambahnya nilai k tetangga terdekat. Sensitivitas dan spesifisitas pada k = 3 sebesar 98.06% dan 98.95%. Sensitivitas pada k = 5 dan k = 7 masing-masing sebesar 97.77% dan 97.27%. Sedangkan spesifisitaspada k = 5 dan k = 7 masing-masing sebesar 98.80% dan 98.53%.
Fragmen dari genus Agrobacterium tidak ada yang salah diprediksi menjadi genus Bacillus maupun Staphylococcus begitu juga sebaliknya. Fragmen dari genus Bacillus dan Staphylococcus tidak ada yang salah prediksi menjadi genus
Agrobacterium. Pada k = 5 dan k = 7 terjadi peningkatan fragmen yang salah
prediksi dari genus Bacillus menjadi Staphylococcus dan sebaliknya dari
Staphylococcus menjadi Bacillus. Hasil akurasi, sensitivitas, dan spesifisitas yang didapatkan pada percobaan ini masing-masing dapat dilihat pada Tabel 14 dan Tabel 15. Untuk mengetahui fragmen yang salah diklasifikasi dapat dilihat pada
confusion matrix pada Tabel 13.
Pada pengujian dataset organisme uji diperoleh nilai akurasi yang semakin meningkat berdasarkan jumlah fragmen yang diuji. Hal yang serupa juga ditunjukkan oleh sensitivity dan specificity. Hasil akurasi terbaik diperoleh dari
Tabel 12 Confusion matrix dataset organisme uji dengan panjang fragmen 5 kbp Kelas aktual
Kelas prediksi
k = 3 k = 5 k = 7
Agr Bac Sta Agr Bac Sta Agr Bac Sta Agrobacterium 1285 0 0 1283 2 0 1279 6 0
Bacillus 5 2281 17 5 2282 16 0 2286 17
Staphylococcus 0 139 1273 0 147 1265 0 156 1256
Tabel 13 Confusion matrix dataset organisme uji dengan panjang fragmen 10 kbp Kelas aktual
Kelas prediksi
k = 3 k = 5 k = 7
Agr Bac Sta Agr Bac Sta Agr Bac Sta Agrobacterium 1258 0 0 1258 0 0 1258 0 0
Bacillus 0 2288 4 0 2286 6 0 2286 6
Staphylococcus 0 82 1368 0 93 1357 0 115 1335
16
Percobaan 1 dengan nilai k = 3 mencapai 98.28%. Sensitivitas dan spesifisitas dengan nilai terbaik juga didapat dari percobaan yang sama. Nilaisensitivitas dan spesifisitas yang diperoleh berturut-turut yaitu 98.06% dan 98.95% sebagaimana dilihat dari Tabel 16.
Perbandingan Akurasi, Sensitivitas, dan Spesifisitas antara Dataset Organisme Latih dengan Organisme Uji
Perbandingan akurasi, sensitivitas, dan spesifisitas dari dataset organisme latih dan organisme uji ditunjukkan pada Tabel 17. Dari tabel tersebut tampak bahwa hasil akurasi, sensitivitas, dan spesifisitas antara organisme latih lebih tinggi daripada organisme uji. Ini mungkin disebabkan karena ada tumpang tindih urutan antara fragmen yang berbeda dalam spesies atau antar spesies dalam genus yang sama. Sehingga menyebabkan salah klasifikasi dengan menetapkan fragmen ke genus yang berbeda.
Tabel 14 Hasil akurasi pada pengujian dataset organisme uji Panjang fragmen Akurasi (%) k = 3 k = 5 k = 7 500 bp 85.64 86.18 86.52 1 kbp 91.34 91.92 92.04 5 kbp 96.78 96.60 96.42 10 kbp 98.28 98.02 97.58
Tabel 15 Hasil sensitivitas dan spesifisitas organisme uji Panjang fragmen Sensitivitas (%) Spesifisitas(%) k = 3 k = 5 k = 7 k = 3 k = 5 k = 7 500 bp 84.28 84.65 84.89 91.61 91.85 92.00 1 kbp 90.69 91.30 91.32 95.04 95.37 95.40 5 kbp 96.40 96.17 95.92 98.08 97.96 97.84 10 kbp 98.06 97.77 97.27 98.95 98.80 98.53
Tabel 16 Perbandingan akurasi, sensitivitas, danspesifisitas organisme uji
Kriteria Tingkat (%) k = 3 k = 5 k = 7 500 bp 1 kbp 5 kb 10 kbp 500 bp 1 kbp 5 kbp 10 kbp 500 bp 1 kbp 5 kbp 10 kbp Akurasi 85.64 91.34 96.78 98.28 86.18 91.92 96.60 98.02 86.52 92.04 96.42 97.58 Sensitivitas 84.28 90.69 96.40 98.06 84.65 91.30 96.17 97.77 84.89 91.32 95.92 97.27 Spesifisitas 91.61 95.04 98.08 98.95 91.85 95.37 97.96 98.80 92.00 95.40 97.84 98.53
Tabel 17 Perbandingan akurasi, sensitivitas, dan spesifisitas organisme latih dan uji
Nilai
k
Panjang fragmen
Akurasi Sensitivitas Spesifisitas Latih Uji Latih Uji Latih Uji
k = 3 500 bp 87.15 85.64 85.68 84.28 92.55 91.61 1 kbp 94.50 91.34 93.86 90.69 96.82 95.04 5 kbp 99.20 96.78 99.07 96.40 99.53 98.08
17
Pengujian Dataset Organisme Latih dan Organisme Uji Berdasarkan Genus Tabel 18 dan Tabel 19 menunjukkan nilai sensitivitas dari setiap genus dengan panjang fragmen berbeda masing-masing dari organisme latih dan organisme uji. Sensitivitas dari penelitian ini sangat tinggi ketika menggunakan spesies dari genus Agrobacterium, bahkan ketika hanya menggunakan fragmen dengan panjang 500 bp. Kinerja algoritme meningkat dengan meningkatnya panjang fragmen. Untuk organisme latih, sensitivitas dengan panjang fragmen 500 bp rata-rata mencapai 96.05%. Kecenderungan ini juga diperlihatkan oleh dataset yang mewakili organisme uji yang mencapai rata-rata sensitivitas 98.10%. Ini berarti pengujian yang dilakukan berhasil mengenali fragmen dari spesies yang berasal dari genus Agrobacterium sekitar 96% dengan benar.
Namun, sensitivitas dari penelitian ini hanya mencapai rata-rata 74% untuk organisme latih dan 63.34% untuk organisme uji ketika mengklasifikasi fragmen spesies yang termasuk dalam genus Staphylococcus dengan panjang fragmen 500 bp. Penyebab hal tersebut mungkin karena terdapat banyak fragmen dari genus
Staphylococcus yang diprediksi ke dalam Bacillus. Hal ini dimungkinkan karena
Staphylococcus dan Bacillus berasal dari satu ordo yang sama yaitu Bacilalles. Kesalahan klasifikasi fragmen mungkin terjadi karena terdapat overlap sekuens antara strain yang berbeda dalam spesies di ordo yang sama. Sehingga perlu dipertimbangkan untuk memperluas penelitian ini untuk mengklasifikasikan fragmen ke tingkat taksonomi yang lebih tinggi.
Tabel 18 Hasil sensitivitas organisme latih Panjang
fragmen
Agrobacterium (%) Bacillus (%) Staphylococcus (%)
k = 3 k = 5 k = 7 k = 3 k = 5 k = 7 k = 3 k = 5 k = 7 500 bp 96.12 96.12 95.92 89.27 91.95 93.01 71.66 74.60 75.74 1 kbp 97.53 97.53 97.91 95.75 96.94 97.92 88.29 91.32 92.84 5 kbp 100.00 100.00 99.06 99.41 96.64 99.41 97.81 98.02 98.24 10 kbp 100.00 100.00 99.81 99.81 99.71 99.52 99.32 99.09 99.32
18
Tabel 20 dan Tabel 21 menunjukkan nilai spesifisitas dari setiap genus dengan panjang fragmen berbeda masing-masing dari organisme latih dan organisme uji. Hasil spesifisitas dari penelitian ini juga sangat tinggi ketika menggunakan spesies dari genus Agrobacterium, walaupun hanya memakai fragmen dengan panjang 500 bp. Kinerja algoritme meningkat dengan meningkatnya panjang fragmen. Untuk organisme latih, spesifisitas dengan panjang fragmen 500 bp rata-rata mencapai 99.26%. Kecenderungan ini juga diperlihatkan oleh dataset yang mewakili organisme uji yang mencapai rata-rata akurasi 99.10%.
Spesifisitas yang didapat dari genus Bacillus dengan panjang fragmen 500 bp hanya mencapai rata-rata 85.91% untuk organisme latih dan 80.42% untuk organisme uji. Hal tersebut mungkin disebabkan karena terdapat banyak fragmen dari genus Bacillus yang diprediksi ke dalam Staphylococcus. Hal ini dimungkinkan karena Bacillus dan Staphylococcus berasal dari satu ordo yang sama yaitu Bacilalles.
Tabel 19 Hasil sensitivitas organisme uji Panjang
fragmen
Agrobacterium (%) Bacillus (%) Staphylococcus (%)
k = 3 k = 5 k = 7 k = 3 k = 5 k = 7 k = 3 k = 5 k = 7 500 bp 97.90 98.13 98.29 91.36 92.53 93.25 63.59 63.29 63.14 1 kbp 99.17 98.95 99.02 95.27 95.63 96.25 77.63 79.33 78.69 5 kbp 100.00 99.84 99.53 99.04 99.09 99.26 90.16 89.59 88.95 10 kbp 100.00 100.00 100.00 99.83 99.74 99.74 94.34 93.59 92.07
Tabel 20 Hasil spesifisitas organisme latih Panjang
fragmen
Agrobacterium (%) Bacillus (%) Staphylococcus (%)
k = 3 k = 5 k = 7 k = 3 k = 5 k = 7 k = 3 k = 5 k = 7 500 bp 99.06 99.33 99.39 84.94 86.19 86.61 93.65 95.25 95.89 1 kbp 99.93 99.93 100.00 93.32 94.84 95.55 97.21 97.92 98.64 5 kbp 99.66 98.66 100.00 98.99 99.09 98.68 99.94 99.05 99.61 10 kbp 100.00 100.00 100.00 99.69 99.59 99.59 99.87 99.81 99.68
Tabel 21 Hasil spesifisitas organisme uji Panjang
fragmen
Agrobacterium (%) Bacillus (%) Staphylococcus (%)
k = 3 k = 5 k = 7 k = 3 k = 5 k = 7 k = 3 k = 5 k = 7 500 bp 98.95 99.09 99.27 80.47 80.39 80.39 95.42 96.07 96.35 1 kbp 99.78 99.81 99.92 88.12 88.89 88.60 97.22 97.41 97.69 5 kbp 99.87 99.87 100.00 94.85 94.48 93.99 99.53 99.55 99.53 10 kbp 100.00 100.00 100.00 96.97 96.57 95.75 99.89 99.83 99.83
19
Dari Tabel 24 dapat dilihat bahwa penelitian ini memiliki kesamaan objek penelitian dengan penelitian Kusuma dan Akiyama (2011) yaitu fragmen metagenom. Penelitian Kusuma dan Akiyama (2011) menerapkan algoritme
characterization vector dalam ekstraksi fitur dan mengimplementasikan SVM
sebagai classifier menghasilkan akurasi terbaik sebesar 92% pada Percobaan 4 untuk fragmen latih dengan panjang 10 kbp. Penelitian ini merujuk pada data yang sama (Kusuma dan Akiyama 2011) dengan menerapkan spaced n-mers sebagai ekstraksi fitur dan KNN sebagai classifier dan mendapatkan akurasi tertinggi pada percobaan yang sama mencapai rata-rata sebesar 99.65%.
Tabel 22 Perbandingan hasil akurasi penelitian terkait Objek penelitian Metode
klasifikasi Dataset Panjang fragmen Hasil (%) Fragmen metagenom (Kusuma 2011) SVM Organisme latih 500 bp 81.00 1 kbp 85.00 5 kbp 90.00 10 kbp 92.00 Organisme uji 500 bp 78.00 1 kbp 80.00 5 kbp 86.00 10 kbp 87.00 Fragmen metagenom (Penelitian ini) KNN Organisme latih 500 bp 88.77 1 kbp 95.68 5 kbp 99.17 10 kbp 99.65 Organisme uji 500 bp 86.11 1 kbp 91.77 5 kbp 96.60 10 kbp 97.96
20