BAB V UJI COBA DAN EVALUASI
5.3 Skenario Uji Coba 2
Skenario uji coba 2 adalah skenario pengujian fungsi pencarian yang menggunakan metode Vector Space Model, tujuannya adalah untuk membandingkan tingkat keakuratan antara query masukan pengguna dengan kumpulan dokumen yang terpilih berdasarkan tingkat kesamaan antara fungsi pencarian sederhana
menggunakan metode Vector Space Model dan fungsi pencarian spesifik menggunakan query SQL.
Uji coba dilakukan dengan menggunakan 3 query masukan berbeda, kemudian mencatat 5 urutan teratas hasil pemanggilan dokumen dari masing-masing metode fungsi pencarian.
Tahapan Uji Coba
Tahapan-tahapan uji coba yang dilakukan untuk mendapatkan urutan dokumen yang terpilih berdasarkan tingkat kesamaan dengan query masukan pengguna berdasarkan diagram alur pada Gambar adalah sebagai berikut:
1. Membuka halaman OPAC RBTC.
2. Memasukkan query pencarian pada modul pencarian sederhana.
3. Jika terdapat hasil keluaran, dilakukan pencatatan query pencarian, dan 5 judul katalog pertama yang terpilih. 4. Jika tidak terdapat hasil keluaran, lakukan kembali tahapan
kedua.
5. Selanjutnya, lakukan kembali masing-masing tahapan di atas terhadap 3 query pencarian yang dipilih untuk uji coba.
65
Hasil Uji Coba
Tabel 5.3 Hasil Pencarian dengan query 1 Query 1: rancang aplikasi
Query SQL (164 dokumen) Vector Space Model (1209 dokumen) RANCANG BANGUN APLIKASI
PERAMAL KESALAHAN PRODUKSI BERBASIS NEURAL NETWORK DAN COLORED PETRI NET
PEMBUATAN APLIKASI SP-135
RANCANG BANGUN APLIKASI PENCARIAN TEMPAT
INDEKOS PADA PERANGKAT MOBILEANDROID RANCANG BANGUN APLIKASI SMART ANDROID FOR MOSLEM BERBASIS LOKASI PENGGUNA
RANCANG BANGUN APLIKASI PANGGILAN DARURAT
DENGAN PERINTAH SUARA BERBAHASA INDONESIA PADA PERANGKAT BERGERAK BERBASIS ANDROID RANCANG BANGUN APLIKASI KEUANGAN PADA RESTORAN
RANCANG BANGUN APLIKASI BERITA DAN INFORMASI PARIWISATA INDONESIA TERKINI DENGAN MENGGUNAKAN KERANGKA KERJA PHONEGAP RANCANG BANGUN APLIKASI DESAIN BATIK TULIS
RANCANG BANGUN APLIKASI PERANGKAT BERGERAK SEBAGAI PANDUAN PERKEMBANGAN DAN PEMBERIAN NUTRISI UNTUK BAYI USIA 0-2 TAHUN
RANCANG BANGUN SISTEM INFORMASI BERBASIS WEB
Tabel 5.3 menyimpan lima hasil pencarian menggunakan query SQL dan metode Vector Space Model dengan query masukan “rancang aplikasi”. Jumlah dokumen kembalian informasi dari uji coba adalah 164 dokumen untuk query SQL dan 1.209 dokumen untuk Vector Space Model. Recall dari query “rancang aplikasi” terhadap metode Vector Space Model bernilai 0,1135 dan presisi bernilai 0,0016.
Tabel 5.4 Hasil pencarian dengan query 2 Query 2: segmentasi citra
Query SQL (109 dokumen) Vector Space Model (469 dokumen) SEGMENTASI CORTICAL
BONE CITRA DENTAL PANORAMIC RADIOGRAPH BERBASIS ENSEMBLE CLASSIFICATION P3L UNTUK SEGMENTASI CITRA DENGAN TRANSFORMASI WATERSHED SEGMENTASI CITRA IKAN
TUNA MENGGUNAKAN GRADIENT-BARRIER WATERSHED BERBASIS ANALISIS HIERARKI KLASTER (GBW-AHK) DAN REGIONAL CREDIBILITY MERGING (RCM)
KOMPRESI CITRA DIGITAL DENGAN METODE
SEGMENTASI ADAPTIF
INTEGRASI DENSITY-BASED CLUSTERING DAN HMRF-EM PADA RUANG WARNA HSI UNTUK SEGMENTASI CITRA IKAN TUNA
P3L SEGMENTASI CITRA MULTI TEKSTUR DENGAN MENGGUNAKAN FILTER GABOR
INISIALISASI PUSAT CLUSTER MENGGUNAKAN ARTIFICIAL BEE COLONY PADA ALGORITMA POSSIBILISTIC FUZZY C-IMPLEMENTASI SEGMENTASI CITRA NATURAL MENGGUNAKAN TEKNIK BERBASIS THRESHOLDING
67
Query 2: segmentasi citra
Query SQL (109 dokumen) Vector Space Model (469 dokumen) MEANS UNTUK
SEGMENTASI CITRA
SEGMENTASI CITRA IKAN TUNA DENGAN MAHALANOBIS HISTOGRAM THRESHOLDING DAN MAHALANOBIS FUZZY C-MEANS SEGMENTASI CITRA MENGGUNAKAN TEKNIK FUSI WARNA DAN TEKSTUR
Tabel 5.4 menyimpan lima hasil pencarian menggunakan query SQL dan metode Vector Space Model dengan query masukan “segmentasi citra”. Jumlah dokumen kembalian informasi dari uji coba adalah 109 dokumen untuk query SQL dan 469 dokumen untuk Vector Space Model. Recall dari query “rancang aplikasi” terhadap metode Vector Space Model bernilai 0,0441 dan presisi bernilai 0,0234.
Tabel 5.5 Hasil pencarian dengan query 3 Query 3: klasifikasi dokumen
Query SQL (12 dokumen) Vector Space Model (252 dokumen) RANCANG BANGUN
MODUL PENGELOMPOKAN DOKUMEN PADA SISTEM MANAJEMEN DOKUMEN KEPEGAWAIAN.
SISTEM MONITORING DOKUMEN
Query 3: klasifikasi dokumen
Query SQL (12 dokumen) Vector Space Model (252 dokumen) EKSTRAKSI FITUR KONSEP
DENGAN PENDEKATAN RELASI KATA UNTUK KLASIFIKASI HALAMAN WEB
P3L PENGKLASIFIKASIAN DOKUMEN BERBASIS ORACLE TEXT 10 DENGAN ALGORITMA SUPPORT VECTOR MACHINE KLASIFIKASI DOKUMEN
TEKS BERBAHASA ARAB MENGGUNAKAN
ALGORITMA NAÏVE BAYES
KLASIFIKASI DOKUMEN TEKS BERBAHASA ARAB MENGGUNAKAN
ALGORITMA NAIVE BAYES PENGGUNAAN ALGORITMA K-NEAREST NEIGHBOR UNTUK KLASIFIKASI DOKUMEN BERBAHASA ARAB PENGGUNAAN ALGORITMA K-NEAREST NEIGHBOR UNTUK KLASIFIKASI DOKUMEN BERBAHASA ARAB KLASIFIKASI DOKUMEN BERITA PADA PORTAL BERBAHASA INGGRIS DENGAN MENGGUNAKAN ALGORITMA NAÏVE BAYES
KLASIFIKASI DOKUMEN BERITA PADA PORTAL BERBAHASA INGGRIS DENGAN
Tabel 5.5 menyimpan lima hasil pencarian menggunakan query SQL dan metode Vector Space Model dengan query masukan “klasifikasi dokumen”. Jumlah dokumen kembalian informasi dari uji coba adalah 12 dokumen untuk query SQL dan 252 dokumen untuk Vector Space Model. Recall dari query “rancang aplikasi” terhadap metode Vector Space Model bernilai 0,0237 dan presisi bernilai 0,0238.
Analisis dan Evaluasi
Pada skenario Uji Coba 2, waktu proses yang dibutuhkan oleh masing-masing metode pencarian berdasarkan query tidak berbeda terlalu jauh dan sama-sama cepat.
69
Berdasarkan hasil uji coba 2, pencarian dengan 3 query yang berbeda, urutan data dokumen yang terpilih dengan menggunakan metode Vector Space Model cenderung memiliki judul dengan jumlah kata baku yang lebih sedikit dibanding dengan query SQL. Hal tersebut disebabkan karena adanya penghitungan bobot TF-IDF di mana nilai term frequency berbanding terbalik dengan panjang data teks, tetapi berbanding lurus dengan nilai cosine similarity. Semakin sedikit kata baku yang dapat diekstrak dari judul dokumen, semakin besar nilai term frequency yang didapatkan sehingga nilai cosine similarity yang didapat juga semakin tinggi dan ranking dokumen tersebut naik.
Tidak hanya urutan data dokumen, jumlah data dokumen yang terpilih dari proses pencarian dengan masing-masing metode juga menghasilkan nilai yang berbeda. Fungsi pencarian menggunakan metode Vector Space Model berdasarkan ketiga query uji coba memiliki jumlah data dokumen terpilih yang lebih banyak dibanding metode query SQL. Ketiga query masukan terdiri dari dua kata kunci, digunakan untuk menunjukkan perbedaan metode query SQL dengan Vector Space Model. Pencarian dengan metode query SQL akan memilih dokumen dengan judul yang benar-benar sesuai dengan query masukan, sedangkan pencarian dengan Vector Space Model akan memilih dokumen dengan judul yang tiap kata baku dari query masukan terdapat di dalamnya.
Sebagai contoh analisis query 3 yakni “klasifikasi dokumen”, jika menggunakan pencarian dengan metode query SQL, maka dokumen yang terpilih adalah dokumen dengan judul yang memiliki kata “klasifikasi dokumen” di dalamnya, sedangkan pencarian dengan metode Vector Space Model akan memilih dokumen dengan judul yang memiliki kata “klasifikasi”, ”dokumen”, dan “klasifikasi dokumen” di dalamnya, karena metode tersebut menganggap masih ada keterkaitan jika kata baku query masukan terdapat di dalam judul dokumen. Evaluasi untuk hasil pencarian dengan metode Vector Space Model menggunakan nilai recall dan presisi, di mana hasil recall dan presisi masih sangat
rendah. Hal ini dikarenakan data kata yang digunakan masih sangat sedikit dan kurang memberikan informasi. Judul dokumen tidak bisa dijadikan acuan untuk pembentukan vektor dokumen, di mana abstrak dari dokumen seharusnya bisa memberikan informasi lebih. Akan tetapi, dikarenakan banyaknya data yang kosong pada bagian abstrak dokumen sehingga abstrak dokumen juga tidak bisa dijadikan acuan untuk pembentukan vektor dokumen.