HASIL DAN PEMBAHASAN Koleksi Dokumen Pengujian
1. Perbandingan Hasil Percobaan Untuk Kata Tanya SIAPA
Berdasarkan 10 kueri pertanyaan yang diuji, diambil contoh kueri pertanyaan Siapa
Bungaran Saringgih ?. Hasil penelitian
Cidhy (2009) dan penulis mengembalikan 10 dokumen teratas yang sama, namun mengembalikan top passage dan jawaban yang berbeda. Top passage yang diperoleh pada penelitian Cidhy (2009) :
Tabel 2 Persentase perolehan jawaban oleh Cidhy (2009) dan penulis menggunakan 10 dokumen teratas
Kata Tanya
Penelitian Cidhy (2009) Penelitian Oleh Penulis
Pembobotan Heuristic (%) Pembobotan Rule-Based (%) Heuristic dan Rule-Based (%) 1 2 3 4 1 2 3 4 1 2 3 4
Siapa 70 0 20 10 80 0 10 10 70 0 20 10
Berapa 40 10 50 0 50 10 40 10 40 10 50 0
Dimana 90 0 10 0 80 0 20 0 80 0 20 0
Kapan 100 0 0 0 100 0 0 0 100 0 0 0
Menurut <NAME> Bungaran Saragih </NAME>, hal tersebut wajar dengan keadaan setiap penyalur pupuk, dimana mereka memerlukan waktu dalam proses pengepakan kembali. Mengenai kelangkaan pupuk di <LOCATION> Cirebon </LOCATION> yang hanya terjadi di beberapa kecamatan, <NAME> Bungaran Saragih </NAME> menegaskan bahwa produsen pupuk setempat telah menutupi kelangkaan tersebut dengan pengiriman pupuk dari luar wilayah <LOCATION> Cirebon </LOCATION>.
Toppassage di atas diperoleh dari dokumen
indosiar260504.txt. Berdasarkan hasil top
passage, tidak diperoleh kandidat jawaban sehingga jawaban yang dikembalikan null.
Dengan menggunakan kueri pertanyaan yang sama, penelitian yang dilakukan menggunakan rule-based menghasilkan kriteria
right yaitu Menteri Pertanian. Jawaban ini diperoleh setelah sistem mengembalikan top passage sebagai berikut :
Dalam acara yang dihadiri <ORGANIZATION> Menteri Pertanian </ORGANIZATION> <NAME>Bungaran Saragih</NAME>, <ORGANIZATION> Menteri Kelautan dan Perikanan </ORGANIZATION> <NAME> Rokhmin Dahuri </NAME>, serta Menakertrans <NAME> Jacob Nuwa Wea </NAME>, <NAME> Presiden Megawati </NAME> menyampaikan rasa terima kasihnya kepada masyarakat <LOCATION> Gorontalo </LOCATION> yang telah bekerja keras menanam dan memproduksi jagung. Dalam pidato tanpa teks, <NAME>Mega</NAME> mengatakan, ''Saya melihat potensi menanam jagung di <LOCATION> Gorontalo</LOCATION> memang bisa digerakkan, bahkan bisa menjadi satu potensi yang sangat luar biasa.
Toppassage di atas diperoleh dari dokumen
indosiar260504.txt.
Masih menggunakan kueri pertanyaan yang sama, penelitian yang dilakukan menggunakan gabungan heuristic dan rule-based juga menghasilkan kriteria null yaitu tidak mengembalikan jawaban. Hal ini disebabkan
top passage yang dihasilkan sama dengan top passage pada penelitian Cidhy (2009).
Jawaban yang diperoleh dengan rule-based
lebih tepat dibanding metode yang lain. Hal ini disebabkan oleh top passage yang dihasilkan
rule-based lebih relevan dibanding metode yang lain.
Persentase ketepatan jawaban untuk kata tanya SIAPA pada penelitian Cidhy (2009) menghasilkan persentase kriteria right sebesar 70%, wrong 20% dan null 10%, sedangkan hasil penelitian penulis menghasilkan persentase kriteria right sebesar 80%, wrong
10% dan null 10% untuk rule-based dan kriteria
right sebesar 70%, wrong 20% dan null 10% untuk gabungan heuristic dan rule-based. Daftar kueri pertanyaan dan evaluasi untuk kata tanya SIAPA dapat dilihat pada Lampiran 4. 2. Perbandingan Hasil Percobaan Untuk
Kata Tanya KAPAN
Berdasarkan 10 kueri pertanyaan yang diuji, diambil contoh kueri pertanyaan Kapan dilakukan penelitian di rumah kaca
Balitro?. Hasil penelitian Cidhy (2009) dan
penulis mengembalikan 10 dokumen teratas, top passage dan jawaban yang dihasilkan pada ketiga percobaan adalah sama. Jawaban yang diperoleh adalah 1998/1999. Berikut top passage yang bersumber dari dokumen balaipenelitian000000-009.txt:
Penelitian ini bertujuan untuk menguji potensi agensi hayati dalam menekan perkembangan penyakit layu bakteri jahe. Untuk itu telah dilakukan penelitian di <LOCATION>rumah kaca Balittro Bogor
</LOCATION> pada tahun <DATE>1997/1998 </DATE> dan di lanjutkan penelitian di lapang di <LOCATION> IP Sukamulya (Sukabumi)</LOCATION> pada tahun <DATE>1998/1999</DATE>.
Persentase ketepatan jawaban untuk kata tanya KAPAN merupakan yang paling tinggi dibanding kata tanya yang lain. Baik penelitian Cidhy maupun yang dilakukan penulis, menghasilkan persentase kriteria right sebesar 100%. Hal ini disebabkan kedua penelitian menghasilkan top passage yang sama dengan tepat sehingga diperoleh jawaban yang sama. Daftar kueri pertanyaan dan evaluasi untuk kata tanya KAPAN dapat dilihat pada Lampiran 5. 3. Perbandingan Hasil Percobaan Untuk
Kata Tanya DIMANA
Berdasarkan 10 kueri pertanyaan yang diuji, diambil contoh kueri pertanyaan Dimana terjadi kekeringan dengan jumlah
terbanyak?. Hasil penelitian Cidhy (2009)
dan penulis mengembalikan 10 dokumen teratas yang sama, namun mengembalikan toppassage
dan jawaban yang berbeda. Top passage yang diperoleh pada penelitian Cidhy (2009) terdapat
pada dokumen mediaindonesia270308.txt. Adapun top passages yang dihasilkan:
Mereka yang terkena dampak kekeringan khususnya pada kebutuhan rumah tangga itu terdapat di
wilayah <LOCATION> Kabupaten
Gunungkidul</LOCATION>, <LOCATION> Sleman, dan Kulonprogo </LOCATION>. Jumlah yang terkena kekeringan terbanyak di wilayah
<LOCATION> Kabupaten
Gunungkidul</LOCATION> yang mencapai lebih dari <NUMBER> 100
ribu jiwa </NUMBER>.
Berdasarkan hasil top passage, diperoleh kriteria right dengan kandidat jawaban
Sleman, dan Kulonprogo.
Dengan menggunakan kueri pertanyaan yang sama, penelitian yang dilakukan menggunakan rule-based menghasilkan kriteria
wrong yaitu Kabupaten Rembang. Jawaban ini diperoleh setelah sistem mengembalikan top passage yang kurang tepat sebagai berikut :
Provinsi <LOCATION> Jateng </LOCATION> menghadapi kekeringan tahun ini telah memprioritaskan pembuatan embung-embung air agar dapat mengairi lahan pertanian yang dilanda kekeringan. "Kita tengah mempercepat pembuatan embung di <LOCATION>Kabupaten
Rembang</LOCATION> pada tahun <DATE>2005</DATE>, agar lahan pertanian di <LOCATION>Kabupaten Rembang</LOCATION> yang sering dilanda kekeringan dapat terairi," katanya.
Masih menggunakan kueri pertanyaan yang sama, penelitian yang dilakukan menggunakan gabungan heuristic dan rule-based juga menghasilkan kriteria wrong yaitu Kabupaten
Rembang. Hal ini disebabkan toppassage yang
dihasilkan sama dengan toppassage pada rule- based.
Persentase ketepatan jawaban untuk kata tanya DIMANA pada penelitian Cidhy (2009) lebih baik dari metode yang lain, karena menghasilkan persentase kriteria right sebesar 90% dan wrong 10%, sedangkan hasil penelitian penulis dengan rule-based dan untuk gabungan heuristic dan rule-based
menghasilkan persentase yang sama dengan kriteria right sebesar 80% dan wrong 20%. Daftar kueri pertanyaan dan evaluasi untuk kata tanya DIMANA dapat dilihat pada Lampiran 6
.
4. Perbandingan Hasil Percobaan Untuk