4 HASIL DAN PEMBAHASAN
4.7 Hasil Pengujian Model Algoritme Genetika
Pengujian dilakukan sebanyak lima percobaan untuk masing-masing CR 10%, CR 20%, dan CR 30%. Hasil F-measure dihitung berdasarkan rataan dari seluruh dokumen pengujian. Pada tahap ini, pengujian dilakukan pada model kromosom terbaik 'F 'F I F ' pada CR 10%, CR 20%, dan CR 30%. 4.7.1 Hasil F-measure Tahap Pengujian
Gambar 17 menunjukkan rata-rata F-measure pada tahap pengujian untuk masing-masing compression rate (CR 10%, CR 20%, dan CR 30%). F-measure tersebut terdiri dari measure yang menggunakan sepuluh fitur teks dan measure yang menggunakan sebelas fitur teks. Berdasarkan Gambar 17, F-measure tidak mengalami kenaikan secara signifikan di tiap compression rate. Penggunaan sepuluh fitur teks dan sebelas fitur teks pada CR 10% hanya mengalami kenaikan F-measure sebesar 3.26%, pada CR 20% mengalami penurunan sebesar 0.58%, dan CR 30% mengalami peningkatan sebesar 1.55%. Namun, rata-rata F-measure mengalami kenaikan secara linier dari CR 10% ke CR 20% sebesar 6.28%, dari CR 20% ke CR 30% sebesar 6.17%.
Pada CR 30% menunjukkan tingkat akurasi paling tinggi dibandingkan dengan hasil akurasi dari CR 10%, dan CR 20%. Hal ini menunjukkan bahwa semakin besar compression rate maka nilai kemiripan hasil ringkasan sistem dengan hasil ringkasan manual semakin besar.
Gambar 17 Perbandingan pengujian F-measure ’sepuluh fitur teks’ () dan ’sebelas fitur teks’ (t) pada CR 10%, CR 20%, dan CR 30%.
4.7.2 Analisa Model Kromosom
Berdasarkan Gambar 17, CR 30% memiliki F-measure paling tinggi dibandingkan dengan hasil F-measure dari CR 10%, dan CR 20%. Oleh karena itu, penelitian ini melakukan analisa model kromosom menggunakan model kromosom CR 30%. Tujuan analisa model kromosom pada penelitian ini adalah menentukan bobot fitur teks yang penting didalam peringkasan teks sehingga bobot-bobot fitur teks yang tidak penting dapat diabaikan didalam peringkasan teks. Model kromosom CR 30% (lampiran 1) diilustrasikan pada Tabel 6. Pada Tabel 6, bobot tertinggi diberi nilai 10 dan bobot terendah diberi nilai 0 sehingga total maksimum bobot berjumlah 50. Tujuan ilustrasi tersebut adalah melakukan perangkingan bobot fitur teks dan menganalisa fitur-fitur teks.
Berdasarkan Tabel 6, bobot tertinggi terdapat pada fitur teks “kalimat yang menyerupai judul” yaitu '5. Pada '5 memiliki rata-rata nilai bobot yang tinggi setiap percobaan yang dilakukan pada tahap pelatihan. Artinya fitur teks “kalimat yang menyerupai judul” sering muncul di setiap kalimat dalam dokumen dan fitur
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 10% 20% 30% Compression rate A k u r a s i
teks tersebut memiliki peluang tinggi untuk menentukan kalimat yang penting dalam dokumen. Oleh karena itu, fitur teks “kalimat yang menyerupai judul” memiliki tingkat kepentingan yang paling tinggi dalam peringkasan teks.
Tabel 6 Ilustrasi nilai bobot pada model kromosom CR 30%
Bobot Percobaan Jumlah total bobot 1 2 3 4 5 ' 4 2 4 1 8 19 ' 5 5 8 5 7 30 ' 0 1 0 0 0 1 ' 9 9 3 9 9 39 '5 10 10 9 10 10 49 ': 7 6 2 6 3 24 '/ 8 7 1 7 5 28 '= 2 4 7 2 1 16 '9 1 3 10 4 2 20 '8 3 0 6 8 4 21 ' 6 8 5 3 6 28
Bobot ' (fitur teks “kemiripan antar-kalimat”) merupakan nilai bobot tertinggi kedua setelah fitur teks “kalimat yang menyerupai judul”. Berdasarkan Tabel 6, fitur teks “kemiripan antar-kalimat” rata-rata memiliki nilai 9 pada tiap percobaan kecuali pada percobaan tiga. Makna skor bobot tersebut adalah fitur teks “kemiripan antar-kalimat” mempertimbangkan kemunculan kata dalam kalimat sama dengan kemunculan kata dalam kalimat lain sehingga keterlibatan fitur teks “kemiripan antar-kalimat” dalam peringkasan teks dapat memberikan kontribusi untuk menentukan kalimat yang penting dalam dokumen teks. Oleh karena itu, fitur teks “kemiripan antar-kalimat” merupakan bagian penting dalam peringkasan teks.
Fitur teks “positive keyword” memiliki nilai bobot (') tertinggi ketiga dari sebelas fitur teks. Analisa skor bobot tersebut adalah fitur teks “positive keyword”
mempertimbangkan kemunculan kata di setiap kalimat dalam dokumen sehingga fitur teks tersebut memberikan kontribusi untuk menentukan kalimat yang penting dalam dokumen. Oleh karena itu, fitur teks “positive keyword” perlu dilibatkan dalam peringkasan teks.
Fitur teks “kalimat semantik” dan fitur teks “kalimat yang mengandung data numerik” memiliki nilai bobot yang sama yaitu 28. Namun nilai bobot fitur teks “kalimat yang mengandung data numerik” pada percobaan tiga memiliki nilai bobot paling rendah yaitu 1, artinya stabilitas bobot '/ relatif rendah sedangkan nilai bobot fitur tek “kalimat semantik” relatif stabil. Analisa dari skor bobot tersebut adalah fitur teks “kalimat semantik” mempertimbangkan hubungan makna semantik antar kalimat dalam dokumen sehingga fitur teks tersebut memiliki tingkat kepentingan yang tinggi dalam peringkasan teks dan penelitian ini menggunakan bobot ' untuk melakukan pengujian (penentuan empat fitur teks).
Fitur teks seperti posisi kalimat (f1), kalimat yang mengandung nama entiti (f6), panjang kalimat (f8), koneksi antar-kalimat (f9), penjumlahan bobot koneksi antar-kalimat (f10) mempunyai peranan penting dalam peringkasan teks namun nilai bobot dari fitur-fitur teks tersebut masih dibawah nilai 25. Maknanya adalah beberapa fitur teks tersebut dapat diabaikan dalam peringkasan teks tetapi akurasi tetap dapat dipertahankan (lihat Gambar 18).
Fitur teks “negative keyword” memiliki bobot ' terendah dengan rata-rata nol pada setiap percobaan yang dilakukan pada tahap pelatihan. Analisa dari skor bobot tersebut adalah fitur teks “negative keyword” mempertimbangkan ketidakmunculan kata di setiap kalimat dalam dokumen sehingga fitur teks tersebut tidak memberikan kontribusi untuk menentukan kalimat yang penting dalam dokumen. Oleh karena itu, fitur teks “negative keyword” dapat diabaikan dalam peringkasan teks.
Tabel 7 menunjukkan perangkingan bobot fitur teks dari bobot terbesar sampai bobot terkecil. Tujuan dari perangkingan bobot fitur teks adalah menganalisa fitur teks yang penting dalam peringkasan teks. Berdasarkan perangkingan bobot tersebut, penelitian ini melakukan pengujian dengan menggunakan dua bobot fitur teks '5F 'F empat bobot fitur teks
'5F 'F 'F ', enam bobot fitur teks '5F 'F 'F 'F '/F ':, delapan bobot fitur teks '5F 'F 'F 'F '/F ':F '8F '9 dan sebelas bobot fitur teks '5F 'F 'F 'F '/F ':F '8F '9F 'F '=F 's Tujuan pengujian dengan menggunakan beberapa macam fitur teks adalah menentukan jumlah fitur teks yang mewakili sebelas fitur teks namun bisa mempertahankan akurasi tetap tinggi.
Tabel 7 Perangkingan bobot
Ranking Bobot Fitur Teks Jumlah Bobot 1 '5 49 2 ' 39 3 ' 30 4 ' 28 5 '/ 28 6 ': 24 7 '8 21 8 '9 20 9 ' 19 10 '= 16 11 ' 1
Gambar 18 menunjukkan kinerja fitur teks terhadap akurasi. Berdasarkan Gambar 18, penggunaan dua bobot fitur teks '5F ' pada tahap pengujian menghasilkan rata-rata akurasi sebesar 41.16%, empat bobot fitur teks '5F 'F 'F ' menghasilkan rata-rata akurasi sebesar 46.44%, enam bobot fitur teks '5F 'F 'F 'F '/F ': menghasilkan rata-rata akurasi sebesar 47.12%, delapan bobot fitur teks '5F 'F 'F 'F '/F ':F '8F '9 menghasilkan rata-rata akurasi sebesar 47.20%, dan sebelas bobot fitur teks '5F 'F 'F 'F '/F ':F '8F '9F 'F '=F ' menghasilkan rata-rata akurasi sebesar 47.63%.
Penggunaan empat fitur teks pada tahap pengujian meningkat 5.28% dibandingkan dengan menggunakan dua fitur teks. Namun, perbedaan tingkat akurasi dengan menggunakan enam fitur teks, delapan fitur teks, dan sebelas fitur
teks adalah sebesar 1%. Oleh karena itu, penggunaan empat fitur teks (f5, f4, f2, f11) pada tahap pengujian dapat merepresentasikan hasil akurasi dari sebelas fitur teks.
Gambar 18 Kinerja fitur teks terhadap akurasi.