Untuk setiap kombinasi topik calon data latih, dihitung rata-rata korelasi perhitungan recall, precision, dan f-measure-nya.
Tabel 4 Rata-rata korelasi calon data latih empat kategori
Kombinasi Topik Calon Data Latih
Rata-rata Korelasi
Task a, Task b, Task c 0.748 Task a, Task b, Task d 0.790 Task a, Task b, Task e 0.834 Task a, Task c, Task d 0.784 Task a, Task c, Task e 0.831
Task a, Task d, Task e 0.861
Task b, Task c, Task d 0.717 Task b, Task c, Task e 0.772 Task b, Task d, Task e 0.809 Task c, Task d, Task e 0.803 Tabel 5 Rata-rata korelasi calon data latih dua
kategori
Kombinasi Topik Calon Data Latih
Rata-rata Korelasi
Task a, Task b, Task c 0.737 Task a, Task b, Task d 0.764
Task a, Task b, Task e 0.810
Task a, Task c, Task d 0.744 Task a, Task c, Task e 0.792 Task a, Task d, Task e 0.808 Task b, Task c, Task d 0.712 Task b, Task c, Task e 0.762 Task b, Task d, Task e 0.782 Task c, Task d, Task e 0.763
Untuk data empat kategori, nilai rata-rata korelasi terbesar ada pada komposisi task a, task d, dan task e, yaitu 0.861 (lihat Tabel 4). Pada data dua kategori, nilai rata-rata korelasi terbesar ada pada komposisi task a, task b, dan task e, yaitu 0.810 (lihatTabel 5).
Perhitungan Akurasi Akurasi ROUGE-N
Hasil akurasi untuk data empat kategori, nilai akurasi tertinggi adalah sebesar 78.947%, sedangkan nilai akurasi terendah adalah sebesar 68.421% (lihatTabel 6). Nilai akurasi tertinggi terjadi pada semua kombinasi yang tidak menyertakan penghilangan stopword dalam praprosesnya. Nilai akurasi terendah terjadi saat kombinasi terdiri atas penghilangan stopword, tanpa stemming, dan menggunakan perhitungan f-measure. Untuk detilnya dapat dilihat pada Lampiran 5.
Tabel 6 Hasil akurasi empat kategori dengan ROUGE-N
No. Praproses Clipping Akurasi (%) Stem Stop R P F 1 x x √ x x 78.947 2 x x x √ x 78.947 3 x x x x √ 78.947 4 √(A) x √ x x 78.947 5 √(A) x x √ x 78.947 6 √(A) x x x √ 78.947 7 √(I) x √ x x 78.947 8 √(I) x x √ x 78.947 9 √(I) x x x √ 78.947 10 x √ √ x x 71.053 11 x √ x √ x 71.053 12 x √ x x √ 68.421 13 √(A) √ √ x x 76.316 14 √(A) √ x √ x 73.684 15 √(A) √ x x √ 71.053 16 √(I) √ √ x x 76.316 17 √(I) √ x √ x 73.684 18 √(I) √ x x √ 71.053 Hal yang sama juga terjadi pada hasil akurasi untuk data dua kategori, nilai akurasi tertinggi terjadi pada semua kombinasi yang tidak menyertakan penghilangan stopword dalam praprosesnya dan nilai akurasi terendah terjadi saat kombinasi terdiri atas penghilangan stopword, tanpa stemming, dan menggunakan perhitungan f-measure. Nilai akurasi tertinggi untuk data dua kategori adalah sebesar 92.105%, sedangkan nilai akurasi terendah adalah sebesar 84.211% (lihat Tabel 7). Untuk detilnya dapat dilihat pada Lampiran 6.
7 Untuk mencari seberapa besar pengaruh tiap
praproses dan teknik clipping, korelasinya dengan tingkat akurasi dapat dihitung dengan asumsi:
• Penggunaan stopword bernilai 1, jika tidak bernilai 0.
• Penggunaan stemming bernilai 1, jika tidak bernilai 0.
• Penggunaan stemming Iqbal (2010) bernilai 1 dan stemming Adriani (2007) bernilai 0. • Penggunaan recall bernilai 1, jika tidak
bernilai 0.
• Penggunaan precision bernilai 1, jika tidak bernilai 0.
• Penggunaan f-measure bernilai 1, jika tidak bernilai 0.
HASIL DAN PEMBAHASAN
Pemilihan Data Uji dan Data Latih
Untuk setiap kombinasi topik calon data latih, dihitung rata-rata korelasi perhitungan recall, precision, dan f-measure-nya.
Tabel 4 Rata-rata korelasi calon data latih empat kategori
Kombinasi Topik Calon Data Latih
Rata-rata Korelasi
Task a, Task b, Task c 0.748 Task a, Task b, Task d 0.790 Task a, Task b, Task e 0.834 Task a, Task c, Task d 0.784 Task a, Task c, Task e 0.831
Task a, Task d, Task e 0.861
Task b, Task c, Task d 0.717 Task b, Task c, Task e 0.772 Task b, Task d, Task e 0.809 Task c, Task d, Task e 0.803 Tabel 5 Rata-rata korelasi calon data latih dua
kategori
Kombinasi Topik Calon Data Latih
Rata-rata Korelasi
Task a, Task b, Task c 0.737 Task a, Task b, Task d 0.764
Task a, Task b, Task e 0.810
Task a, Task c, Task d 0.744 Task a, Task c, Task e 0.792 Task a, Task d, Task e 0.808 Task b, Task c, Task d 0.712 Task b, Task c, Task e 0.762 Task b, Task d, Task e 0.782 Task c, Task d, Task e 0.763
Untuk data empat kategori, nilai rata-rata korelasi terbesar ada pada komposisi task a, task d, dan task e, yaitu 0.861 (lihat Tabel 4). Pada data dua kategori, nilai rata-rata korelasi terbesar ada pada komposisi task a, task b, dan task e, yaitu 0.810 (lihatTabel 5).
Perhitungan Akurasi Akurasi ROUGE-N
Hasil akurasi untuk data empat kategori, nilai akurasi tertinggi adalah sebesar 78.947%, sedangkan nilai akurasi terendah adalah sebesar 68.421% (lihatTabel 6). Nilai akurasi tertinggi terjadi pada semua kombinasi yang tidak menyertakan penghilangan stopword dalam praprosesnya. Nilai akurasi terendah terjadi saat kombinasi terdiri atas penghilangan stopword, tanpa stemming, dan menggunakan perhitungan f-measure. Untuk detilnya dapat dilihat pada Lampiran 5.
Tabel 6 Hasil akurasi empat kategori dengan ROUGE-N
No. Praproses Clipping Akurasi (%) Stem Stop R P F 1 x x √ x x 78.947 2 x x x √ x 78.947 3 x x x x √ 78.947 4 √(A) x √ x x 78.947 5 √(A) x x √ x 78.947 6 √(A) x x x √ 78.947 7 √(I) x √ x x 78.947 8 √(I) x x √ x 78.947 9 √(I) x x x √ 78.947 10 x √ √ x x 71.053 11 x √ x √ x 71.053 12 x √ x x √ 68.421 13 √(A) √ √ x x 76.316 14 √(A) √ x √ x 73.684 15 √(A) √ x x √ 71.053 16 √(I) √ √ x x 76.316 17 √(I) √ x √ x 73.684 18 √(I) √ x x √ 71.053 Hal yang sama juga terjadi pada hasil akurasi untuk data dua kategori, nilai akurasi tertinggi terjadi pada semua kombinasi yang tidak menyertakan penghilangan stopword dalam praprosesnya dan nilai akurasi terendah terjadi saat kombinasi terdiri atas penghilangan stopword, tanpa stemming, dan menggunakan perhitungan f-measure. Nilai akurasi tertinggi untuk data dua kategori adalah sebesar 92.105%, sedangkan nilai akurasi terendah adalah sebesar 84.211% (lihat Tabel 7). Untuk detilnya dapat dilihat pada Lampiran 6.
8 Ketika dihitung rata-rata akurasinya, untuk
data empat kategori, kombinasi yang praprosesnya menyertakan penghilangan stopword memiliki rata-rata akurasi 72.515%, sedangkan praproses yang tanpa menyertakan penghilangan stopword memiliki rata-rata akurasi 78.947%. Terlihat bahwa rata-rata akurasi kombinasi yang praprosesnya tanpa menyertakan penghilangan stopword lebih besar dibandingkan dengan kombinasi yang praprosesnya menyertakan penghilangan stopword. Hal ini juga terjadi pada data dua kategori, rata-rata akurasi kombinasi yang praprosesnya tanpa menyertakan penghilangan stopword (92.105%) lebih besar dari praproses yang menyertakan penghilangan stopword (88.304%).
Tabel 7 Hasil akurasi dua kategori dengan ROUGE-N
No. Praproses Clipping Akurasi (%) Stem Stop R P F 1 x x √ x x 92.105 2 x x x √ x 92.105 3 x x x x √ 92.105 4 √(A) x √ x x 92.105 5 √(A) x x √ x 92.105 6 √(A) x x x √ 92.105 7 √(I) x √ x x 92.105 8 √(I) x x √ x 92.105 9 √(I) x x x √ 92.105 10 x √ √ x x 86.842 11 x √ x √ x 86.842 12 x √ x x √ 84.211 13 √(A) √ √ x x 89.474 14 √(A) √ x √ x 89.474 15 √(A) √ x x √ 89.474 16 √(I) √ √ x x 89.474 17 √(I) √ x √ x 89.474 18 √(I) √ x x √ 89.474 Hasil akurasi data empat kategori, kombinasi yang praprosesnya menggunakan stemming memiliki rata-rata akurasi 76.316%, sedangkan praproses yang tanpa menggunakan stemming memiliki rata-rata akurasi 74.561%. Terlihat rata-rata akurasi kombinasi yang praprosesnya menggunakan stemming lebih besar dibandingkan dengan kombinasi yang praprosesnya tanpa menggunakan stemming. Hal ini juga terjadi pada data dua kategori, rata-rata akurasi kombinasi yang praprosesnya menggunakan stemming (90.789%) lebih besar dibandingkan dengan kombinasi yang praprosesnya tanpa menggunakan stemming (89.035%).
Hasil akurasi data empat kategori, kombinasi yang praprosesnya menggunakan stemming Iqbal (2010) memiliki rata-rata akurasi 73.392%, sedangkan praproses yang menggunakan stemming Adriani (2007) memiliki rata-rata akurasi 73.489%. Terlihat rata-rata akurasi stemming Adriani (2007) sedikit lebih besar dibandingkan dengan stemming Iqbal (2010). Namun pada data dua kategori, rata-rata akurasinya sama, yaitu sebesar 90.789%.
Nilai rata-rata akurasi yang menggunakan perhitungan recall, precision, dan f-measure pada data empat kategori adalah berturut-turut 73.587%, 73.567%, dan 74.196% sedangkan pada data dua kategori adalah 90.351%, 89.912%, dan 89.912%. Terlihat pada data empat kategori, perhitungan f-measure memiliki tingkat akurasi tertinggi. Namun pada data dua kategori, perhitungan recall yang memiliki akurasi tertinggi.
Jika acuan dalam memilih kombinasi yang optimal adalah rata-rata nilai akurasi untuk tiap praproses dan jenis perhitungan, kombinasi untuk mencapai akurasi optimal ROUGE-N pada data empat kategori terdiri atas tanpa penghilangan stopword, dengan stemming Adriani (2007), dan dengan perhitungan f-measure. Untuk data dua kategori, kombinasi yang optimal terdiri atas tanpa penghilangan stopword, menggunakan stemming Adriani (2007), dan perhitungan recall. Secara keseluruhan, baik untuk data empat kategori maupun dua kategori, ROUGE-N optimal ketika kombinasi praproses terdiri atas tanpa penghilangan stopword dan menggunakan stemming Adriani (2007).
Korelasi antara praproses dan akurasi untuk data empat kategori dapat dilihat pada Tabel 8. Terlihat bahwa penghilangan stopword membawa pengaruh negatif dengan nilai korelasi -87.5%, sedangkan penggunaan stemming membawa pengaruh positif dengan nilai korelasi 22.5%. Jenis stemming yang digunakan tidak memberikan pengaruh karena nilai korelasinya yang nol.
Tabel 8 Korelasi antara praproses dan akurasi pada data empat kategori ROUGE-N
Praproses Korelasi Lambang
Stemming 0.225 (+)
Stopword -0.875 (-) Jenis Stemming 0 (=)
Korelasi antara teknik clipping dan akurasi untuk data empat kategori dapat dilihat pada
9 Tabel 9. Terlihat bahwa f-measure membawa
pengaruh negatif dengan nilai korelasi -22.5%. Sebaliknya, recall dan precision membawa pengaruh positif dengan nilai korelasi berturut-turut 19.7%, dan 2.8%.
Tabel 9 Korelasi antara teknik clipping dan akurasi pada data empat kategori ROUGE-N
Clipping Korelasi Lambang
Recall 0.197 (+)
Precision 0.028 (+)
F-measure -0.225 (-)
Korelasi antara praproses dan akurasi untuk data dua kategori dapat dilihat pada Tabel 10. Terlihat bahwa penghilangan stopword membawa pengaruh negatif, dan pengaruhnya cukup kuat dengan nilai korelasi -83%. Penggunaan stemming membawa pengaruh positif dengan nilai korelasi 36.1%. Jenis stemming yang digunakan tidak berpengaruh pada saat ini.
Tabel 10 Korelasi antara praproses dan akurasi pada data dua kategori ROUGE-N
Praproses Korelasi Lambang
Stemming 0.361 (+)
Stopword -0.830 (-) Jenis Stemming 0 (=)
Korelasi antara teknik clipping dan akurasi untuk data dua kategori dapat dilihat pada Tabel 11. Terlihat bahwa f-measure membawa pengaruh negatif dengan nilai korelasi -9%. Sebaliknya, recall dan precision membawa pengaruh postif dengan nilai korelasi berturut-turut 4.5%, dan 4.5%.
Tabel 11 Korelasi antara teknik clipping dan akurasi pada data dua kategori ROUGE-N
Clipping Korelasi Lambang
Recall 0.045 (+)
Precision 0.045 (+)
F-measure -0.090 (-)
Jika acuan dalam memilih kombinasi yang optimal adalah korelasi antara nilai akurasi dan praproses maupun teknik clipping, kombinasi untuk mencapai akurasi optimal ROUGE-N pada data empat kategori terdiri atas pengunaan stemming, tanpa penghilangan stopword dan dengan perhitungan recall. Begitu juga ntuk data dua kategori, kombinasi yang optimal terdiri atas pengunaan stemming, tanpa
penghilangan stopword dan dengan perhitungan recall.
Akurasi ROUGE-L
Pada hasil akurasi untuk data empat kategori, nilai akurasi tertinggi adalah sebesar 73.684%, sedangkan nilai akurasi terendah adalah sebesar 63.158% (lihat Tabel 12). Nilai akurasi tertinggi terjadi pada kombinasi 12, 14, dan 17 pada Tabel 12. Ketiga kombinasi tertinggi tersebut menyertakan penghilangan stopword dalam praprosesnya, dua di antaranya menggunakan perhitungan recall dan praproses stemming. Nilai akurasi terendah terjadi saat kombinasi terdiri atas tanpa penghilangan stopword, tanpa stemming, dan menggunakan perhitungan precision. Untuk detilnya dapat dilihat pada Lampiran 7.
Tabel 12 Hasil akurasi empat kategori dengan ROUGE-L
No. Praproses Clipping Akurasi (%) Stem Stop R P F 1 x x √ x x 68.421 2 x x x √ x 63.158 3 x x x x √ 68.421 4 √(A) x √ x x 68.421 5 √(A) x x √ x 65.790 6 √(A) x x x √ 68.421 7 √(I) x √ x x 68.421 8 √(I) x x √ x 65.790 9 √(I) x x x √ 68.421 10 x √ √ x x 68.421 11 x √ x √ x 71.053 12 x √ x x √ 73.684 13 √(A) √ √ x x 68.421 14 √(A) √ x √ x 73.684 15 √(A) √ x x √ 68.421 16 √(I) √ √ x x 68.421 17 √(I) √ x √ x 73.684 18 √(I) √ x x √ 68.421 Hasil akurasi data dua kategori, nilai akurasi tertinggi adalah sebesar 94.737%, sedangkan nilai akurasi terendah adalah sebesar 86.842% (lihat Tabel 13). Nilai akurasi tertinggi terjadi saat kombinasi terdiri atas penghilangan stopword, tanpa stemming, dan menggunakan perhitungan f-measure. Nilai akurasi terendah terjadi pada kombinasi 2 dan 8 pada Tabel 13. Untuk detilnya dapat dilihat pada Lampiran 8.
Ketika dihitung rata-rata akurasinya, untuk data empat kategori, kombinasi yang praprosesnya menyertakan penghilangan stopword memiliki rata-rata akurasi 70.468%, sedangkan praproses yang tanpa menyertakan penghilangan stopword memiliki rata-rata
10 akurasi 67.251%. Terlihat bahwa rata-rata
akurasi kombinasi yang praprosesnya menyertakan penghilangan stopword lebih besar dibandingkan dengan kombinasi yang praprosesnya tanpa menyertakan penghilangan stopword. Hal ini juga terjadi pada data dua kategori, rata-rata akurasi kombinasi yang praprosesnya menyertakan penghilangan stopword (92.398%) lebih besar dari praproses yang tanpa menyertakan penghilangan stopword (88.012%).
Tabel 13 Hasil akurasi dua kategori dengan ROUGE-L
No. Praproses Clipping Akurasi (%) Stem Stop R P F 1 x x √ x x 89.474 2 x x x √ x 86.842 3 x x x x √ 92.105 4 √(A) x √ x x 89.474 5 √(A) x x √ x 89.474 6 √(A) x x x √ 92.105 7 √(I) x √ x x 92.105 8 √(I) x x √ x 86.842 9 √(I) x x x √ 92.105 10 x √ √ x x 92.105 11 x √ x √ x 92.105 12 x √ x x √ 94.737 13 √(A) √ √ x x 92.105 14 √(A) √ x √ x 92.105 15 √(A) √ x x √ 92.105 16 √(I) √ √ x x 92.105 17 √(I) √ x √ x 92.105 18 √(I) √ x x √ 92.105 Pada data empat kategori, kombinasi yang praprosesnya menggunakan stemming maupun yang tidakmenggunakan stemming, sama-sama memiliki rata-rata akurasi sebesar 68.860%. Kesamaan rata-rata akurasi antara kombinasi yang praprosesnya menggunakan stemming dan kombinasi yang tanpa stemming juga terjadi pada data dua kategori, yaitu sebesar 91.228%.
Hasil akurasi data empat kategori, kombinasi yang praprosesnya menggunakan stemming Iqbal (2010) maupun yang menggunakan stemming Adriani (2007), sama-sama memiliki rata-rata akurasi sebesar 68.860%. Kesamaan rata-rata akurasi antara kombinasi yang praprosesnya menggunakan stemming Iqbal (2010) dan kombinasi yang menggunakan stemming Adriani (2007) juga terjadi pada data dua kategori, yaitu sebesar 91.228%.
Nilai rata-rata akurasi yang menggunakan perhitungan recall, precision, dan f-measure pada data empat kategori adalah berturut-turut
68.421%, 68.860%, dan 69.298% sedangkan pada data dua kategori adalah 91.228%, 89.912%, dan 92.544%. Terlihat pada data empat kategori, perhitungan f-measure memiliki tingkat akurasi tertinggi, begitu juga pada data dua kategori.
Jika acuan dalam memilih kombinasi yang optimal adalah rata-rata nilai akurasi untuk tiap praproses dan jenis perhitungan, kombinasi untuk mencapai akurasi optimal ROUGE-L pada data empat kategori terdiri atas penghilangan stopword dan perhitungan f-measure. Kombinasi yang sama juga berlaku untuk data dua kategori.
Korelasi antara praproses dan akurasi untuk data empat kategori dapat dilihat pada Tabel 14. Terlihat bahwa penghilangan stopword membawa pengaruh positif dengan nilai korelasi 60.3%. Pemilihan jenis stemming yang digunakan dan penggunaan stemming tidak memberikan pengaruh karena nilai korelasinya yang nol.
Tabel 14 Korelasi antara praproses dan akurasi pada data empat kategori ROUGE-L
Praproses Korelasi Lambang
Stemming 0 (=)
Stopword 0.603 (+) Jenis Stemming 0 (=)
Korelasi antara teknik clipping dan akurasi untuk data empat kategori dapat dilihat pada Tabel 15. Terlihat bahwa f-measure membawa pengaruh positif dengan nilai korelasi 11.6%. Sebaliknya, recall membawa pengaruh negatif dengan nilai korelasi sebesar -11.6%. Precision tidak membawa pengaruh karena nilai korelasi yang nol.
Tabel 15 Korelasi antara teknik clipping dan akurasi pada data empat kategori ROUGE-L
Clipping Korelasi Lambang
Recall -0.116 (-)
Precision 0 (=)
F-measure 0.116 (+)
Korelasi antara praproses dan akurasi untuk data dua kategori dapat dilihat pada Tabel 16. Terlihat bahwa penghilangan stopword membawa pengaruh positif dengan nilai korelasi sebesar 59.6%. Penggunaan stemming dan pemilihan jenis stemming tidak membawa pengaruh apa-apa karena nilai korelasinya yang nol.
11 Tabel 16 Korelasi antara praproses dan akurasi
pada data dua kategori ROUGE-L
Praproses Korelasi Lambang
Stemming 0 (=)
Stopword 0.596 (+) Jenis Stemming 0 (=)
Korelasi antara teknik clipping dan akurasi untuk data dua kategori dapat dilihat pada Tabel 17. Terlihat bahwa f-measure membawa pengaruh positif dengan nilai korelasi 47.4%. Sebaliknya, precision membawa pengaruh negatif dengan nilai korelasi sebesar -47.4%. Recall tidak membawa pengaruh apa-apa karena nilai korelasinya yang nol.
Tabel 17 Korelasi antara teknik clipping dan akurasi pada data dua kategori ROUGE-L
Clipping Korelasi Lambang
Recall 0 (=)
Precision -0.474 (-)
F-measure 0.474 (+)
Jika acuan dalam memilih kombinasi yang optimal adalah korelasi antara nilai akurasi dan praproses maupun teknik clipping, kombinasi untuk mencapai akurasi optimal ROUGE-L pada data empat kategori terdiri atas penghilangan stopword dan dengan perhitungan f-measure. Untuk data dua kategori, kombinasi yang optimal terdiri atas dengan penghilangan stopword dan dengan perhitungan f-measure. Akurasi ROUGE-W
Hasil akurasi untuk data empat kategori, nilai akurasi tertinggi adalah sebesar 76.316%, sedangkan nilai akurasi terendah adalah sebesar 63.158% (lihatTabel 18). Nilai akurasi tertinggi terjadi saat kombinasi terdiri atas tanpa penghilangan stopword, tanpa stemming, dan menggunakan perhitungan f-measure. Nilai akurasi terendah terjadi pada kombinasi 14 dan 17 pada Tabel 18. Untuk detilnya dapat dilihat pada Lampiran 9.
Hasil akurasi data dua kategori, nilai akurasi tertinggi adalah sebesar 92.105%, sedangkan nilai akurasi terendah adalah sebesar 81.579% (lihat Tabel 19). Nilai akurasi tertinggi terjadi pada kombinasi 3, 6, 9, 12, 15, dan 18 pada Tabel 19. Delapan kombinasi tersebut memilki kesamaan pada jenis perhitungan yang digunakan, yaitu f-measure. Nilai akurasi terendah terjadi pada kombinasi 1, 2, 14, dan 17
pada Tabel 19. Untuk detilnya dapat dilihat pada Lampiran 10.
Tabel 18 Hasil akurasi empat kategori dengan ROUGE-W
No. Praproses Clipping Akurasi (%) Stem Stop R P F 1 x X √ x x 68.421 2 x X x √ x 71.053 3 x X x x √ 76.316 4 √(A) X √ x x 68.421 5 √(A) X x √ x 73.684 6 √(A) X x x √ 73.684 7 √(I) X √ x x 68.421 8 √(I) X x √ x 71.053 9 √(I) X x x √ 73.684 10 x √ √ x x 71.053 11 x √ x √ x 68.421 12 x √ x x √ 73.684 13 √(A) √ √ x x 71.053 14 √(A) √ x √ x 63.158 15 √(A) √ x x √ 71.053 16 √(I) √ √ x x 71.053 17 √(I) √ x √ x 63.158 18 √(I) √ x x √ 73.684 Tabel 19 Hasil akurasi dua kategori dengan
ROUGE-W
No. Praproses Clipping Akurasi (%) Stem Stop R P F 1 x x √ x x 81.579 2 x x x √ x 81.579 3 x x x x √ 92.105 4 √(A) x √ x x 84.211 5 √(A) x x √ x 84.211 6 √(A) x x x √ 92.105 7 √(I) x √ x x 84.211 8 √(I) x x √ x 84.211 9 √(I) x x x √ 92.105 10 x √ √ x x 89.474 11 x √ x √ x 86.842 12 x √ x x √ 92.105 13 √(A) √ √ x x 89.474 14 √(A) √ x √ x 81.579 15 √(A) √ x x √ 92.105 16 √(I) √ √ x x 86.842 17 √(I) √ x √ x 81.579 18 √(I) √ x x √ 92.105 Ketika dihitung rata-rata akurasinya, untuk data empat kategori, kombinasi yang praprosesnya menyertakan penghilangan stopword memiliki rata-rata akurasi 69.591%, sedangkan praproses yang tanpa menyertakan penghilangan stopword memiliki rata-rata akurasi 71.637%. Terlihat bahwa rata-rata akurasi kombinasi yang praprosesnya tanpa
12 menyertakan penghilangan stopword lebih besar
dibandingkan dengan kombinasi yang praprosesnya menyertakan penghilangan stopword. Hal ini juga terjadi pada data dua kategori, rata-rata akurasi kombinasi yang praprosesnya tanpa menyertakan penghilangan stopword (88.304%) lebih besar dari praproses yang menyertakan penghilangan stopword (86.257%).
Hasil akurasi data empat kategori, kombinasi yang praprosesnya menggunakan stemming memiliki rata-rata akurasi 70.175%, sedangkan praproses yang tanpa menggunakan stemming memiliki rata-rata akurasi 71.491%. Terlihat rata-rata akurasi kombinasi yang praprosesnya tanpa menggunakan stemming lebih besar dibandingkan dengan kombinasi yang praprosesnya menggunakan stemming. Hal ini juga terjadi pada data dua kategori, rata-rata akurasi kombinasi yang praprosesnya tanpa menggunakan stemming (87.281%) lebih besar dibandingkan dengan kombinasi yang praprosesnya menggunakan stemming (87.061%).
Hasil akurasi data empat kategori, kombinasi yang praprosesnya menggunakan stemming Iqbal (2010) maupun yang menggunakan stemming Adriani (2007), sama-sama memiliki rata-rata akurasi sebesar 70.175%. Namun pada data dua kategori, kombinasi yang menggunakan stemming Adriani (2007) sebesar 92.398%, lebih besar dari praproses yang menggunakan stemming Iqbal (2010) sebesar 88.012%.
Nilai rata-rata akurasi yang menggunakan perhitungan recall, precision, dan f-measure pada data empat kategori adalah berturut-turut 69.737%, 68.421%, dan 73.684% sedangkan pada data dua kategori adalah 85.965%, 83.333%, dan 92.105%. Terlihat pada data empat kategori, perhitungan f-measure memiliki tingkat akurasi tertinggi, begitu juga pada data dua kategori.
Jika acuan dalam memilih kombinasi yang optimal adalah rata-rata nilai akurasi untuk tiap praproses dan jenis perhitungan, kombinasi untuk mencapai akurasi optimal ROUGE-W pada data empat kategori terdiri atas tanpa penghilangan stopword, tanpa stemming, dan menggunakan perhitungan f-measure. Kombinasi yang sama juga berlaku untuk data dua kategori. Secara keseluruhan, baik untuk data empat kategori maupun dua kategori, ROUGE-W optimal ketika kombinasi praproses terdiri atas tanpapenghilangan stopword, tanpa
stemming, dan menggunakan perhitungan f-measure.
Korelasi antara praproses dan akurasi untuk data empat kategori dapat dilihat pada Tabel 20. Terlihat bahwa penggunaan stemming dan penggunaan stopword membawa pengaruh negatif dengan nilai korelasi berturutturut -18.1% dan -30%. Jenis stemming yang digunakan tidak memberikan pengaruh karena nilai korelasi yang nol.
Tabel 20 Korelasi antara praproses dan akurasi pada data empat kategori ROUGE-W
Praproses Korelasi Lambang
Stemming -0.181 (-)
Stopword -0.300 (-) Jenis Stemming 0 (=)
Korelasi antara teknik clipping dan akurasi untuk data empat kategori dapat dilihat pada Tabel 21. Terlihat f-measure membawa pengaruh positif dengan nilai korelasi 63.4%. Sebaliknya, recall dan precision membawa pengaruh negatif dengan nilai korelasi berturut-turut -18.1%, dan -45.3%.
Tabel 21 Korelasi antara teknik clipping dan akurasi pada data empat kategori ROUGE-W
Clipping Korelasi Lambang
Recall -0.181 (-)
Precision -0.453 (-)
F-measure 0.634 (+)
Korelasi antara praproses dan akurasi untuk data dua kategori dapat dilihat pada Tabel 22. Terlihat bahwa penggunaan stemming membawa pengaruh negatif sebesar -2.5%. Dalam penggunaan jenis stemming, penggunaan stemming Iqbal (2010) membawa pengaruh negatif sebesar -5.4%. Penggunaan stopword membawa pengaruh positif dengan nilai korelasi 20.9%.
Tabel 22 Korelasi antara praproses dan akurasi pada data dua kategori ROUGE-W
Praproses Korelasi Lambang
Stemming -0.025 (-)
Stopword 0.209 (+) Jenis Stemming -0.054 (-)
Korelasi antara teknik clipping dan akurasi untuk data dua kategori dapat dilihat pada Tabel 23. Terlihat bahwa f-measure membawa pengaruh positif dengan nilai korelasi 83.8%.
13 Sebaliknya, recall dan precision membawa
pengaruh negatif dengan nilai korelasi berturut-turut -19.7%, dan -64.1%.
Tabel 23 Korelasi antara teknik clipping dan akurasi pada data dua kategori ROUGE-W
Clipping Korelasi Lambang
Recall -0.197 (-)
Precision -0.641 (-)
F-measure 0.838 (+)
Jika acuan dalam memilih kombinasi yang optimal adalah korelasi antara nilai akurasi dan praproses maupun teknik clipping, kombinasi untuk mencapai akurasi optimal ROUGE-W pada data empat kategori terdiri atas tanpa penghilangan stopword, tanpa stemming dan dengan perhitungan f-measure. Untuk data dua kategori, kombinasi yang optimal terdiri atas denganpenghilangan stopword, tanpa stemming dan perhitungan f-measure.
Akurasi ROUGE-N pada 3-Fold Cross -Validation
Untuk data dua kategori, rata-rata akurasi ROUGE-N ketika dilakukan 3–fold cross-validation dapat dilihat pada Tabel 24. Untuk detilnya dapat dilihat pada Lampiran 11, 12, dan 13.
Tabel 24 Rata-rata akurasi ROUGE-N untuk 2 Kategori pada 3-fold cross-validation No. Praproses Clipping Akurasi (%)
Stem Stop R P F 1 x x √ x x 91.633 2 x x x √ x 90.491 3 x x x x √ 90.491 4 √(A) x √ x x 92.675 5 √(A) x x √ x 91.566 6 √(A) x x x √ 90.491 7 √(I) x √ x x 92.675 8 √(I) x x √ x 91.566 9 √(I) x x x √ 90.491 10 x √ √ x x 90.591 11 x √ x √ x 90.524 12 x √ x x √ 92.641 13 √(A) √ √ x x 90.591 14 √(A) √ x √ x 90.491 15 √(A) √ x x √ 92.641 16 √(I) √ √ x x 90.591 17 √(I) √ x √ x 90.491 18 √(I) √ x x √ 92.641
Korelasi antara praproses dan rata-rata akurasi dapat dilihat pada Tabel 25. Terlihat bahwa penggunaan stopword membawa
pengaruh negatif dengan nilai korelasi -5.2%. Sebaliknya, penggunaan stemming membawa pengaruh positif dengan nilai korelasi 17.7%. Jenis stemming yang digunakan tidak memberikan pengaruh karena nilai korelasi yang nol.
Tabel 25 Korelasi antara rata-rata akurasi dan praproses ROUGE-N dengan data dua kategori pada 3-fold cross-validation
Praproses Korelasi Lambang
Stemming 0.177 (+)
Stopword -0.052 (-) Jenis Stemming 0 (=)
Korelasi antara teknik clipping dan rata-rata akurasi untuk data dua kategori dapat dilihat pada Tabel 26. Terlihat f-measure dan recall membawa pengaruh positif dengan nilai korelasi berturut-turut 20.8% dan 12.7%. Sebaliknya, precision membawa pengaruh negatif dengan nilai korelasi sebesar -33.5%. Tabel 26 Korelasi antara rata-rata akurasi dan
teknik clipping ROUGE-N dengan data dua kategori pada 3-fold cross-validation
Clipping Korelasi Lambang
Recall 0.127 (+)
Precision -0.335 (-)
F-measure 0.208 (+)
Jika acuan dalam memilih kombinasi yang optimal adalah korelasi antara rata-rata akurasi dan praproses maupun teknik clipping, kombinasi untuk mencapai akurasi optimal ROUGE-N pada data dua kategori terdiri atas tanpa penghilangan stopword, menggunakan stemming dan dengan perhitungan f-measure.
Untuk data empat kategori, rata-rata akurasi ROUGE-N ketika dilakukan 3–fold cross-validation dapat dilihat pada Tabel 27. Untuk detilnya dapat dilihat pada Lampiran 14, 15, dan 16.
Korelasi antara praproses dan rata-rata akurasi dapat dilihat pada Tabel 28. Terlihat bahwa penggunaan stemming dan penggunaan stopword membawa pengaruh negatif dengan nilai korelasi berturut-turut -27.3% dan -12.3%. Penggunaan stemming Iqbal (2010) juga membawa pengaruh negatif sebesar -29.8%.
Korelasi antara teknik clipping dan rata-rata akurasi untuk data empat kategori dapat dilihat pada Tabel 29. Terlihat bahwa precision dan
14 recall membawa pengaruh positif dengan nilai
korelasi berturut-turut 48.3% dan 3.7%. Sebaliknya, f-measure membawa pengaruh negatif dengan nilai korelasi sebesar -51.9%. Tabel 27 Rata-rata akurasi ROUGE-N untuk
empat kategori pada 3-fold cross-validation
No. Praproses Clipping Akurasi (%) Stem Stop R P F 1 x x √ x x 65.255 2 x x x √ x 65.155 3 x x x x √ 63.038 4 √(A) x √ x x 64.214 5 √(A) x x √ x 65.222 6 √(A) x x x √ 65.155 7 √(I) x √ x x 64.214 8 √(I) x x √ x 64.147 9 √(I) x x x √ 65.155 10 x √ √ x x 64.247 11 x √ x √ x 66.297 12 x √ x x √ 63.105 13 √(A) √ √ x x 64.214 14 √(A) √ x √ x 65.222 15 √(A) √ x x √ 63.105 16 √(I) √ √ x x 64.214 17 √(I) √ x √ x 64.147 18 √(I) √ x x √ 62.030
Tabel 28 Korelasi antara rata-rata akurasi dan praproses ROUGE-N dengan data empat kategori pada 3-fold cross-validation