SISTEM PERINGKASAN E-BOOK
DENGAN METODE TERM FREQUENCY INVERSE
DOCUMENT FREQUENCY (TF - IDF)
TUGAS AKHIR
Sebagai Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang
Oleh :
Bagus Arta Wijaya 09560338
JURUSAN TEKNIK INFORMATIKA
FAKULTAS TEKNIK
UNIVERSITAS MUHAMMADIYAH MALANG
2015
ii
LEMBAR PERSETUJUAN
SISTEM PERINGKASAN E-BOOK
DENGAN METODE TERM FREQUENCY INVERSE
DOCUMENT FREQUENCY (TF - IDF)
TUGAS AKHIR
Sebagai Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang
Menyetujui,
Pembimbing I Pembimbing II
Yuda Munarko, S.kom, S.Mc Nur Hayatin, S.ST
iii
LEMBAR PENGESAHAN
SISTEM PERINGKASAN E-BOOK
DENGAN METODE TERM FREQUENCY INVERSE
DOCUMENT FREQUENCY (TF - IDF)
TUGAS AKHIR
Sebagai Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang
Disusun Oleh : BAGUS ARTA WIJAYA
09560338
Tugas Akhir ini telah diuji dan dinyatakan lulus melalui sidang majelis pengujian pada tanggal 7 Juni 2012
Menyetujui,
Penguji I Penguji II
Yufiz Azhar, S.Kom, M.Kom Mahar Faiqurahman, S.Kom NIP. 108.1410.0544 NIP. 108.0811.0462
Mengetahui
Ketua Jurusan Teknik Informatika
Yuda Munarko, S.Kom, S.Mc NIP. 108.0611.0443
iv
LEMBAR PERNYATAAN
Yang bertanda tangan dibawah ini :
Nama : Bagus Arta Wijaya NIM : 09560338
Fakultas / Jurusan : Teknik / Teknik Informatika
Judul : SISTEM PERINGKASAN E-BOOK DENGAN METODE TERM FREQUENCY INVERSE DOCUMENT FREQUENCY (TF - IDF)
Dengan ini menyatakan bahwa :
1. Seluruh isi adalah karya saya sendiri dan bukan merupakan karya tulis orang lain, baik sebagian maupun seluruhnya, kecuali dalam bentuk kutipan yang telah disebutkan sumbernya.
2. Apabila dikemudian hari ternyata tugas akhir saya tulis terbukti hasil jiplakan, maka saya akan bersedia menanggung segala resiko yang akan saya terima. Demikian pernyataan ini dibuat dengan segala kesadaran.
Mengetahui,
Pembimbing I Malang, 18 Mei 2015 Yang Membuat Pernyataan
Yuda Munarko, S.kom, S.Mc Bagus Arta Wijaya
vii
LEMBAR PERSEMBAHAN
Assalammu’alaikum wr.wb
Puji syukur kehadirat Allah SWT yang telah memberikan limpahan rahmat dan karunia–Nya, serta shalawat dan salam kepada Rasulullah SAW sehingga penulis dapat menyelesaikan Tugas Akhir ini.
Dalam menyelesaikan Tugas Akhir ini ada banyak pihak yang telah membantu penulis sehingga Tugas Akhir ini dapat terselesaikan dengan baik. Oleh karena itu tak lupa penulis juga mengucapkan terima kasih yang sebesar-besarnya kepada :
1. Kedua orang tua penulis, Bapak Asnan in Tholib dan Ibu Djumilah yang telah memberikan dukungan serta bantuan baik secara moril maupun materil. Terima kasih atas ilmu yang diberikan, kasih sayang, kesabaran, serta dukungan yang tiada habisnya.
2. Ketiga kakak saya yang sudah memberi support dan bantuan do’a, tetapi agak telat lulusnya. Terima kasih brader
3. Bapak Dekan Fakultas Teknik Universitas Muhammadiyah Malang.
4. Dosen pembimbing saya, Bapak Yuda Munarko, M.Sc, dan Ibu Nurhayatin, S.ST yang sudah membimbing dan membantu saya selama pengerjaan tugas akhir ini.
5. Para dosen FT-UMM khususnya Jurusan Teknik Informatika UMM yang telah banyak memberikan bekal ilmu selama masa kuliah di Teknik Informatika UMM. Semoga manjadi ilmu yang berkah dan bermanfaat, Amiin.
6. Teman-teman seperjuangan saya selama kuliah, terutama jurusan Teknik Informatika kelas G angkatan 2009.
7. Teman-teman senasib seperjuangan yang tergabung dalam “Himasakom” terima kasih banyak telah bersedia bertukar ilmu pengetahuannya, memberikan saran, dan serta menjadi teman yang gokil dan super heboh dalam masa-masa kuliah selama ini.
viii
8. Brader – brader satu club tiger dimalang “ Neo GAT’S ”, terima kasih sudah memberikan support meskipn mereka sebenarnya juga lulus telat. Saya bisa melupakan jenuh dalam mengerjakan skripsi dengan kumpul dan gila – gilaan. Ada sekumpulan orang – orang idiot yang tergabng dalam “ PATRIOT “, mereka selalu menghina saya dengan sebutan “ The Legend ”..hehehhe dan juga wanita Umel “ Riska Eka Pramita “ yang selalu menemani dalam bimbingan.
9. Semua pihak yang tidak bisa saya sebutkan satu persatu yang telah membantu hingga tugas akhir ini bisa selesai.
Akhir kata saya persembahkan karya berharga ini kepada para pembaca, khususnya para Mahasiswa Teknik Informatika Universitas Muhammadiyah Malang, semoga Tugas Akhir ini bermanfaat dalam mengembangkan wawasan serta ilmu pengetahuan.
x
DAFTAR ISI
LEMBAR PERSETUJUAN...ii
LEMBAR PENGESAHAN ...iii
LEMBAR PERNYATAAN ...iv
ABSTRAK ...v
ABSTRAC ...vi
LEMBAR PERSEMBAHAN ...vii
KATA PENGANTAR ...ix
DAFTAR ISI ...x
DAFTAR GAMBAR ...xiii
DAFTAR TABEL ...xiv
BAB I PENDAHULUAN ...1 1.1 Latar Belakang ...1 1.2 Rumusan Masalah ...2 1.3 Tujuan ...2 1.4 Batasan Masalah ...3 1.5 Metodologi Pengerjaan ...3 1.5.1Studi Pustaka ...3 1.5.2 Analisa Kebutuhan ...3 1.5.3Perancangan Sistem ...3 1.5.4 Implementasi Sistem ...4 1.5.5 Evaluasi Sistem ...4 1.5.6 Pengujian ...4 1.6 Sistematika Penulisan ...5
BAB II LANDASAN TEORI ...7
2.1 Text Summarization ...7 2.1.1Segmentasi ...8 2.1.2Tokenizing ...9 2.1.3 Filtering ...9 2.1.4Stemming ...9 2.1.5 Stopword Removing ...10
xi
2.1.6 Sentence Scoring ...10
2.2Karakteristik Peringkasan Teks ...10
2.3 Algoritma TF-IDF ...12
2.4 Peringkasan Teks Otomatis Menggunakan Metode TF- IDF ...12
2.5 Java Desktop ...14
2.5.1Kelebihan dan kekurangan java ...14
BAB III ANALISA DAN PERANCANGAN SISTEM ...15
3.1 Analisa Sistem ...15
3.1.1 Deskripsi Umum Sistem ...15
3.1.2Analisa Proses Sistem ...16
3.1.2.1 Segmentasi ...16
3.1.2.2 Tokenizing ...17
3.1.2.3 Stop Words Removing ...17
3.1.2.4 Scoring ...17
3.1.2.5 Santence Scoring ...17
3.1.3 Analisa Kebutuhan ...18
3.1.4 Desain Sistem ...18
3.1.5 Use Case ...21
3.1.5.1 Use Case Skenario ...21
3.2 Perancangan Sistem ...22
3.2.1 Squence Diagram ...23
3.2.2Activity Diagram ...23
3.2.3Desain Interface ...24
BAB IV IMPLEMENTASI DAN PENGUJIAN ...25
4.1 ImplementsasiSistem ...25
4.1.1 Implementasi Pengembangan Software dan Hardware ...25
4.2 Implementasi Aplikasi Sistem ...26
4.2.1 Tampilan Menu Isi Dokumen ...27
4.2.2 Penggalan Source Code Preprocessing ...28
4.2.3 Tampilan Menu ...31
4.3 Pengujian Sistem ...33
xii
4.3.2 Tabel Pengujian Sistem ...34
4.3.3 Deskripsi Pengujian Sistem ...35
4.3.4 Hasil Pengujian Sistem ...35
4.3.5 Evaluasi Sistem ...38
BAB V Kesimpulan dan Saran ...39
5.1 Kesimpulan ...39
5.2 Saran ...39
xiii
DAFTAR GAMBAR
Halaman
Gambar 3.1 Tabel Kebutuhan Fungsional ... 18
Gambar 3.2 Tahapan Peringkasan Teks Otomatis dengan Tf – Idf ... 19
Gambar 3.3Use Case Diagram Sistem... 21
Gambar 3.4 Use Case Skenario Peringkasan ... 22
Gambar 3.5 Sequence diagram ... 23
Gambar 3.6 Activity diagram ... 23
Gambar 3.7 Interface Menu Utama ... 24
Gambar 4.1 Menu Utama Aplikasi ... 27
Gambar 4.2 Isi Dokumen Ditampilkan ... 27
Gambar 4.3 Menu Proses ... 30
Gambar 4.4 Menu Kalimat ... 31
Gambar 4.5 Tampilan kata (term) ... 32
Gambar 4.6 Tampilan output ... 32
Gambar 4.7 Tampilan Simpan ... 33
Gambar 4.8 Tampilan Berhasil Disimpan ... 33
Gambar 4.9 Tampilan Tf – idf ... 36
40
DAFTAR PUSTAKA
[1] Summarizing Emails with Conversational Cohesion and Subjectivity Giuseppe
Carenini, Raymond T. Ng and Xiaodong Zhou, Department of Computer Science University of British Columbia, Vancouver, BC, Canada{carenini, rng, xdzhou}@cs.ubc.ca
[2]
http://budyblog9.wordpress.com/2012/12/12/automatic-text-summarization-smenggunakan-metode-tf-idf/ (di akses 1 juni 2014)
[3] http://web.media.mit.edu/~lieber/IUI/Silber/Silber.pdf(di akses 1 juni 2014)
[4] Herwansyah Adhit, Aplikasi Pengkategorian Dokumen Dan Pengukuran Tingkat Similaritas Dokumen Menggunakan Kata Kunci Pada Dokumen Penulisan Ilmiah Universitas Gunadarma, Jurusan Sistem Informasi, Fakultas Ilmu Komputer Universitas Gunadarma ( [email protected])
[5]
http://adityareds.wordpress.com/2012/12/11/text-summarization-menggunakan-metode-lexical-chain/ (di akses 1 juni 2014)
[6] Text minning, final project : Milkha Harian Ch. , Referensi : Raymond J. Mooney. Cs, 391L : Machine Learning Text categorization. University of Texas at Austin, 2006
[7] Iwan Pahendra Anto Saputra, Penggunaan Algoritma Tfidf Dalam Proses Hierarchical Template Maching, School of Electrical Engineering & Informatics-ITB [email protected]
[8] Iyan Mulyana, Sena Ramadona, Herfina, Penerapan Terms Frequency-Inverse
Document Frequency Pada Sistem Peringkasan Teks Otomatis Dokumen
Tunggal Berbahasa Indonesia, [email protected], [email protected],
[9] Widhaprasa E. Waliprana, Masayu Leylia Khodra, Update Summarization
41
[10] Iyan Mulyana, Sena Ramadona, Herfina, Rancang Bangun Sistem Pengelolaan
Dokumen-dokumen Penting Menggunakan Text Mining E-mail :
[email protected] , [email protected], [email protected]
[11] Herman 1, Achmad Andani 2, Amil Ahmad Ilham 2, Balai Besar Pengkajian dan Pengembangan Komunikasi dan Informatika Makassar, Kementerian Komunikasi dan Informatika 2Jurusan Elektro, Prodi Informatika, Fakultas Teknik, Universitas Hasanuddin, Klasifikasi Dokumen Naskah Dinas Menggunakan Algoritma Term Frequency – Inversed Document Frequency Dan Vector Space Model
[12] https://www.uleth.ca/dspace/bitstream/handle/10133/226/MR03038.pdf