Spam Filter Menggunakan Model Klasifikasi Multivariate Bernoulli dan Multinomial Naïve Bayes

SPAM FILTER MENGGUNAKAN MODEL KLASIFIKASI

MULTIVARIATE BERNOULLI DAN MULTINOMIAL

NAÏVE BAYES

DENIS FADILLAH

DEPARTEMEN ILMU KOMPUTER

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR

PERNYATAAN MENGENAI SKRIPSI DAN

SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA

Dengan ini saya menyatakan bahwa skripsi berjudul Spam Filter Menggunakan Model Klasifikasi Multivariate Bernoulli dan Multinomial Naïve Bayes adalah benar karya saya dengan arahan dari komisi pembimbing dan belum diajukan dalam bentuk apa pun kepada perguruan tinggi mana pun. Sumber informasi yang berasal atau dikutip dari karya yang diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks dan dicantumkan dalam Daftar Pustaka di bagian akhir skripsi ini.

Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut Pertanian Bogor.

ABSTRAK

DENIS FADILLAH. Spam Filter Menggunakan Model Klasifikasi Multivariate Bernoulli dan Multinomial Naïve Bayes. Dibimbing oleh JULIO ADISANTOSO.

Pertumbuhan pengguna email memicu peningkatan spam email sehingga diperlukan teknik spam filter. Model klasifikasi Naïve Bayes (NB) adalah salah satu metode supervised learning yang dapat digunakan untuk spam filter karena tingkat akurasi yang tinggi dan mudah diimplementasikan. Multivariat Bernoulli NB menggunakan atribut Boolean sedangkan Multinomial NB menggunakan frekuensi term, adalah dua model NB yang sering digunakan untuk fungsi klasifikasi. Pemilihan fitur ciri yang baik juga berpengaruh pada peningkatan akurasi klasifikasi. Penelitian ini mencoba memodelkan spam filter menggunakan model klasifikasi Multivariat Bernoulli dan Multinomial NB kemudian membandingkan akurasinya. Seleksi fitur chi-square dipilih dengan harapan dapat menghasilkan fitur ciri yang lebih baik. Model Multinomial NB tanpa seleksi fitur menghasilkan akurasi tertinggi sebesar 95.31%, sedangkan untuk tingkat akurasi terendah didapatkan pada model Multivariate Bernoulli tanpa seleksi fitur sebesar 89.69%. Seleksi fitur chi-square meningkatkan akurasi model Multivariate Bernoulli sebesar 3.31%, sedangkan Multinomial NB mengalami penurunan akurasi sebesar 1.98%.

Kata kunci: multinomial, multivariat bernoulli, naive bayes, spam filter

ABSTRACT

DENIS FADILLAH. Spam Filter Using Multivariate Bernoulli Classifiers and Multinomial Naive Bayes Classifiers by JULIO ADISANTOSO.

The growth of email users is triggers an increase in spam email, so that the required spam filters. Naïve Bayes classification model (NB) is one of the supervised learning method that can be used for spam filters because of high accuracy and easy to implement. Multivariate Bernoulli NB that is using Boolean attribute while Multinomial NB is using term frequency, those are two NB models which often used for classification function. Selection of good features will also affects the improvement of classification accuracy. This research is trying to modelling spam filter by using Multivariate Bernoulli and Multinomial NB classifiers then to compare both accuracy outputs. Chi-square feature selection also was chosen to hope producing a better features. Multinomial NB models without feature selection resulted in the highest accuracy of 95.31%, while the lowest accuracy rate obtained in the Multivariate Bernoulli models without feature selection by 89.69%. Chi-square feature selection improve the accuracy of the model Multivariate Bernoulli at 3.31%, while the accuracy of Multinomial NB decreased by 1.98%.

Skripsi

sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer

pada

Departemen Ilmu Komputer

SPAM FILTER MENGGUNAKAN MODEL KLASIFIKASI

MULTIVARIATE BERNOULLI DAN MULTINOMIAL

NAÏVE BAYES

DEPARTEMEN ILMU KOMPUTER

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR

BOGOR 2014

Penguji:

1 Ahmad Ridha, SKom MS

Judul Skripsi : Spam Filter Menggunakan Model Klasifikasi Multivariate Bernoulli dan Multinomial Naïve Bayes

Nama : Denis Fadillah NIM : G64124052

Disetujui oleh

Ir Julio Adisantoso MKom Pembimbing

Diketahui oleh

Dr Ir Agus Buono, Msi MKom Ketua Departemen

PRAKATA

Puji syukur penulis panjatkan kehadirat Allah SWT yang telah memberikan rahmat dan hidayah-Nya sehingga penulis dapat menyelesaikan skripsi yang berjudul “Spam Filter Menggunakan Model Klasifikasi Multivariate Bernoulli dan Multinomial Naïve Bayes”. Skripsi ini disusun sebagai syarat mendapat gelar Sarjan Komputer (SKomp) pada Program Sarjana Ilmu Komputer di Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertnaian Bogor (IPB).

Penyelsaian skripsi ini juga tidak terlepas dari bantuan berbagai pihak. Sebagai bentuk rasa syukur kepada Allah SWT, penulis ingin menyampaikan terimakasih dan penghargaan kepada:

1 Ir. Julio Adisantoso, MKom selaku dosen pembimbing atas bimbingan, arahan, waktu dan kesabaran yang telah diberikan kepada penulis selama penyusunan skripsi ini.

2 Papah Mamahku tersayang dan keluarga serta Febriani Dwiprianti atas segala dukungannya, kasih sayang dan doa yang telah diberikan kepada penulis dengan tulus serta penuh kesabaran.

3 Teman-teman di Gatotkaca Raya.

4 Teman-teman seperjuang dan teman-teman alihjenis angkatan 7 atas semangat dan sharing selama penelitian hingga penulisan skripsi, serta seluruh pihak yang tidak disebutkan satu per satu, terimakasih atas bantuannya.

Akhir kata, penulis mengucapkan terimakasih kepada semua pihak yang telah banyak membantu dalam menyelsaikan skripsi ini. Semoga skripsi ini dapat memberikan kontribusi yang bermakna bagi pengembangan wawasan para pembaca, khususnya mahasiswa dan masyarakat pada umumnya.

Semoga karya ilmiah ini bermanfaat.

DAFTAR ISI

DAFTAR TABEL vi

DAFTAR GAMBAR vi

DAFTAR LAMPIRAN vi

PENDAHULUAN 1

Latar Belakang 1

Perumusan Masalah 1

Tujuan Penelitian 2

Manfaat Penelitian 2

Ruang Lingkup Penelitian 2

METODE 2

Pengumpulan Dokumen Email 3

Ekstraksi Dokumen Email 3

Praproses Data 4

Fungsi Klasifikasi 5

Evaluasi Fungsi Klasifikasi 7

HASIL DAN PEMBAHASAN 8

Pengumpulan Dokumen Email 8

Ekstraksi Dokumen Email 9

Praproses Data 9

Fungsi Klasifikasi Naïve Bayes 10

Evaluasi Fungsi Klasifikasi 11

SIMPULAN DAN SARAN 13

Simpulan 13

Saran 13

DAFTAR PUSTAKA 13

LAMPIRAN 15

DAFTAR TABEL

1 Struktur dokumen email 3

2 Tabel kontingensi 5

3 Nilai Kritis �2 untuk taraf nyata α (Walpole et al. 2012) 5 4 Confussion Matrix kelas hasil prediksi dan kelas aktualnya 7

5 Komposisi korpus email 8

6 Jumlah token yang dihasilkan pada setiap langkah praproses 9 7 Lima term hasil pendugaan parameter Multivariate Bernoulli 10 8 Lima term hasil pendugaan parameter Multinomial NB 11 9 Confussion Matrix untuk setiap pengujian model klasifikasi 11

DAFTAR GAMBAR

1 Diagram alir penelitian 2

2 Komposisi jumlah token hasil tahap seleksi fitur 10

3 Tingkat akurasi setiap model klasifikasi 12

PENDAHULUAN

Latar Belakang

Surat elektronik atau email adalah sarana mengirim surat melalui jaringan internet. Berbeda dengan surat konvensional, email tidak memerlukan perangko atau amplop untuk mengirim pesan sehingga mudah dan murah. Selain itu email dapat dikirim ke banyak orang dalam satu waktu dengan waktu yang cepat.

Pertumbuhan pengguna email yang semakin pesat memicu peningkatan spam email (email yang tidak diinginkan oleh penerimanya dan dikirimkan secara massal). Spam biasanya dikirim oleh suatu perusahaan sebagai media promosi suatu produk. Tahun 2008 diperkirakan terdapat 62 triliun spam yang dikirim di seluruh dunia (McAfee 2008). Banyaknya spam tersebut mengakibatkan kerugian seperti memakan banyak sumber daya dan memerlukan waktu untuk menghapusnya.

Menyaring spam secara manual sulit dilakukan untuk volume dokumen email yang sangat besar. Oleh karena itu diperlukan suatu metode yang dapat mengklasifikasikan spam dan bukan spam (ham) secara otomatis. Model klasifikasi Naïve Bayes (NB) adalah salah satu metode supervised learning yang banyak digunakan untuk klasifikasi secara otomatis. NB dapat digunakan untuk berbagai permasalahan klasifikasi dengan error rate sebesar 20% (Manning et al. 2009).

Metode NB terbagi menjadi dua model yaitu Multivariate Bernoulli NB dan Multinomial NB (Manning et al. 2009). Penelitian Rachman (2013) membandingkan model Multinomial NB (atribut Boolean) dengan model Graham menggunakan metode training Train-Everything (TEFT) dan Training On Error (TOE). Metode TEFT melatih data email ketika ada data email baru, sedangkan metode TOE melatih data email ketika ada kesalahan klasifikasi. Dari penelitian tersebut model Multinomial NB untuk spam filter menghasilkan nilai recall yang tinggi yaitu di atas 96% untuk setiap percobaan.

Schneider (2003) membandingkan kinerja dua model NB dan menyimpulkan bahwa model Multinomial NB dapat mencapai akurasi yang lebih tinggi dibandingkan dengan model Multivariat Bernoulli NB dengan menggunakan seleksi fitur Mutual Information (MI). Schneider (2003) juga berasumsi bahwa peningkatan fungsi seleksi fitur dapat menghasilkan tingkat akurasi yang lebih baik. Salah satu metode seleksi fitur yang populer adalah chi-square (Manning et al. 2009). Oleh karena itu, perlu dilakukan penelitian membandingkan Multivariate Bernoulli NB dan Multinomial NB untuk spam filter pada dokumen email menggunakan seleksi fitur square. Seleksi fitur chi-square diharapkan dapat menghasilkan tingkat akurasi spam filter yang lebih baik.

Perumusan Masalah

Perumusan masalah penelitian ini adalah:

1 Bagaimana memodelkan klasifikasi Multivariate Bernoulli NB dan Multinomial NB untuk spam filter?

2

Tujuan Penelitian

Tujuan dari penelitian ini adalah membuat model klasifikasi Multivariate Bernoulli NB dan Multinomial NB untuk spam filter dengan menggunakan seleksi fitur chi-square kemudian membandingkan akurasi antara dua model tersebut.

Manfaat Penelitian

Penelitian ini diharapkan dapat menghasilkan model klasifikasi untuk spam filter menggunakan model klasifikasi NB dan seleksi fitur chi-square dengan tingkat akurasi yang tinggi.

Ruang Lingkup Penelitian

Ruang lingkup pada penelitian ini antara lain:

1 Korpus yang digunakan adalah dokumen email berbahasa Inggris dengan standar MIME dalam format raw.

2 Korpus email terbagi ke dalam dua kelas yaitu kelas spam dan ham.

3 Praproses tidak melewati langkah stemming karena stemming dapat menurunkan kinerja klasifikasi (Manning et al. 2009).

METODE

Tahapan penelitian terdiri atas 5 tahap, yaitu: pengumpulan data email, ekstraksi dokumen email, praproses, membuat fungsi klasifikasi, dan evaluasi hasil. Gambar 1 menunjukkan diagram alir penelitian yang dilakukan.

3

Pengumpulan Dokumen Email

Tahapan penelitian yang pertama adalah pengumpulan dokumen email yang akan digunakan sebagai korpus. Dokumen email berupa public email corpus yang disediakan oleh Spamassasin dengan kode prefix “20030228” dan diunduh pada alamat https://spamassassin.apache.org/publiccorpus/. Korpus email dibagi menjadi 2 kelas yaitu kelas spam dan kelas ham. Korpus tersebut akan digunakan sebagai data latih dan data uji pada tahap selanjutnya.

Ekstraksi Dokumen Email

Dokumen email yang terdapat dalam korpus masih dengan format standar email yang terdiri dari header dan body. Oleh karena itu, struktur email tersebut harus dipecah sesuai dengan bagian-bagiannya. Ekstraksi dokumen email dilakukan untuk mendapatkan bagian email yang akan dimasukkan dalam proses tokenisasi. Tabel 1 menampilkan struktur yang terdapat dalam dokumen email. Bagian header yang digunakan untuk proses tokensisasi adalah subject, sedangkan pada bagian body adalah plain text dan HTML text.

Tabel 1 Struktur dokumen email Bagian Nama Struktur Definisi

Header

MIME-version Versi MIME yang digunakan Form Nama dan alamat pengirim pesan

Received Daftar semua server / komputer yang dilaui pesan untuk sampai kepada penerimanya

Date Tanggal dan waktu pesan email dibuat Delivered-To Alamat penerima email

Message-ID Sebuah string unik yang diberikan oleh sistem email saat pesan tersebut pertama kali dibuat

Subject Subjek dari pesan

To Alamat yang digunakan untuk

mengirim pesan

X-Mailer Aplikasi yang digunakan untuk mengirimkan pesan

Return - Path Alamat pengembalian pesan jika alamat penerima tidak ditemukan

Body

Plain text Isi pesan dengan format penulisan dalam teks ASCII biasa

HTML text Isi pesan yang mengandung tag HTML Attachment Informasi yang memberikan lampiran

4

Praproses Data

Dokumen email yang telah diekstraksi kemudian ditokenisasi yaitu memotong dokumen teks menjadi bagian-bagian kecil yang disebut token dan membuang karakter-karakter tertentu seperti tanda baca (Manning et al. 2009). Whitespace (spasi, tab, newline) digunakan sebagai pemisah antar kata yang akan dipotong. Selain itu token yang dihasilkan biasanya diubah ke dalam bentuk lowercase. Proses tokensisasi dilakukan sebagai berikut:

1 Tanda baca diganti menjadi spasi sehingga tanda baca tersebut dianggap sebagai pemisah token. Tanda baca yang digunakan yaitu ' - ) ( \ / = . , : ; ! ?. 2 Teks dipotong menjadi token-token. Karakter numerik dibuang sehingga token

hanya terdiri dari karakter huruf (string).

3 Token dengan panjang kurang dari 3 karakter dibuang. 4 Semua token diubah ke dalam bentuk lowercase.

Token yang termasuk ke dalam stopword akan dibuang. Stopword adalah kata yang sangat umum dan sering muncul seperti kata sambung (Manning et al. 2009). Stopword tidak menambah informasi untuk fungsi klasifikasi dan pembuangan stopword dilakukan untuk mengurangi beban komputasi. Daftar stopword yang digunakan pada penelitian ini diunduh pada alamat http://jmlr.org/papers/volume5/lewis04a/a11-smart-stop-list/english.stop

(Lampiran 1).

Seleksi fitur merupakan suatu proses memilih subset dari setiap kata unik yang ada di dalam himpunan dokumen latih yang akan digunakan sebagai fitur di dalam klasifikasi dokumen. Subset kata unik yang terpilih disebut dengan penciri. Seleksi fitur memiliki dua tujuan, yaitu mengurangi jumlah kata yang digunakan dan meningkatkan akurasi hasil klasifikasi (Manning et al. 2009).

Pada penelitian ini, pemilihan fitur dilakukan dengan metode chi-square. Chi-square digunakan untuk menguji independensi antara 2 kejadian yaitu kejadian kemunculan kata unik dan kejadian kemunculan kelas (Manning et al. 2009). Nilai chi-square kata t pada kelas c dihitung menggunakan persamaan (Manning et al. 2009)

χ

2

t,c =

∑

∑

(Netec-E_etec)2

E_etec ec∈{0,1}

et∈{0,1} , (1) dengan N adalah frekuensi yang diamati dan E adalah frekuensi yang diharapkan. Pada persamaan (1), et bernilai 1 jika dokumen mengandung kata t dan et bernilai

0 jika dokumen tidak mengandung kata t, sedangkan ec bernilai 1 jika dokumen

terdapat dalam kelas c dan ec bernilai 0 jika dokumen tidak terdapat dalam kelas c.

5

Berdasarkan Tabel 2, perhitungan chi-square pada persamaan (1) dapat disederhanakan menjadi (Manning et al. 2009)

χ

2

t,c =

N(AD-BC)2

(A+C)(A+B)(B+D)(C+D), (2)

dengan t merupakan kata yang diujikan terhadap suatu kelas c dan N merupakan jumlah dokumen dalam korpus.

Pengambilan keputusan dilakukan berdasarkan nilai � dari masing-masing kata. Kata yang memiliki nilai � lebih besar dari nilai kritis pada taraf nyata α adalah kata yang akan dipilih sebagai penciri dokumen. Kata yang dipilih sebagai penciri merupakan kata yang diduga memiliki pengaruh terhadap kelas c. Nilai kritis � untuk taraf nyata α ditunjukkan pada Tabel 3.

Penelitian ini menggunakan satu taraf nyata α dengan nilai 0.01 yang diartikan bahwa kriteria kata yang dipilih sebagai penciri dokumen adalah kata yang memiliki nilai � lebih besar dari 6.635. Hasil seleksi fitur ini akan digunakan sebagai vocabulary (daftar penciri yang digunakan untuk proses klasifikasi).

Fungsi Klasifikasi

Ada 2 cara mengelompokkan dokumen ke dalam kategori tertentu, yaitu manual dan otomatis. Cara pertama yaitu secara manual yang dilakukan oleh para pakar/ahli. Akan tetapi cara manual sulit dilakukan untuk dokumen dengan skala besar. Cara kedua adalah klasifikasi dokumen secara otomatis menggunakan fungsi klasifikasi yang dapat memetakan dokumen ke dalam kategori tertentu (Manning et al. 2009)

γ : X  C

dengan X adalah kumpulan dokumen dan C adalah himpunan kelas atau kategori. Manning et al. (2009) membagi fungsi klasifikasi menjadi dua metode, yaitu berbasis vektor dan berbasis peluang. Pada fungsi klasifikasi berbasis vektor, setiap dokumen direpresentasikan sebagai vektor yang diberi label sesuai dengan

Tabel 2 Tabel kontingensi

Kata Kelas

c �

T A B

� C D

Tabel 3 Nilai Kritis � untuk taraf nyata α (Walpole et al. 2012) α Nilai kritis

6

kelasnya. Beberapa metode yang sering digunakan untuk klasifikasi berbasis vektor adalah kNN dan Rocchio classification.

Metode kedua adalah berbasis peluang dimana label kelas akan ditentukan dari nilai peluang dokumen terhadap kelas. Metode berbasis peluang yang sering digunakan adalah NB. NB classifier terbagi menjadi 2 model, yaitu Multivariate Bernoulli dan Multinomial NB (Manning et al. 2009).

Pada Multivariate Bernoulli, dokumen diwakili oleh atribut biner yang menunjukkan ada atau tidak ada term dalam dokumen. Frekuensi kemunculan term dalam dokumen tidak ikut diperhitungkan. Ketika menghitung peluang dari sebuah dokumen, semua nilai atribut dikalikan termasuk kemungkinan ada dan tidak ada term dalam dokumen. Pada model ini, dokumen akan direpresentasikan ke dalam angka biner 1 jika terdapat dalam dokumen atau 0 jika tidak terdapat dalam dokumen seperti yang terdapat pada persamaan (3) (Manning et al. 2009)

d= <e

₁

, …, e

_i

, …, e

_M

>, e

_i

∈ {

0, 1

}.

(3) Peluang dokumen d dalam kelas c dihitung menggunakan formula (Manning et al. 2009)

P c

|

d

∝

P

̂ c ∏

��∈�

P

̂

U

i

=e

i

|

c

, (4)

dengan P̂ U_i=e_i|c adalah rasio dokumen dari kelas c yang mengandung term Ui,

P̂ c adalah peluang dokumen pada kelas c. Pendugaan P̂ c dan P̂ ei|c dihitung dengan cara

P

̂ c =

Nc

N

,

P

̂

e

i

|c =

Nct

Nc, (5) dengan Nc adalah banyaknya dokumen latih pada kelas c, sedangkan Nct adalah

banyaknya dokumen yang mengandung term t dalam dokumen latih kelas c. Untuk menghilangkan dugaan P̂ ei|c yang bernilai nol pada persamaan (5), digunakan Laplace smoothing atau Add-One Smoothing sehingga pendugaan P̂ ei|c menjadi

P

̂

e

i

|c =

N_Nct+

c+B, (6) sedangkan B adalah banyaknya kelas atau kategori (Manning et al. 2009).

Dalam Multinomial NB, dokumen diwakili oleh serangkaian kemunculan n buah term t dari dokumen seperti yang terdapat pada persamaan (7) (Manning et al. 2009)

d= <t

1

, …,

t

k

, …,

t

n

>,

t

k

∈

V. (7)

dengan V adalah himpunan kata unik (vocabulary) dalam korpus. Dalam model ini jumlah kemunculan dari setiap term dalam dokumen akan diperhitungkan. Peluang dokumen d dalam kelas c dihitung menggunakan persamaan (Manning et al. 2009)

P c

|

d

∝

P

̂ c ∏

≤�<��

P

̂

X=t

k

|

c

, (8)

dengan P̂ X=t_k|c adalah rasio term dalam kelas c yang mengandung term t, P̂ c adalah peluang dokumen pada kelas c. Pendugaan P̂ tk|c menggunakan Laplace smoothing dihitung dengan cara

P

̂

t

k

|c =

_∑ Tct_T+

ct+|V|

t∈V (9) dengan Tct adalah frekuensi term t dalam dokumen latih kelas c, sedangkan |V|

7

Evaluasi Fungsi Klasifikasi

Langkah terakhir adalah melakukan pengujian dan evaluasi terhadap model klasifikasi yang telah dibuat. Pengujian dilakukan terhadap data uji yang telah ditentukan sebelumnya. Confussion Matrix (Tabel 4) digunakan untuk membantu perhitungan evaluasi dengan TP adalah banyaknya dokumen yang kelas aktualnya adalah kelas Spam dengan kelas prediksinya kelas Spam, FN adalah banyaknya dokumen yang kelas aktualnya adalah kelas Spam dengan kelas prediksinya kelas Ham, FP adalah banyaknya dokumen yang ada kelas aktualnya adalah kelas Ham dengan kelas prediksinya kelas Spam serta TN adalah banyaknya dokumen yang ada kelas aktualnya adalah kelas Ham dengan kelas prediksinya kelas Ham.

Evaluasi fungsi klasifikasi pada penelitian ini menggunakan perhitungan akurasi dengan formula

Akurasi= _TP+FN+FP+TNTP+TN .

Untuk mengetahui akurasi setiap kelas digunakan perhitungan akurasi ham dan akurasi spam dengan formula

Akurasi ham = jumlah dokumen _{total dokumen ham}ham yang benar diklasifikasikan,

Akurasi spam = jumlah dokumen _{total dokumen spam}spam yang benar diklasifikasikan.

Masing-masing model NB akan dihitung nilai akurasinya kemudian dibandingkan sehingga diketahui model mana yang paling baik untuk spam filter. Perbandingan model klasifikasi sebelum menggunakan seleksi fitur dan setelah menggunakan seleksi fitur dihitung untuk mengetahui pengaruh seleksi fitur terhadap model klasifikasi.

Lingkungan Pengembangan

Spesifikasi perangkat keras dan perangkat lunak yang digunakan untuk penelitian ini adalah sebagai berikut:

1 Perangkat keras berupa komputer personal dengan spesifikasi sebagai berikut :  Processor Intel Dual Core

 RAM 3 GB

 Monitor LCD 14.0” HD  Harddisk 250 GB HDD 2 Perangkat lunak :

 Sistem Operasi Windows 7  Bahasa pemrograman PHP

Tabel 4 Confussion Matrix kelas hasil prediksi dan kelas aktualnya Kelas Prediksi

Spam Ham Kelas

Aktual

8

 XAMPP v3.2.1 digunakan sebagai web server  Notepad++ digunakan sebagai editor kode program

HASIL DAN PEMBAHASAN

Pengumpulan Dokumen Email

Korpus yang digunakan pada penelitian ini adalah public email corpus yang disediakan oleh Spamassasin dengan kode prefix “20030228”. Korpus ini terdiri atas 6.047 pesan email yang sudah diklasifikasikan sebelumnya dengan komposisi:

 3900 easy-ham, yaitu pesan ham yang dapat dibedakan dengan mudah dari pesan spam karena tidak banyak mengandung ciri-ciri yang dimiliki oleh pesan spam.

 250 hard-ham, yaitu pesan bertipe ham namun mengandung cukup banyak feature yang biasa terdapat pada pesan spam sehingga agak sulit diklasifikasikan.

 1897 spam, yaitu pesan yang masuk dalam kategori spam.

Dari masing-masing kategori, secara acak diambil sebanyak 70% sebagai data latih dan sisanya digunakan data uji (Tabel 5). Pesan yang memiliki label easy-ham dan hard-ham digabungkan ke dalam satu kategori yaitu ham. Dengan demikian, dokumen email tersebut diklasifikasikan ke dalam dua kategori yaitu spam dan ham dengan komposisi:

 Total dokumen ham 4150, sebanyak 2905 dokumen digunakan sebagai data latih dan 1245 dokumen digunakan sebagai data uji.

 Total dokumen spam 1897, sebanyak 1328 dokumen digunakan sebagai data latih dan 569 dokumen digunakan sebagai data uji.

Hasil pengamatan menunjukkan dokumen spam rata-rata mempunyai ukuran data yang lebih besar dibandingkan dengan dokumen ham. Ukuran rata-rata dokumen ham adalah 4.8 KB, sedangkan untuk dokumen spam adalah 6.5 KB. Besar ukuran dokumen email tergatung dari isi yang terdapat di dalam dokumen. Dokumen email dengan content-type multipart biasanya menghasilkan ukuran data yang lebih besar dibandingkan dengan singlepart. Content-type singlepart yaitu dokumen email yang hanya berisi satu tipe isi pesan dan secara default isi dari email hanya plain text. Content-type multipart yaitu dokumen email yang

Tabel 5 Komposisi korpus email Kategori dokumen Jumlah

dokumen

Data Latih Uji

easy-ham 3900 2730 1170

hard-ham 250 175 75

spam 1897 1328 569

9 berisi lebih dari beberapa tipe isi pesan seperti HTML text, attachments, image, audio, video dan application.

Ekstraksi Dokumen Email

Langkah ekstraksi dokumen dilakukan untuk memecah dokumen email menjadi bagian-bagian yang lebih kecil. Langkah ini diperlukan karena tidak semua bagian email digunakan untuk tahapan selanjutnya. Struktur header seperti sender, return path, dan X-mailer hanya muncul pada beberapa dokumen email sehingga tidak bagus digunakan sebagai penciri. Subject email merupakan salah satu bagian email yang baik digunakan sebagai penciri (Sahami et al. 1998). Bagian struktur email yang digunakan untuk langkah selanjutnya adalah subject dan body (plain text dan HTML text).

Ekstraksi dokumen menggunakan library mailparse yang telah tersedia untuk bahasa pemrograman php dan diunduh pada alamat http://pecl.php.net/package/mailparse. Hasil pengamatan menunjukkan content plain text paling banyak ditemukan pada dokumen easy-ham, sedangkan HTML text banyak ditemukan pada dokumen hard-ham dan spam. Pada dokumen easy-ham sebanyak 2708 mempunyai plain text sedangkan pada dokumen hard-ham dan spam masing-masing sebanyak 64 dan 771. HTML text pada dokumen easy-ham sebanyak 20 sedangkan pada dokumen hard-ham dan spam masing-masing sebanyak 136 dan 671.

Praproses Data

Tahap tokenisasi dilakukan pada bagian email yang digunakan. Dalam tahap tokenisasi data latih diperoleh 67612 token. Seluruh token tersebut disaring dengan membuang kata-kata yang terdapat dalam daftar stopword sehingga diperoleh token sebanyak 67172. Dapat disimpulkan bahwa hanya sebanyak 0.7% dari seluruh token data latih merupakan stopword. Dengan menggunakan seleksi fitur chi-square dan taraf α = 0.01, token akhir yang dijadikan sebagai vocabulary adalah 3866 token atau 5.8% dari total token setelah pembuangan stopword. Tabel 6 menunjukkan jumlah token yang dihasilkan pada setiap langkah praproses. Sebanyak 2252 token terdapat pada kelas ham dan spam seperti kata “absolutely”, “account” dan “address” termasuk tag-tag HTML. Sedangkan sebanyak 711 token hanya terdapat pada kelas ham dan 903 token hanya terdapat pada kelas spam. Gambar 2 menunjukkan komposisi jumlah token terhadap kelas dari hasil seleksi fitur.

Tabel 6 Jumlah token yang dihasilkan pada setiap langkah praproses Tahapan Jumlah token yang dihasilkan

Tokenisasi 67612

Pembuangan Stopword 67172

10

Fungsi Klasifikasi Naïve Bayes

Setelah melewati langkah praproses, langkah selanjutnya adalah membuat fungsi klasifikasi yang dapat memetakan dokumen ke dalam kategori tertentu. Pada model Multivariate Bernoulli, pendugaan parameter setiap term dihitung menggunakan persamaan (6). Peluang dari pendugaan parameter Multivariate Bernoulli bergantung pada nilai document frequency (DF). Semakin besar nilai DF maka semakin besar pula peluangnya. Tabel 7 menunjukkan 5 term urutan tertinggi hasil pendugaan parameter Multivariate Bernoulli berdasarkan pada nilai DF dan peluangnya. Tabel 7 menunjukkan pada kelas ham, term ‘listinfo’ yang dengan DF 1839 menghasilkan peluang sebesar 0.633, sedangkan untuk term ‘wrote’ dengan nilai DF 1230 menghasilkan peluang yang lebih kecil yaitu sebesar 0.423. Hal ini berarti term ‘listinfo’ lebih berpeluang masuk ke dalam kelas ham dibandingkan term ‘wrote’ pada model Multivariate Bernoulli.

Pada model Multinomial NB, pendugaan parameter dihitung menggunakan persamaan (9). Berbeda dengan model Multivariate Bernoulli, nilai peluang model Multinomial NB dipengaruhi oleh nilai TF (term frequency). Semakin tinggi nilai TF maka semakin besar pula peluangnya. Tabel 8 menunjukkan 5 term urutan tertinggi hasil pendugaan parameter Multinomial NB berdasarkan pada nilai TF dan peluangnya. Tabel 8 menunjukkan pada kelas ham, term ‘width’ dengan TF 16815 menghasilkan peluang sebesar 0.038, sedangkan untuk term ‘src’ dengan nilai TF 9340 menghasilkan peluang yang lebih kecil yaitu sebesar 0.021. Hal ini berarti term ‘width’ lebih berpeluang masuk ke dalam kelas ham dibandingkan term ‘src’ pada model Multinomial NB. Pendugaan P̂ c untuk setiap model bernilai sama yaitu P̂ ham =0.686, sedangkan P̂ spam =0.314.

Tabel 7 Lima term hasil pendugaan parameter Multivariate Bernoulli

kelas ham kelas spam

Term DF Peluang Term DF Peluang

listinfo 1839 0.633 html 758 0.571

list 1619 0.558 email 729 0.549

mailman 1617 0.557 click 721 0.543

www 1611 0.555 href 690 0.520

wrote 1230 0.423 body 671 0.505

11

Evaluasi Fungsi Klasifikasi

Proses pengujian model klasifikasi dilakukan menggunakan 1814 data uji yang terdiri dari 1245 dokumen ham dan 569 dokumen spam. Pengujian menggunakan pendugaan parameter yang telah dibuat pada tahap fungsi klasifikasi. Persamaan (4) digunakan pada pengujian model Multivariate Bernoulli sedangkan (8) digunakan untuk menguji model Multinomial NB. Hasil perhitungan pada persamaan (4) dan (8) menghasilkan nilai 0 karena nilai peluang yang dihasilkan sangat kecil. Oleh karena itu, untuk mengatasi hal tersebut semua nilai pendugaan parameter dijadikan log sehingga persamaan (2) menjadi

log P c|d ∝log P̂ c + ∑��∈�log P̂ Ui=ei|c , (10) sedangkan persamaan (4) menjadi

log(P c|d ∝ log P̂ c + ∑ _{≤�<��}log P̂ X=tk|c . (11)

Pada semua dokumen uji dilakukan pengujian terhadap setiap model klasifikasi baik sebelum dan sesudah menggunakan seleksi fitur chi-square. Hasil pengujian dalam bentuk confussion matrix terdapat pada Tabel 9. Akurasi tertinggi dicapai model Multinomial NB tanpa seleksi fitur chi-square dengan tingkat akurasi sebesar 95.31%. Model Multivariate Bernoulli tanpa seleksi fitur chi-square memiliki tingkat akurasi terendah yaitu sebesar 89.69%. Secara keseluruhan, model Multinomial NB menunjukkan tingkat akurasi yang lebih tinggi, baik menggunakan seleksi fitur atau tidak. Gambar 3 menunjukkan tingkat akurasi dari model klasifikasi yang telah dibuat. Penggunaan seleksi fitur chi-square menyebabkan penuruan akurasi sebesar 1.98% pada model Multinomial NB. Hal ini berbanding terbalik pada model Multivariate Bernoulli yang mengalami peningkatan akurasi sebesar 3.31%. Banyaknya vocabulary yang digunakan mempengaruhi turun-naiknya akurasi model klasifikasi. Multivariate Bernoulli lebih baik jika vocabulary yang digunakan berjumlah sedikit, sedangkan

Tabel 8 Lima term hasil pendugaan parameter Multinomial NB

kelas ham kelas spam

Term TF Peluang Term TF Peluang

width 16815 0.038 font 27602 0.090

www 12055 0.027 size 10335 0.033

font 11042 0.025 width 7855 0.025

height 9598 0.022 color 7892 0.025

src 9340 0.021 face 7594 0.024

Tabel 9 Confussion Matrix untuk setiap pengujian model klasifikasi

Model klasifikasi TP TN FP FN Total

12

untuk vocabulary dalam jumlah banyak, Multinomial NB menghasilkan tingkat akurasi yang lebih baik.

Model Multinomial NB tanpa seleksi fitur chi-square sangat baik dalam mengenali dokumen ham dengan tingkat akurasi 98.39%. Sedangkan dalam mengenali dokumen spam, model Multinomial NB dengan seleksi fitur chi-square dan tanpa seleksi fitur sama-sama menghasilkan akurasi yang terbaik yaitu sebesar 88.58%. Gambar 4 menunjukkan tingkat akurasi ham dan spam setiap model klasifikasi. Setiap model klasifikasi menunjukkan tingkat akurasi ham selalu lebih baik dibandingkan dengan akurasi spam. Hal ini disebabkan oleh penggunaan data latih yang tidak seimbang. Data latih ham yang digunakan sebanyak lebih dari 2 kali data latih spam.

Gambar 3 Tingkat akurasi setiap model klasifikasi

89,69% 95,31% 93,00% _93,27% 86% 88% 90% 92% 94% 96% 98% 100% Akurasi T in gk at A ku ras i

bernoulli multinomial bernoulli+χ2 multinomial+χ2

Gambar 4 Tingkat akurasi ham dan spam setiap model klasifikasi

98,07% 98,39% 96,95% 95,42%

13

SIMPULAN DAN SARAN

Simpulan

Berdasarkan penelitian yang telah dilakukan, dapat disimpulkan beberapa hal sebagai berikut:

1 Model Multinomial NB tanpa seleksi fitur chi-square menghasilkan akurasi tertinggi sebesar 95.31%, sedangkan untuk tingkat akurasi terendah didapatkan pada model Multivariate Bernoulli tanpa seleksi fitur chi-square dengan akurasi sebesar 89.69%.

2 Seleksi fitur chi-square mempengaruhi tingkat akurasi model klasifikasi. Seleksi fitur chi-square meningkatkan akurasi model Multivariate Bernoulli sebesar 3.31%, sedangkan Multinomial NB mengalami penurunan akurasi sebesar 1.98%.

3 Dari semua pengujian, pengenalan dokumen ham selalu lebih baik dibandingkan dengan pengenalan dokumen spam. Hal tersebut disebabkan karena penggunaan data latih yang tidak seimbang. Data latih ham yang digunakan sebanyak lebih dari 2 kali lipat data latih spam.

4 Secara keseluruhan model Multinomial NB menghasilkan akurasi yang lebih baik dibandingkan dengan model Multivariate Bernoulli.

Saran

Pada penelitian ini, pengenalan dokumen ham menghasilkan akurasi yang tinggi, tetapi pengenalan spam menghasilkan akurasi yang rendah. Hal tersebut disebabkan karena penggunaan data latih yang tidak seimbang. Penelitian selanjutnya diharapkan dapat memperbaiki kekurangan tersebut dengan menggunakan data latih yang seimbang. Spam email mempunyai beberapa penciri yang unik dan dapat mudah diklasifikasikan tanpa perhitungan peluang. Penciri tersebut dapat digunakan sebagai aturan-aturan pada model klasifikasi berbasis aturan (hand-crafted rules). Penggabungan model klasifikasi Naïve Bayes dan model klasifikasi berbasis aturan diharapkan dapat meningkatkan akurasi pada pengenalan dokumen spam sehingga pada penelitian selanjutnya kinerja spam filter dapat lebih baik.

DAFTAR PUSTAKA

Manning C D, Raghavan P, Schütze H. 2009. Introduction to Information Retrieval. Cambridge (GB): Cambridge University Press.

McAfee. 2008. The Carbon Footprint of Email Spam Report. Santa Clara: McAfee, Inc.

14

Rahman W.2013. Pengukuran Kinerja Spam Filter Menggunakan Metode Naive Bayes Classifier Graham [skripsi]. Bogor (ID): Institut Pertanian Bogor.

Sahami M, Dumais S, Heckerman D, Horvitz E. 1998. A Bayes Approach to Filtering Junk E-Mail. Di dalam: AAAI Technical Report WS-98-05.

Saputra. 2012. Klasifikasi dokumen Bahasa Indonesia menggunakan semantic smoothing dengan ekstraksi ciri chi-square [skripsi]. Bogor (ID): Institut Pertanian Bogor.

Schneider, K M. 2003. Comparison of Event Models for Naive Bayes Anti-Spam E-Mail Filtering. Department of General Linguistics University of Passau. Walpole E R, Myers R H, Myers S L, Ye K. 2012. Probability & Statistics for

15

LAMPIRAN

Lampiran 1 Daftar stopword yang digunakan dalam penelitian

17

RIWAYAT HIDUP