09 Klasifikasi Dokumen dengan Naive Bayes

(1)

TEXT MINING

Klasifikasi Dokumen dengan Naïve Bayes

(2)

Klasifkasi Teks dengan Naïve Bayes

• _{Merupakan metode klasifkasi yang sederhana (“naïve”)}

berdasarkan aturan Bayes

(3)

Klasifkasi Teks dengan Naïve Bayes

• _{Kategori dari dokumen uji}_d_{adalah kategori yang memiliki}

(4)

• _{Untuk dokumen}_d_{dan kategori}_{c, probabilitas posterior}_bisa

dihitung:

• _P(c|d)_disebut_posterior_{atau peluang kelas}_c_diberikan

dokumen d

• P(c) disebut prior, atau peluang awal munculnya kategori c

(5)

• _{Masing-masing kategori akan dihitung nilai posteriornya} • _{Jika kita memiliki 3 kategori {}_{c1, c2,}_dan_c3_{}, maka akan}

dihitung

• _{Selanjutnya, akan dipilih kategori yang memiliki nilai}

posterior terbesar sebagai kategori dari dokumen d

(6)

• _{Misal , dan , maka dokumen}_d_{akan masuk pada kategori}

c1

• _{Meskipun probabilitas posteriornya kecil, kategori}_c1_tetap

dipilih karena nilainya paling besar dibandingkan probabilitas posterior kategori lain

• _{Kita hanya melihat mana kategori dengan peluang}

tersbesar tanpa peduli besar nilainya

• Oleh karena itu, P(d) bisa dihilangkan karena P(d) selalu bernilai sama untuk semua kategori

(7)

• _Contoh:

• _{Karena nilai}_P(d)_{selalu sama untuk semua kategori, tanpa}

memperhitungkan P(d) kita sudah tahu bahwa P(c1|d) akan mempunyai nilai probabilitas terbesar.

• _{Oleh karena itu, kita sudah bisa memastikan bahwa}

dokumen d akan masuk kategori c1

(8)

• _{Bukti: Misal P(d)=0.2, kita hitung posteriornya:}

• _Terbukti,_P(c1|d)_{memang mempunyai nilai probabilitas}

terbesar.

• Oleh karena itu, kita tidak perlu melibatkan P(d) ke dalam perhitungan untuk penentuan kategori

(9)

• _{Oleh karena itu, Formula Naïve Bayes untuk klasifkasi}

cukup:

dokumen d

(10)

• Sekarang, mari fokus pada Prior:

• Prior adalah probablitas awal dari kelas c

• Perhitungan Prior hanya berdasarkan pada data latih

• _{Nc = Jumlah dokumen pada data latih yang masuk pada kategori c} • _{N = Jumlah dokumen pada data latih}

•

(11)

• _{Misal, kita memiliki 10 dokumen training dan 3 kategori} • _{D1, D2, D3}_{masuk kategori}_C1

• D4, D5 masuk kategori C2

• D6, D7, D8, D9, D10 masuk kategori C3

• _Maka • dan •

(12)

• Sekarang, mari fokus pada Conditional Probability:

• Dokumen d yang akan diklasifkasi terdiri dari beberapa kata w

• _{Probabilitas masing-masing ftur atau kata}_P(w|c)_diasumsikan

independen (oleh karena itu disebut “Naïve”)

• Misal dokumen d terdiri dari 4 kata {w1, w2, w3, w4}

• _{Conditional probability}_dokumen_d_{merupakan hasil perkalian}

Conditional probability masing-masing ftur:

•

(13)

• _{Misal dokumen}_d_{terdiri dari}_n_kata_{{w1, w2, …, wn}} • _{Conditional probability}_dokumen_d_{bisa kita hitung:}

atau

•

(14)

• _{Oleh karena itu, Formula Naïve Bayes untuk klasifkasi}

dokumen menjadi:

dokumen d

• _adalah _{perkalian dari}_{conditional probability}_{masing-masing} •

(15)

• _{Sekarang, mari fokus pada}_{Conditional Probability}_ftur:

• _{Untuk menghitung Conditional Probability, kita bisa}

menggunakan salah satu dari 3 model:

• Bernoulli

• Multinomial • _Gaussian

•

(16)

• _{Disebut juga}_{Multi-variate Bernoulli}_model

• _{Berdasarkan pada data biner: menggunakan Binary Term}

Frequency

• _{Jika kata}_w_{ada pada dokumen berkategori}_c_,

• Jika kata w tidak ada pada dokumen berkategori c,

• _{= jumlah dokumen berkategori}_c_{yang mengandung kata}_w • _{= jumlah dokumen berkategori}_c

•

(17)

• _{Untuk menghindari adanya probabilitas nol, biasanya}

dilakukan add-one atau laplace smoothing. Ada

penambahan +1 pada pembilang, dan +2 pada penyebut

• Jika kata w ada pada dokumen berkategori c,

• _{Jika kata}_w_{tidak ada pada dokumen berkategori c,}

• _{= jumlah dokumen berkategori}_c_{yang mengandung kata w}

•

(18)

• _{Berdasarkan pada data diskrit: menggunakan Raw Term}

Frequency

• _{= jumlah kemunculan kata}_w_{pada kategori}_c

• _{= jumlah total kemunculan semua kata pada kategori}_c

•

(19)

• _{Untuk menghindari adanya probabilitas nol, biasanya}

dilakukan add-one atau laplace smoothing. Ada

penambahan +1 pada pembilang, dan |V| pada penyebut

• = jumlah kemunculan kata w pada kategori c

• _{= jumlah total kemunculan semua kata pada kategori}_c • ₌_{jumlah term unik atau ftur}

•

(20)

• _{Berdasarkan pada data kontinyu: menggunakan TF-IDF}

• _{= nilai pi 3.14…}

• _{= varians nilai ftur}_w_{pada kelas}_c

• = nilai ftur w (nilai TF-IDF) pada data uji

• _{= rata-rata nilai ftur}_w_{pada kelas}_c

•

(21)

• _{Dari ketiga model tersebut, yang paling popular dalam}

klasifkasi teks adalah multinomial

• _{Multinomial model}_{terbukti secara umum lebih akurat}

(22)

Langkah-langkah Klasifkasi Teks dengan Naïve Bayes

• _Training

• Inputnya adalah data latih

• Menghitung prior masing-masing kategori

• Menentukan ftur berdasarkan term unik pada data latih

• Menghitung Raw TF untuk semua ftur pada semua dokumen di data latih

• Menghitung conditional probability per ftur per kategori

• Outputnya adalah model (nilai prior dan conditional probability)

• Testing

• Inputnya adalah model dan data uji

(23)

Studi kasus klasifkasi dokumen

d1

Sekarang saya sedang suka

memasak. Masakan kesukaan saya

sekarang adalah nasi goreng. Cara memasak nasi

goreng adalah nasi digoreng

Kelas A

d2

Ukuran nasi

sangatlah kecil, namun saya selalu makan nasi

Kelas A

d3

Nasi berasal dari beras yang ditanam di sawah. Sawah berukuran kecil

hanya bisa ditanami sedikit beras

Kelas B

d4

Mobil dan bus dapat mengangkut banyak penumpang. Namun, bus berukuran jauh lebih besar dari

mobil, apalagi mobil-mobilan

d5

Bus pada umumnya berukuran besar dan berpenumpang banyak, sehingga bus tidak bisa

Dokumen baru d6

(24)

• _{d1, d2}_{masuk kategori}_A • d3, d4 masuk kategori B

• d5 masuk kategori C

• Jumlah dokumen pada data latih (N) = 5

• Maka

•

(25)

(26)

(27)

• Menghtung Raw TF masing-masing ftur pada masing-masing dokumen di data latih

No TERM D1(A) D2(A) D3(B) D4(B) D5(C)

(28)

• Menghtung conditional probability dengan Mutinomial Model masing-masing ftur pada masing-masing-masing-masing kategori

• _Misal,_{conditional probability}_{ftur “ukur” pada kategori A}

• = jumlah kemunculan kata ukur pada kategori A

• = jumlah total kemunculan semua kata pada kategori A

• = jumlah term unik atau ftur

•

(29)

• Conditional probability ftur ukur pada kategori A

(30)

(31)

(32)

• Conditional probability ftur ukur pada kategori B

(33)

(34)

(35)

• Conditional probability ftur ukur pada kategori C

1 suka 2 0 0 0 0

(36)

1 suka 2 0 0 0 0

(37)

1 suka 2 0 0 0 0

count(ukur,C) = 1 Count(C) = 5

(38)

No TERM D1(A) D2(A) D3(B) D4(B) D5(C) P(w|A) P(w|B) P(w|C)

(39)

• Conditional probability masing-masing ftur pada masing-masing kategori

No TERM D1(A) D2(A) D3(B) D4(B) D5(C) P(w|A) P(w|B) P(w|C)

(40)

(41)

• Menghitung Posterior masing-masing kategori

No TERM P(w|A) P(w|B) P(w|C)

1 suka 0.107 0.034 0.056

2 masak 0.143 0.034 0.056

3 nasi 0.214 0.069 0.056

4 goreng 0.143 0.034 0.056

5 ukur 0.071 0.069 0.111

6 makan 0.071 0.034 0.056

7 beras 0.036 0.103 0.056

8 tanam 0.036 0.103 0.056

9 sawah 0.036 0.103 0.111

10 mobil 0.036 0.172 0.056

11 bus 0.036 0.103 0.167

Studi Kasus

Dokumen baru d6

Nasi Goreng Pedas Kelas = ???

Kata pedas tidak diperhitungkan karena tidak termasuk ftur (Tidak pernah muncul pada data latih)

(42)

• _{d1, d2}_{masuk kategori}_A • _{d3, d4}_{masuk kategori}_B • d5 masuk kategori C

• Jumlah dokumen pada data latih (N) = 5

• _Maka_{= 0.4} • = 0.4

•

(43)

1 suka 0.107 0.034 0.056

2 masak 0.143 0.034 0.056

3 nasi 0.214 0.069 0.056

4 goreng 0.143 0.034 0.056

5 ukur 0.071 0.069 0.111

6 makan 0.071 0.034 0.056

7 beras 0.036 0.103 0.056

8 tanam 0.036 0.103 0.056

9 sawah 0.036 0.103 0.111

10 mobil 0.036 0.172 0.056

11 bus 0.036 0.103 0.167

Studi Kasus

Dokumen baru d6

Nasi Goreng Pedas Kelas = ???

(44)

1 suka 0.107 0.034 0.056

2 masak 0.143 0.034 0.056

3 nasi 0.214 0.069 0.056

4 goreng 0.143 0.034 0.056

5 ukur 0.071 0.069 0.111

6 makan 0.071 0.034 0.056

7 beras 0.036 0.103 0.056

8 tanam 0.036 0.103 0.056

9 sawah 0.036 0.103 0.111

10 mobil 0.036 0.172 0.056

11 bus 0.036 0.103 0.167

12 angkut 0.036 0.069 0.056

Studi Kasus

Dokumen baru d6

Nasi Goreng Pedas Kelas = A

(45)