KLASIFIKASI BAYESIAN Data Mining

KLASIFIKASI

BAYESIAN

Kelompok

5

Bonggakarang Adrianus

Entaren Junvenly

Makagiansar Gaelle

Maingkolang Nirwanto

Overview

Today we learn:

• Bayesian classification

• E.g. How to decide if a patient is ill or healthy, based on

• A probabilistic model of the observed data

Introduction

Klasifikasi adalah salah satu tugas yang penting dalam data mining, dalam klasifikasi sebuah pengklasifikasi dibuat dari sekumpulan data latih dengan kelas yang telah ditentukan sebelumnya Naive Bayes adalah salah satu Algoritma

Klasifikasi yang populer, Performa naïve bayes yang

Classification problem

• Training data: examples of the form (d,h(d))

• where d are the data objects to classify (inputs)

• and h(d) are the correct class info for d, h(d){1,…K}

Why Bayesian?

• Provides practical learning algorithms

• E.g. Naïve Bayes

• Prior knowledge and observed data can be combined

• It is a generative (model based) approach, which offers

a useful conceptual framework

• E.g. sequences could also be classified, based on a probabilistic model specification

Probabilities

• Have two dice h₁ and h₂

• The probability of rolling an i given die h₁ is denoted P(i|h₁).

This is a conditional probability

• Pick a die at random with probability P(h_j), j=1 or 2. The

probability for picking die h_j and rolling an i with it is called

joint probability and is P(i, h_j)=P(h_j)P(i| h_j).

• For any events X and Y, P(X,Y)=P(X|Y)P(Y)

• If we know P(X,Y), then the so-called marginal probability

P(X) can be computed as _



Y

Y X P X

• Ex.

• Misalkan si-A bercerita /bercakap-cakap akrab dengan seseorang lain di atas kereta api. Informasi yang didapat,

peluang si-A bercakap-cakap dengan perempuan adalah

50%. Sekarang misalkan si-A menyebut bahwa orang lain di

atas kereta api itu berambut panjang.

• Dari keterangan baru ini tampaknya lebih boleh jadi si-A bercakap-cakap dengan perempuan, karena orang berambut panjang biasanya wanita.

• Teorema Bayes dapat digunakan untuk menghitung besarnya peluang bahwa si-A berbicara dengan seorang wanita, berapa

• Misalkan:

W adalah kejadian percakapan dilakukan dengan seorang

wanita.

L adalah kejadian percakapan dilakukan dengan seorang

berambut panjang

• Kita dapat berasumsi bahwa wanita adalah setengah dari populasi. Artinya peluang si-A berbicara dengan wanita adalah 0,5.

P(W) = 0,5

• Misalkan juga bahwa diketahui 75 persen wanita berambut panjang. Ini berarti bila kita mengetahui bahwa seseorang adalah wanita, peluangnya berambut panjang adalah 0,75.

P(L/W) = 0,75

• Sebagai keterangan tambahan kita juga mengetahui bahwa peluang seorang pria berambut panjang adalah 0,3.

P(L/M) = 0,3.

• Di sini kita mengasumsikan bahwa seseorang itu adalah pria atau wanita, atau P(M) = 1 - P(W) = 0,5. Dengan kata lain M adalah kejadian

komplemen dari W.

• Dengan memasukkan nilai-nilai peluang yang diketahui ke dalam rumus di atas, kita mendapatkan peluang seseorang itu wanita bila diketahui dia berambut panjang adalah 0,714.

• Dari contoh di atas kita bisa merumuskan teorema Bayes secara

Klasifikasi teks adalah proses pengelompokan dokumen kedalam kelas berbeda, dalam tahapannya tiap dokumen d menunjuk pada satu kelas tertentu maka dibutuhkan proses untuk

Klasifikasi–klasifikasi Bayes adalah klasifikasi tatistik yang dapat memprediksi kelas suatu anggota probabilitas. Untuk klasifikasi Bayes sederhana yang lebih dikenal sebagai naïve Bayesian Classifier dapat diasumsikan bahwa efek dari suatu nilai atribut sebuah kelas yang diberikan adalah bebas dari atribut-atribut lain. Asumsi ini disebut class conditional independence yang dibuat untuk emudahkan

Remember!

• Bayes’ rule can be turned into a classifier

• Naive Bayes Classifier is a simple but effective Bayesian

classifier for vector data (i.e. data with several attributes) that assumes that attributes are independent given the class.