Session 06 Jumat & Sabtu, 22 & 23 April 2022

(1)

Data Mining

Session 06

Jumat & Sabtu, 22 & 23 April 2022

(2)

PROGRAM STUDI TEKNIK INFORMATIKA

Sumber: https://ft.uhamka.ac.id/prodi/informatika/

• VISI.

√ Menjadi program studi informatika yang menghasilkan karya unggul di bidang teknologi informasi melalui pembelajaran berlandaskan prophetic teaching untuk membentuk lulusan yang cerdas secara spiritual, intelektual, emosional, dan sosial.

• MISI.

1. Melaksanakan pendidikan di bidang informatika yang terintegrasi dengan nilai-nilai Al Islam Kemuhammadiyahan.

2. Melaksanakan penelitian untuk menghasilkan karya teknologi informasi yang unggul untuk masyarakat berkemajuan

3. Melaksanakan pengabdian kepada masyarakat untuk kesejahteraan umat.

4. Menghasilkan mahasiswa yang berwawasan global dalam teknologi informasi.

5. Mendorong jiwa kewirausahaan mahasiswa untuk berkiprah di tengah masyarakat dalam meningkatkan kegiatan ekonomi.

6. Menerapkan standar mutu pendidikan informatika melalui layanan mutu yang berkesinambungan.

7. Membangun kerja sama terpadu dengan mitra yang berkontribusi untuk kemajuan pendidikan di bidang informatika.

(3)

• SKS : 3

– Teori 3 SKS – (14 Kali Pertemuan)

• Keaktifan (bobot 10%)

– Terdiri dari: Aktivitas Perkuliahan (Kehadiran, Etika, dan Sikap).

• Project (bobot 25%)

– Terdiri dari: Tugas Besar / Project (Penguasaan Keterampilan) dengan cara observasi, mengimplementasikan dan menghasilkan Proyek Akhir, serta mempresentasikannya.

• Tes (UTS = bobot 25% , UAS = bobot 40%)

– Terdiri dari: UTS dan UAS (Penguasaan Pengetahuan) dengan cara tes tertulis maupun tes praktikum.

Sistem Penilaian

(4)

• Objectives (Tujuan Instruksional Umum).

– RPS/SAP.

– Klasifikasi (part.2)

• Indikator Kompetensi.

– Mahasiswa mampu mengetahui dan memahami tentang teknik klasifikasi pada data mining.

– Mahasiswa mampu mengetahui, memahami, serta dapat menjelaskan tentang metode dan teknik klasifikasi, decission tree, algoritma C.45, dan naïve bayes didalam data mining.

Tujuan/Objectives (Session.06)

(5)

Muhasabah

• Qs. Al Baqarah, ayat 183

– Wahai orang-orang yang beriman! Diwajibkan atas kamu berpuasa sebagaimana diwajibkan atas orang sebelum kamu agar kamu bertakwa,

(6)

Data Mining

Session 06

Klasifikasi ( part .2)

(7)

Klasifikasi ( part .2)

Pendahuluan

(8)

Pengantar

• Classification

– Memprediksi kelas suatu item

– Membuat model berdasarkan data pelatihan dan digunakan untuk mengklasifikasi data.

• Prediction

– Memprediksi nilai yang belum diketahui

• Aplikasi

– Persetujuan kredit – Diagnosis penyakit – Target marketing – Fraud detection

(9)

Contoh Kasus

• Input: data mahasiswa

• Output: dua kelas (lulus_tepat_waktu dan lulus_terlambat)

Bagaimana kalau diberikan data input mahasiswa, sistem secara otomatis

menentukan mhs tersebut akan lulus tepat waktu atau terlambat?

(10)

Pembuatan Model

Data Pelatihan

NAMA IPK Sem 1 Matdas tepat_waktu

Budi 3 A yes

W ati 1.5 E no

Badu 2 A yes

Rudi 3.5 C yes

Algoritma Klasifikasi

IF IPK > 3

OR MATDAS =A THEN tepat_waktu =

‘yes’

Classifier (Model)

(11)

Proses Testing Model

Classifier (MODEL) Testing

Data

NAMA IPK_SEM1 MADAS TEPAT_WAKTU

Akhmad 3,2 A yes

Intan 3,3 B no

Indah 2,3 C yes

Ujang 1,7 E no

Sejauh mana model tepat meramalkan?

(12)

Proses Klasifikasi

Classifier (MODEL)

Data Baru (Tatang, 3.0, A)

Lulus tepat waktu?

(13)

• Proses pembuatan model

– Data training → Model Klasifikasi

• Proses pengujian model

– Data testing → Apakah model sudah benar?

• Proses klasifikasi

– Data yang tidak diketahui kelasnya → kelas data

(14)

Sebelum Klasifikasi

• Data cleaning

– Pre-process data untuk mengurangi noise dan missing value

• Relevance analysis (feature selection) – Memilih atribut yang penting

– Membuang atribut yang tidak terkait atau duplikasi.

• Data transformation

– Generalize and/or normalize data

(15)

Evaluasi Metode Klasifikasi

• Akurasi

– classifier accuracy: memprediksi label kelas – predictor accuracy: memprediksi nilai atribut

• Kecepatan

– Waktu untuk membuat model (training time)

– Waktu untuk menggunakan model (classification/prediction time)

• Robustness: menangani noise dan missing value.

• Scalability: efisien untuk proses dengan DBMS

• Interpretability

– Model mudah dimengerti

(16)

Klasifikasi ( part .2)

Decission Tree

(Pohon Keputusan)

(17)

Decision Tree

• Diciptakan oleh Ross Quinlan

• ID3, C4.5, C5.0

• Model direpresentasikan dalam bentuk tree

(18)

Decision Tree: Contoh Input (Data Latih/Data Training)

age income student credit_rating buys_computer

<=30 high no fair no

<=30 high no excellent no

31…40 high no fair yes

>40 medium no fair yes

>40 low yes fair yes

>40 low yes excellent no

31…40 low yes excellent yes

<=30 medium no fair no

<=30 low yes fair yes

>40 medium yes fair yes

<=30 medium yes excellent yes

31…40 medium no excellent yes

31…40 high yes fair yes

>40 medium no excellent no

(19)

Masalah

• Bagaimana dari data latih tersebut dapat diperoleh model yang dapat

mengklasifikasikan secara otomatis?

(20)

Model: Decision Tree

age?

overcast

student? credit rating?

<=30 >40

no yes yes

yes

31..40

fair excellent

yes no

Dari data latih, model ini dibangkitkan secara

otomatis…

22 & 23 April 2022 20

(21)

Tree Dapat Direpresentasikan sebagai Rule

((age<=30) and (student) ) OR

(age=31..40) OR

(age>40) and

(credit_rating=fair) THEN

BELI_PC=YES

age?

overcast

<=30 >40

no yes yes

yes 31..40

fair excellent

yes no

(22)

Bagaimana cara pemilihan urutan atribut?

age?

overcast

<=30 >40

no yes yes

yes 31..40

fair excellent

yes no

(23)

Cara Pemilihan Atribut

• Entrophy: Ukuran kemurnian, semakin murni, semakin homogen, maka semakin rendah nilainya.

• Information Gain: pengurangan entropy disebabkan oleh partisi berdasarkan suatu atribut.

• Semakin besar info gain = atribut itu semakin membuat homogen = semakin bagus

– Idenya → pilih atribut dengan info gain yg paling besar

(24)

Entrophy untuk dua kelas: + dan -

Entropy(S) 

1.0

entrop

y

0.0

-p



log

2

p - p

_

log

2

p

_

Proprosi contoh positif

Entropy([9+,5-]) = 0.940 Entropy([7+,7-]) = 1

Entropy([14+,0]) = 0 Entroy([0+,14-]) = 0

1.0

Entropy([9+,5-] ((9 positif, 5 neg)) = -(9/14) log₂(9/14) – (5/14) log₂(5/14)

= 0.940

(25)

Entrophy untuk kelas > 2

) (

log )

(

₂

1

i m

i

p

p D

Info 

=

−

=

Info (D) = Entrophy (D) (istilah dibuku J. HAN)

(26)

Information Gain

)

| (

|

| ) |

(

1

j v

j

A I D

D D D

Info

=  

=

(D) Info

Info(D)

Gain(A) = −

_A

Gain(A) seberapa besar entropy berkurang akibat atribut A. Makin besar

makin bagus.

(27)

Contoh Pemilihan Atribut

• Class P: buys_computer = “yes”

• Class N: buys_computer = “no”

berarti ada 5 dari 14

“age <=30” dgn 2 yes dan 3 no.

694 .

0 )

2 , 3 14 (

5

) 0 , 4 14 (

) 4 3 , 2 14 (

) 5 (

= +

+

= I

I I

D Info_age

048 .

0 )

_ (

151 .

0 )

(

029 .

0 )

(

=

rating credit

Gain

student Gain

income Gain

) 3 , 2 14 (

5 I

age p_i n_i I(p_i, n_i)

<=30 2 3 0.971

31…40 4 0 0

>40 3 2 0.971

940 . 0 14) ( 5 14log

) 5 14 ( 9 14log

) 9 5 , 9 ( )

(D = I = − ₂ − ₂ =

Info

Gain (Age) = Info(D) – Info age (D)

=0.940 – 0.694 = 0.246

22 & 23 April 2022 27

(28)

Pemilihan Atribut (lanj)

Gain (Age) = 0.246  yang terbesar, dipilih Gain (income)=0.029

Gain(student)=0.151

Gain(credit_rating) =0.048

Setelah AGE, atribut apa selanjutnya?

Diproses untuk setiap cabang selama masih ada > 1 kelas

age?

overcast

<=30 ^31..40 >40

yes Tidak perlu diproses lagi

Selanjutnya... proses data yang <=30

(29)

Pemilihan Atribut (lanj)

Selanjutnya... proses data age<=30

Gain(age) tidak perlu dihitung lagi, hitung gain(student), gain(credit_rating)

97 . 0 5) (3 5log ) 3

5 (2 5log ) 2

3 , 2 ( )

(D = I = − ₂ − ₂ =

Info

0 )

0 , 2 5 (

) 2 3 , 0 5 (

) 3

(D = I + I =

Info_student

Gain (student) = Info(D) – Info^student(D)

= 0.97 – 0

= 0.97 22 & 23 April 2022 29

(30)

Pilihan Atribut (lanj)

Paling besar student

Gain (studet) = 0.97

Gain (credit_rating = 0.02 Gain (income) = 0.4

Bandingkan semua gain, ambil yang paling besar

(31)

Pemilhan Atribut (lanj)

age?

overcast

<=30 ^31..40 >40

yes

no yes

yes no

student?

(32)

Latihan

No Kelas Kulit Buah Warna Ukuran Bau

1 Aman Kasar Coklat Besar keras

2 Aman Kasar Hijau Besar Keras

3 Berbahaya Halus Merah Besar Lunak

4 Aman Kasar Hijau Besar Lunak

5 Aman Kasar Merah Kecil Keras

6 Aman Halus Merah Kecil Keras

7 Aman Halus Coklat Kecil Keras

8 Berbahaya Kasar Hijau Kecil Lunak

9 Berbahaya Halus Hijau Kecil Keras

10 Aman Kasar Merah Besar Keras

11 Aman Halus Coklat Besar Lunak

12 Berbahaya Halus Hijau Kecil Keras

13 Aman Kasar Merah Kecil Lunak

14 Berbahaya Halus Merah Besar Keras

15 Aman Halus Merah Kecil Keras

16 Berbahaya Kasar Hijau Kecil Keras

(33)

Mengapa Decision Tree ?

• Mudah diimplementasikan

• Hipotesis yang dihasilkan mudah dipahami

• Efisien

(34)

Decision Tree Cocok untuk Masalah:

• Data dalam bentuk atribut-nilai.

• Kondisi ideal adalah jika isi nilai jumlahnya sedikit.

– Misalnya: “panas”, “sedang”, “dingin”.

• Output diskrit.

• Training data dapat tidak lengkap

(35)

Masalah didalam Decission Tree

• Overfitting: terlalu mengikuti training data

– Terlalu banyak cabang, merefleksikan anomali akibat noise atau outlier.

– Akurasi rendah untuk data baru

• Dua pendekatan untuk menghindari overfitting

– Pre-pruning:

• Hentikan pembuatan tree di awal. Tidak men-split node jika goodness measure dibawah threshold.

• Sulit untuk menentukan threshold

– Post-pruning: Buang cabang setelah tree jadi

• Menggunakan data yang berbeda dengan training untuk menentukan pruned tree yang terbaik.

(36)

Klasifikasi ( part .2)

Bayesian & Naïve Bayesian

(37)

22 & 23 April 2022 37

Bayesian Classification: Why ?

• A statistical classifier:

– membangun probabilistic prediction, yaitu memprediksi probabilitas keanggotaan kelas

• Didasarkan pada Bayes’ Theorem.

• Performance:

– sederhana ---- naïve Bayesian classifier

(38)

22 & 23 April 2022 38

Bayesian Theorem: Basics

• X adalah data sample (“evidence”): label kelas tidak diketahui

• H adalah dugaan (hypothesis ) bahwa X adalah anggota C

• Klasifikasi ditentukan P(H|X), (posteriori probability), probabilitas bahwa dugaan terhadap data sample X

• P(H) (prior probability), initial probability

– Misal X akan membeli computer, tidak memperhatikan age, income, …

• P(X): probabilitas dari sample data yang diamatii

• P(X|H) (likelyhood), probabilitas dari sample X, dengan the memperhatikan dugaan

– Misal , X akan membeli computer, probabilitas bahwa X. Adalah 31..40, penghasilan sedang

(39)

22 & 23 April 2022 39

Bayesian Theorem

• Dari training data X, posteriori probabilitas dari hypothesis H atau class, P(H|X), teorema Bayes

• Ini dapat ditulis dengan

posterior = likelihood x prior/evidence

• Prediksi X anggota C₂ jika dan hanya jika probabilitas P(C₂|X) paling tinggi diantara semua P(C_k|X) dari semua kelas k

) (

)

| ) (

|

( X

X X

P

H P

H H P

P =

(40)

Naïve Bayesian Classifier: Training Dataset

<=30 low yes fair yes

<=30 medium yes excellent yes

22 & 23 April 2022 40

(41)

22 & 23 April 2022 41

Klasifikasi Naïve Bayesian

• Perhatikan D adalah record training dan ditetapkan label-label kelasnya dan masing-masing record dinyatakan n atribut ( n field ) X = (x₁, x₂, …, x_n)

• Misalkan terdapat m kelas C₁, C₂, …, C_m.

• Klassifikasi adalah diperoleh maximum posteriori yaitu maximum P(C_i|X)

• Ini dapat diperoleh dari teorema Bayes

• Karena P(X) adalah konstan untuk semua kelas, hanya perlu dimaksimumkan

) (

) ( )

| ) (

|

( X

X X

P P Ci Ci

P Ci

P =

) ( )

| ( )

|

( P Ci

Ci i P

C

P X = X

(42)

22 & 23 April 2022 42

Derivation of Naïve Bayes Classifier

• Diasumsikan: atribut dalam kondisi saling bebas (independent) yaitu tidak ada kebergantungan antara atribut-atribut :

• A_k adalah categorical, P(x_k|C_i) adalah jumlah record dalam kelas C_i yang memiliki nilai x_k sama dengan A_k dibagi dengan |C_{i, D}| jumlah record dalam C_i dalam D

• Jika A_k bernilai kontinu , P(x_k|C_i) biasanya dihitung berdasarkan pada distribusi Gausian dengan mean μ and standar deviasi σ

Dan P(x_k|C_i) adalah

)

| ( ...

)

| ( )

| ( 1

)

| ( )

|

( P x1 Ci P x2 Ci P x Ci

n

k P x Ci P Ci

n

k =   

=

= X

2 2

2 ) (

2 ) 1

, ,

( ^





 

 = ⁻ ⁻

x

e x

g

) ,

, ( )

|

( Ci g x

k Ci Ci

P X =  

(43)

22 & 23 April 2022 43

Naïve Bayesian Classifier: Training Dataset

Class:

C1:buys_computer = ‘yes’

C2:buys_computer = ‘no’

Data sample X = (age <=30, Income = medium, Student = yes

Credit_rating = Fair) D= 14

age income studentcredit_ratingbuys_computer

>40 low yes excellent no 31…40 low yes excellent yes

<=30 low yes fair yes

<=30 medium yes excellent yes 31…40 medium no excellent yes

(44)

22 & 23 April 2022 44

Naïve Bayesian Classifier: An Example

• P(C_i): P(buys_computer = “yes”) = 9/14 = 0.643 P(buys_computer = “no”) = 5/14= 0.357

• Compute P(X|C_i) for each class

P(age = “<=30” | buys_computer = “yes”) = 2/9 = 0.222 P(age = “<= 30” | buys_computer = “no”) = 3/5 = 0.6

P(income = “medium” | buys_computer = “yes”) = 4/9 = 0.444 P(income = “medium” | buys_computer = “no”) = 2/5 = 0.4 P(student = “yes” | buys_computer = “yes) = 6/9 = 0.667 P(student = “yes” | buys_computer = “no”) = 1/5 = 0.2

P(credit_rating = “fair” | buys_computer = “yes”) = 6/9 = 0.667 P(credit_rating = “fair” | buys_computer = “no”) = 2/5 = 0.4

• X = (age <= 30 , income = medium, student = yes, credit_rating = fair) P(X|C_i) : P(X|buys_computer = “yes”) = 0.222 x 0.444 x 0.667 x 0.667 = 0.044

P(X|buys_computer = “no”) = 0.6 x 0.4 x 0.2 x 0.4 = 0.019

P(X|C_i)*P(C_i) : P(X|buys_computer = “yes”) * P(buys_computer = “yes”)

=0,044*0.643 = 0.028

P(X|buys_computer = “no”) * P(buys_computer = “no”) = 0.007 Sehingga , X belongs to class (“buys_computer = yes”)

(45)

22 & 23 April 2022 45

Menghindari masalah Probabilitas 0

• Prediksi Naïve Bayesian membutuhkan masing-masing probabilitas tidak nol , Dengan kata lain.

Probabilitas yang dihitung tidak menjadi nol

• Misalkan data dengan 1000 record , income=low (0), income=medium (990), and income=high (10),

• Menggunakan Laplacian correction (atau Laplacian estimator) – Tambahkan 1 untuk masing-masing case

Prob(income = low) = 1/1003 Prob(income = medium) = 991/1003 Prob(income = high) = 11/1003

=

= n

k P xk Ci X Ci

P

1

)

| (

)

| (

(46)

22 & 23 April 2022 46

Penjelasan Naïve Bayesian Classifier:

• Keuntungan

– Mudah diimplementasikan

– Hasil baik dalam banyak kasus

• Kerugian

– Asumsi : kondisi kelas saling bebas , sehingga kurang akurat – Pada prakteknya , kebergantungan anda diantara variabel

• Misal hospitals: patients: Profile: age, family history, etc.

Gejala : demam (fever), batuk (cough) etc., Disease: lung cancer, diabetes, etc.

• Kebergantunagn diantara variabel ini tidak dapat dimodelkan dengan menggunakan Naïve Bayesian Classifier

• How to deal with these dependencies?

– Bayesian Belief Networks

(47)

22 & 23 April 2022 47

Bayesian Belief Networks

• Bayesian belief network, memungkinkan untuk memodelkan sebagian variabel dalam kondisi saling bergantung.

• Model grafik menyatakan keterhubungan sebab akibat

– Menyatakan kebergantungan (dependency) diantara variabel-variabel – Menggambarkan distribusi probabilitas gabungan

X Y

Z P

❑ Node (simpul ): variabel-variabel bebas

❑ Links: kebergantungan

❑ X dan Y adalah parents dari Z, dan Y adalan parent dari P

❑ tidak ada kebergantungan diantara Z dan P

❑ Tidak memiliki loop atau siklus

(48)

Play probability table

Based on the data…

P(play=yes) = 9/14 P(play=no) = 5/14

P(play=yes) = (9+1)/(14+2) = .625 P(play=yes) = (5+1)/(14+2) = .375

Let’s correct with Laplace …

(49)

Outlook probability table

P(outlook=sunny|play=yes) = (2+1)/(9+3) = .25

P(outlook=overcast|play=yes) = (4+1)/(9+3) = .417

P(outlook=rainy|play=yes) = (3+1)/(9+3) = .333

P(outlook=sunny|play=no) = (3+1)/(5+3) = .5

P(outlook=overcast|play=no) = (0+1)/(5+3) = .125

P(outlook=rainy|play=no) = (2+1)/(5+3) = .375

(50)

Windy probability table

P(windy=true|play=yes,outlook=sunny)

= (1+1)/(2+2) = .5

Based on the data…let’s find the conditional

probabilities for “windy”

(51)

Windy probability table

P(windy=true|play=yes,outlook=sunny) = (1+1)/(2+2) = .5

P(windy=true|play=yes,outlook=overcast) = 0.5 P(windy=true|play=yes,outlook=rainy) = 0.2

P(windy=true|play=no,outlook=sunny) = 0.4

P(windy=true|play=no,outlook=overcast) = 0.5 P(windy=true|play=no,outlook=rainy) = 0.75

(52)

Final figure

Classify it

(53)

Classification I

Classify it

P(play=yes|outlook=sunny, temp=cool,humidity=high, windy=true) =

*P(play=yes)

*P(outlook=sunny|play=yes)

*P(temp=cool|play=yes,

outlook=sunny)

*P(humidity=high|play=yes, temp=cool)

*P(windy=true|play=yes,

outlook=sunny)

= *0.625*0.25*0.4*0.2*0.5

= *0.00625

(54)

Classification II

Classify it

P(play=no|outlook=sunny, temp=cool,humidity=high, windy=true) =

*P(play=no)

*P(outlook=sunny|play=no)

*P(temp=cool|play=no,

outlook=sunny)

*P(humidity=high|play= no, temp=cool)

*P(windy=true|play=no,

outlook=sunny)

= *0.375*0.5*0.167*0.333*0.4

= *0.00417

(55)

Classification III

Classify it

P(play=yes|outlook=sunny, temp=cool,humidity=high, windy=true)

= *0.00625

P(play=no|outlook=sunny, temp=cool,humidity=high, windy=true)

= *.00417

 = 1/(0.00625+0.00417)

=95.969

P(play=yes|outlook=sunny, temp=cool,humidity=high, windy=true)

= 95.969*0.00625 = 0.60

(56)

Classification IV (missing values or hidden variables)

P(play=yes|temp=cool,

humidity=high, windy=true)

= *_outlookP(play=yes)

*P(outlook|play=yes)

*P(temp=cool|play=yes,outlook)

*P(humidity=high|play=yes, temp=cool)

*P(windy=true|play=yes,outlook)

=…(next slide)

(57)

Classification V (missing values or hidden variables)

P(play=yes|temp=cool, humidity=high, windy=true)

= *_outlookP(play=yes)*P(outlook|play=yes)*P(temp=cool|play=yes,outlook)

*P(humidity=high|play=yes,temp=cool)*P(windy=true|play=yes,outlook)

= *[

P(play=yes)*P(outlook= sunny|play=yes)*P(temp=cool|play=yes,outlook=sunny)

*P(humidity=high|play=yes,temp=cool)*P(windy=true|play=yes,outlook=sunny) +P(play=yes)*P(outlook=

overcast|play=yes)*P(temp=cool|play=yes,outlook=overcast)

*P(humidity=high|play=yes,temp=cool)*P(windy=true|play=yes,outlook=overcast) +P(play=yes)*P(outlook= rainy|play=yes)*P(temp=cool|play=yes,outlook=rainy)

*P(humidity=high|play=yes,temp=cool)*P(windy=true|play=yes,outlook=rainy) ]

= *[

0.625*0.25*0.4*0.2*0.5 + 0.625*0.417*0.286*0.2*0.5 + 0.625*0.33*0.333*0.2*0.2 ]

=*0.01645

(58)

Classification VI (missing values or hidden variables)

P(play=no|temp=cool, humidity=high, windy=true)

= *_outlookP(play=no)*P(outlook|play=no)*P(temp=cool|play=no,outlook)

*P(humidity=high|play=no,temp=cool)*P(windy=true|play=no,outlook)

= *[

P(play=no)*P(outlook=sunny|play=no)*P(temp=cool|play=no,outlook=sunny)

*P(humidity=high|play=no,temp=cool)*P(windy=true|play=no,outlook=sunny)

+P(play=no)*P(outlook= overcast|play=no)*P(temp=cool|play=no,outlook=overcast)

*P(humidity=high|play=no,temp=cool)*P(windy=true|play=no,outlook=overcast) +P(play=no)*P(outlook= rainy|play=no)*P(temp=cool|play=no,outlook=rainy)

*P(humidity=high|play=no,temp=cool)*P(windy=true|play=no,outlook=rainy) ]

= *[

0.375*0.5*0.167*0.333*0.4 + 0.375*0.125*0.333*0.333*0.5 + 0.375*0.375*0.4*0.333*0.75 ]

=*0.0208

(59)

Classification VII (missing values or hidden variables)

P(play=yes|temp=cool, humidity=high, windy=true) =*0.01645 P(play=no|temp=cool, humidity=high, windy=true) =*0.0208

=1/(0.01645 + 0.0208)= 26.846

P(play=yes|temp=cool, humidity=high, windy=true) = 26.846 * 0.01645 = 0.44

P(play=no|temp=cool, humidity=high, windy=true) = 26.846 * 0.0208 = 0.56

I.e. P(play=yes|temp=cool, humidity=high, windy=true) is 44% and P(play=no|temp=cool, humidity=high, windy=true) is 56%

So, we predict ‘play=no.’

(60)

Referensi

• Ian H Witten, Eibe Frank, Mark A Hall. (2016). Data Mining - Practical Machine Learning Tools and Techniques, 4^th Edition. Morgan-Kaufman.

• Hofmann, Markus., Klinkenberg, Ralf. (2016). Data Mining Use Cases and Business Analytics Application. CRC Press.

• Crisholm, Andrew. (2013). Exploring Data With Rapidminer. Packt Publishing.

• Mehmed Kantardzic. (2020). Data Mining - Concepts, Models, Methods, and Algorithms, 3^rd edition. Wiley - IEEE Press.

• rapidminer.com, 2021,. Rapidminer Manual and Documentation, https://docs.rapidminer.com/latest/studio/operators/.

(61)