LEARNING ARTIFICIAL INTELLIGENT

(1)

LEARNING

(2)

Outline



Decision tree learning



Jaringan Syaraf Tiruan



K-Nearest Neighborhood



Naïve Bayes

(3)

Pelamar IPK Psikologi Wawancara Diterima

P1 Bagus Tinggi Baik Ya

P2 Bagus Sedang Baik Ya

P3 Bagus Sedang Buruk Ya

P4 Bagus Rendah Buruk Tidak

P5 Cukup Tinggi Baik Ya

P6 Cukup Sedang Baik Ya

P7 Cukup Sedang Buruk Ya

P8 Cukup Rendah Buruk Tidak

P9 Kurang Tinggi Baik Ya

P10 Kurang Sedang Buruk Tidak

P11 Kurang Rendah Baik Ya

(4)

Wawancara Baik Ya Buruk Psikologi Tinggi Tidak Sedang IPK Bagus Ya Cukup Ya Kurang Tidak Rendah Tidak

(5)

Atruan (Rule)



“JIKA wawancara = baik MAKA diterima”



“JIKA wawancara = buruk AND psikologi = sedang

AND ipk = bagus MAKA diterima”



“JIKA wawancara = buruk AND psikologi = sedang

AND ipk = cukup MAKA diterima”



“JIKA wawancara = buruk AND psikologi = sedang

AND ipk = kurang MAKA ditolak”



“JIKA wawancara = buruk AND psikologi = rendah

MAKA ditolak”



“JIKA wawancara = buruk AND psikologi = tinggi

(6)

Aturan (Rule)

'

))

'

(

)

'

(

)

'

(

))

'

(

)

'

(

)

'

((

)

'

(

Ya

Diterima

Cukup

IPK

Sedang

Psikologi

Buruk

Wawancara

Bagus

IPK

Sedang

Psikologi

Buruk

Wawancara

Baik

Wawancara































(7)

Diskusi



Jika terdapat dua atribut dengan IG yang sama?



Jika ada data yang sama tetapi kelasnya

berbeda?



Berapa jumlah learning data minimum?



Imbalance Class?

(8)

Dua atribut dengan IG sama ?



Gain(S,IPK) = 0,0049



Gain(S,Psikologi) =

0,4040

(9)

Data sama, kelasnya beda?

P3 Bagus Sedang Buruk Ya

P7 Cukup Sedang Buruk Ya P8 Cukup Sedang Buruk Tidak

(10)

Jumlah learning data ?



Masalah Sentiment Analysis atau Email Spam Filtering



200.000 kata



Masing-masing kata muncul 0 – 100 kali

(11)

Imbalance Class?



Data latih untuk tiap kelas tidak seimbang



Terutama untuk kasus data kesehatan (rekam medis)



Misalnya: klasifikasi penyakit

(12)

Data 2  Decision Tree ???

P3 Bagus Sedang Buruk Tidak

P7 Cukup Sedang Buruk Tidak

P10 Kurang Sedang Baik Ya

(13)

Wawancara Baik Ya Buruk Tidak

Ya'

'

Diterima

)

Baik'

'

(Wawancara







(14)

Data Uji 1

P18 Kurang Rendah Buruk Tidak

(15)

Data Uji 2

P14 Bagus Rendah Buruk Ya

P16 Cukup Rendah Buruk Ya

P17 Kurang Tinggi Baik Tidak

(16)

Data Latih 3  Decision Tree ???

G1 Bagus Tinggi Sangat Baik Ya

G2 Bagus Tinggi Sangat Buruk Ya

G3 Bagus Sedang Buruk Ya

G4 Bagus Rendah Buruk Tidak

G5 Cukup Tinggi Sangat Baik Ya

G6 Cukup Sedang Buruk Ya

G7 Cukup Sedang Sangat Buruk Ya

G8 Cukup Rendah Baik Ya

G9 Cukup Rendah Buruk Tidak

G10 Kurang Tinggi Sangat Baik Ya G11 Kurang Tinggi Sangat Buruk Tidak G12 Kurang Sedang Sangat Baik Tidak

G13 Kurang Sedang Baik Tidak

G14 Kurang Rendah Sangat Buruk Tidak

Kombinasi = 3 x 3 x 4 = 36

Terdapat 22 data yang lain

(17)

IPK Bagus Psikologi Cukup Kurang Psikologi Psikologi Tinggi Ya Ya Sedang Rendah Tidak Tinggi Ya Ya Sedang Rendah Wawancara Sangat Baik Ya Ya Baik Buruk Tidak Sangat Buruk Ya Tinggi Ya Wawancara Sangat Baik Tidak Baik Buruk Tidak Sangat Buruk Sedang Tidak Rendah Tidak Tidak

Decision Tree (ID3)

Untuk Data Latih,

(18)

G15 Bagus Tinggi Baik Ya

G16 Bagus Tinggi Buruk Ya

G17 Bagus Sedang Sangat Baik Ya

G18 Bagus Sedang Baik Ya

G19 Bagus Sedang Sangat Buruk Ya

G20 Bagus Rendah Sangat Baik Ya

G21 Bagus Rendah Baik Ya

G22 Bagus Rendah Sangat Buruk Ya

G23 Cukup Tinggi Baik Ya

G24 Cukup Tinggi Buruk Ya

G25 Cukup Tinggi Sangat Buruk Ya

G26 Cukup Sedang Sangat Baik Ya

G27 Cukup Sedang Baik Ya

G28 Cukup Rendah Sangat Baik Tidak

G29 Cukup Rendah Sangat Buruk Tidak

G30 Kurang Tinggi Baik Ya

G31 Kurang Tinggi Buruk Ya

G32 Kurang Sedang Buruk Tidak

G33 Kurang Sedang Sangat Buruk Tidak G34 Kurang Rendah Sangat Baik Tidak

G35 Kurang Rendah Baik Tidak

G36 Kurang Rendah Buruk Tidak

Untuk Data Uji,

Akurasi = 15/22 = 68%

Overfit

(19)

Overfit



Terlalu pas (ngepres)



Sangat akurat untuk data latih

(20)

Overfit



Data Latih: 10.000



Data Uji: 1.000.000

Ukuran pohon Akurasi (Latih) Akurasi (Uji)

60 100% 70%

20 95% 90%

Akurasi Total

710.000/1.010.000 = 70,29

(21)

1,00 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,60 0 5 10 15 20 25 30 35 40 45 50 55 60 Akurasi

Ukuran pohon keputusan (Jumlah simpul)

Data latih Data uji

(22)

Mengatasi Overfit



Reduced Error Pruning (REP)



Rule Post-Pruning (RPP)



Data dibagi menjadi 3 bagian:



Data Latih

 membangun DT



Data Validasi

 validasi DT



Data Uji



Porsi untuk ketiga data?

(23)

1,00 0,95 0,90 0,85 0,80 0,75 0,70 0,65 0,60 0 5 10 15 20 25 30 35 40 45 50 55 60 Akurasi

Ukuran pohon keputusan (Jumlah simpul)

Training set

Test set (tanpa pemotongan) Test set (dengan pemotongan) Validation set

Reduced Error Pruning (REP)

Train  97%

Validation  97% Test  95 %

(24)

Rule Post-Pruning (RPP)



Dengan menggunakan sampel-sampel data pada training set,

bangun pohon keputusan. Biarkan overfitting terjadi.



Ubah pohon keputusan yang dihasilkan menjadi sekumpulan

aturan.



Pangkas setiap aturan dengan cara menghilangkan setiap

prekondisi yang membuat akurasi perkiraan dari aturan

tersebut menjadi lebih baik.



Urutkan aturan-aturan hasil pemangkasan berdasarkan

akurasi perkiraannya. Pilih aturan-aturan hasil pemangkasan

berdasarkan urutan tersebut.

(25)

Data Latih 3  Decision Tree ???

(26)

(27)

1. (IPK=‘Bagus’)  (Psikologi=‘Tinggi’) Diterima=‘Ya’ 2. (IPK=‘Bagus’)  (Psikologi=‘Sedang’) Diterima=‘Ya’ 3. (IPK=‘Bagus’)  (Psikologi=‘Rendah’) Diterima=‘Tidak’ 4. (IPK=‘Cukup’)  (Psikologi=‘Tinggi’) Diterima=‘Ya’ 5. (IPK=‘Cukup’)  (Psikologi=‘Sedang’) Diterima=‘Ya’

6. (IPK=‘Cukup’)  (Psikologi=‘Rendah’)  (Wawancara=‘SangatBaik’)  Diterima=‘Ya’ 7. (IPK=‘Cukup’)  (Psikologi=‘Rendah’)  (Wawancara=‘Baik’) Diterima=‘Ya’

8. (IPK=‘Cukup’)  (Psikologi=‘Rendah’)  (Wawancara=‘Buruk’)  Diterima=‘Tidak’ 9. (IPK=‘Cukup’)  (Psikologi=‘Rendah’)  (Wawancara=‘SangatBuruk’)Diterima=‘Ya’ 10.(IPK=‘Kurang’)  (Psikologi=‘Tinggi’) (Wawancara=‘SangatBaik’)  Diterima=‘Ya’ 11.(IPK=‘Kurang’)  (Psikologi=‘Tinggi’) (Wawancara=‘Baik’)  Diterima=‘Tidak’ 12.(IPK=‘Kurang’)  (Psikologi=‘Tinggi’) (Wawancara=‘Buruk’) Diterima=‘Tidak’ 13.(IPK=‘Kurang’)  (Psikologi=‘Tinggi’) (Wawancara=‘SangatBuruk’) 

Diterima=‘Tidak’

14.(IPK=‘Kurang’)  (Psikologi=‘Sedang’) Diterima=‘Tidak’ 15.(IPK=‘Kurang’)  (Psikologi=‘Rendah’)  Diterima=‘Tidak’

(28)

Decision Tree (ID3)

Akurasi Latih = 14/14 = 100%

Akurasi Validasi = 15/22 = 68%

(29)

IPK

Bagus Cukup Kurang

Psikologi Psikologi Ya Tinggi Ya Ya Sedang Rendah Wawancara Sangat Baik Ya Ya Baik Buruk Tidak Sangat Buruk Ya Tinggi Ya Wawancara Sangat Baik Tidak Baik Buruk Tidak Sangat Buruk Sedang Tidak Rendah Tidak Tidak

Decision Tree (ID3)

Akurasi Latih = 13/14 = 93%

Akurasi Validasi = 18/22 = 82%

(30)

IPK

Bagus Cukup Kurang

Psikologi Psikologi

Ya

Tinggi

Ya Ya

Sedang Rendah Tinggi

Ya Wawancara Sangat Baik Tidak Baik Buruk Tidak Sangat Buruk Sedang Tidak Rendah Tidak Tidak Tidak

Decision Tree (ID3)

Akurasi Latih = 12/14 = 86%

Akurasi Validasi = 20/22 = 92%

(31)

IPK

Bagus Cukup Kurang

Psikologi Psikologi

Ya

Tinggi

Ya Ya

Sedang Rendah Tinggi Sedang

Tidak

Rendah

Tidak

Ya Tidak

Decision Tree (ID3)

Akurasi Latih = 11/14 = 78%

Akurasi Validasi = 22/22 = 100%

(32)

Data Latih 3  Decision Tree ???

G14 Kurang Rendah Sangat Buruk Tidak

Kombinasi = 3 x 3 x 4 = 36

Terdapat 22 data yang lain

(33)

Decision Tree (ID3)

Untuk Data Latih,

(34)

Untuk Data Uji,

Akurasi = 15/22 = 68%

(35)

Data Latih 2  Decision Tree ???

P3 Bagus Sedang Buruk Tidak

P7 Cukup Sedang Buruk Tidak

P10 Kurang Sedang Baik Ya

(36)

Wawancara Baik Ya Buruk Tidak

Ya'

'

Diterima

)

Baik'

'

(Wawancara







(37)

Data Uji 2

P14 Bagus Rendah Buruk Ya

P16 Cukup Rendah Buruk Ya

P17 Kurang Tinggi Baik Tidak

Akurasi = 3/6 = 50%

(38)

Data Latih 3  Decision Tree ???

(39)

Decision Tree (ID3)

Untuk Data Latih,

(40)

Untuk Data Uji,

Akurasi = 15/22 = 68%

(41)

IPK

Bagus Cukup Kurang

Psikologi Psikologi

Ya

Tinggi

Ya Ya

Sedang Rendah Tinggi Sedang

Tidak

Rendah

Tidak

Ya Tidak

Decision Tree (ID3)

Akurasi Latih = 11/14 = 78%

Akurasi Validasi = 22/22 = 100%

Akurasi Total = 33/36 = 92%

(42)

Data Kontinyu

P1 3,75 Tinggi Baik Ya

P2 3,25 Sedang Baik Ya

P3 3,93 Sedang Buruk Ya

P4 3,12 Rendah Buruk Tidak

P6 2,79 Sedang Baik Ya

P7 2,98 Sedang Buruk Ya

P8 2,83 Rendah Buruk Tidak

P10 2,63 Sedang Buruk Tidak

(43)

IPK

3,75 3,25 3,93 3,12 2,85 2,79 2,98 2,83 2,21 2,63 2,50

(44)

Referensi :

 Suyanto. 2007. Artificial Intelligence: Searching, Reasoning, Planning and Learning. Informatika, Bandung Indonesia. ISBN: 979-1153-05-1.

 Russel, Stuart and Norvig, Peter. 1995. Artificial Intelligence: A Modern Approach. Prentice Hall International, Inc.