IKI 30320: Sistem Cerdas Kuliah 16: Probabilistic Reasoning

(1)

IKI30320 Kuliah 16 21 Nov 2007

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

IKI 30320: Sistem Cerdas

Kuliah 16: Probabilistic Reasoning

Ruli Manurung

Fakultas Ilmu Komputer Universitas Indonesia

(2)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

1

_Uncertainty

2

_{Probability theory}

3

_{Semantics & Syntax}

4

_Inference

(3)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Outline

1

_Uncertainty

2

_{Probability theory}

3

_{Semantics & Syntax}

4

_Inference

(4)

Uncertainty

Probability theory

Semantics & Syntax

Inference

(5)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Knowledge engineering di FKG

Anda diminta membuat agent doktor gigi.

Diagnostic rule:simpulkan sebab dari akibat: ∀p Symptom(p,Toothache)⇒Disease(p,Cavity).

(6)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

∀p Symptom(p,Toothache)⇒Disease(p,Cavity).

Tapi belum tentu pasien sakit gigi karena ada lubang...

Causal rule:simpulkan akibat dari sebab:

∀p Disease(p,Cavity)⇒Symptom(p,Toothache).

(7)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Knowledge engineering di FKG

Anda diminta membuat agent doktor gigi.

Diagnostic rule:simpulkan sebab dari akibat: ∀p Symptom(p,Toothache)⇒Disease(p,Cavity).

Tapi belum tentu pasien sakit gigi karena ada lubang...

Causal rule:simpulkan akibat dari sebab:

∀p Disease(p,Cavity)⇒Symptom(p,Toothache).

Tapi belum tentu lubang menyebabkan sakit gigi...

Pendekatan FOL secara murni sulit karena:

Laziness: kebanyakan kerjaan membuat semua rule, inference terlalu repot!

Theoretical ignorance: ilmu kedokteran tidak (belum?) memiliki teori yang 100% lengkap.

(8)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Sebuah agent perlu ke bandara karena akan terbang ke LN. Mis. actionAt= pergi ke bandaratmenit sebelum pesawat terbang.

(9)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Duniah penuh ketidakpastian (uncertainty

)

ApakahAtberhasil sampai dengan waktu cukup?

(10)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Ada banyak masalah:

(11)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Duniah penuh ketidakpastian (uncertainty

)

Ada banyak masalah:

Tidak tahukeadaan jalan, kemacetan, dll. (partially observable).

(12)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Ada banyak masalah:

Kebenaraninformasi tidak bisa dijamin - “laporan pandangan mata” (noisy sensor).

(13)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Duniah penuh ketidakpastian (uncertainty

)

Ada banyak masalah:

Kebenaraninformasi tidak bisa dijamin - “laporan pandangan mata” (noisy sensor).

Ketidakpastiandalam tindakan, mis. ban kempes (nondeterministic).

Kalaupunsemua hal di atas bisa dinyatakan,reasoningakan

(14)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

(15)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Keterbatasan pendekatan logika murni

Sebuah pendekatan yang murni secara logika...

beresiko menyimpulkan dengansalah, mis:“A60berhasil dengan

(16)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

waktu cukup”, atau

kesimpulan terlalulemah, mis:“A60berhasil dengan waktu cukup

(17)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Keterbatasan pendekatan logika murni

asal nggak ada kecelakaan di tol, dan nggak hujan, dan ban nggak kempes, ...”

kesimpulan tidakrational, mis: kesimpulannyaA1440, tetapi

(18)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

asal nggak ada kecelakaan di tol, dan nggak hujan, dan ban nggak kempes, ...”

kesimpulan tidakrational, mis: kesimpulannyaA1440, tetapi

terpaksa menunggu semalam di bandara...→utility theory

Masalah ini bisa diselesaikan denganprobabilistic reasoning

(19)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Menangani ketidakpastian

Kalimat “A60akan berhasil dengan probabilitas 0.04” disebut

(20)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

(21)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Menangani ketidakpastian

probabilistic assertion.

Sebuah probabilistic assertionmerangkumefek ketidakpastian (info tak lengkap, tak bisa dipegang, action nondeterministic, dst.) dan menyatakannya sbg. sebuah bilangan.

Bentuk/syntaxprobabilistic assertion:

“KalimatXbernilaitruedengan probabilitasN,0≤N≤1”.

Pernyataan tentang knowledge atau belief state dari agent,BUKAN

(22)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

berarti pernyataan tentang sifat probabilistik di dunia/environment

(23)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Menangani ketidakpastian

probabilistic assertion.

Nilai probabilitas sebuah proposition bisa berubah dengan informasi baru (“evidence”):

(24)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Nilai probabilitas sebuah proposition bisa berubah dengan informasi baru (“evidence”):

P(A60|tidak ada laporan kecelakaan) = 0.06

P(A60|tidak ada laporan kecelakaan, jam 4 pagi) = 0.15

Tambah evidence≈TELL

(25)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Outline

1

_Uncertainty

2

_{Probability theory}

3

_{Semantics & Syntax}

4

_Inference

(26)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

KB={}, belum bisa meng-infer apa-apa. Percept masuk, tambah kalimat keKB(TELL). ASK(KB, α)→KB|=α.

Probabilistic reasoning:

Percept masuk (tambahan evidence), update nilai probabilitas.

Prior/unconditionalprobability: nilaisebelumevidence.

Posterior/conditionalprobability: nilaisesudahevidence.

“ASK” secara probabilistik: hitung & kembalikanposterior probability

terhadapαberdasarkanevidencedaripercept.

Contoh: melempar dadu.

α= “Nilai lemparan<4”.

(27)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Mengambil keputusan dlm ketidakpastian

Andaikan agent mempercayai nilai-nilai sbb.:

P(A60|. . .) = 0.04 P(A120|. . .) = 0.7

P(A150|. . .) = 0.9 P(A1440|. . .) = 0.999

(28)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

P(A60|. . .) = 0.04 P(A120|. . .) = 0.7

P(A150|. . .) = 0.9 P(A1440|. . .) = 0.999

Tindakan mana yang dipilih?

Tergantung prioritas, mis. ketinggalan pesawat vs. begadang di lobby bandara, dst.

Utility theorydigunakan untuk menilai semua tindakan (mirip evaluation function).

(29)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Probability sbg. bahasa KBA

Sama halnya dengan logic, pendefinisian “bahasa formal”

untuk menyatakan kalimat probabilistic harus ada:

(30)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

1

_Uncertainty

2

_{Probability theory}

3

_{Semantics & Syntax}

4

_Inference

(31)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Semantics untuk kalimat probabilistic

Bayangkan semua kemungkinan dunia

possible worlds

(32)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

yang terjadi.

(33)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Semantics untuk kalimat probabilistic

Bayangkan semua kemungkinan dunia

possible worlds

yang terjadi.

Dalam

logic

, salah satunya adalah dunia “nyata”.

Dalam

probability

, kita

tidak tahu pasti

yang mana,

tetapi satu dunia bisa lebih mungkin dari dunia yang

lain.

(34)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

yang terjadi.

Dalam

logic

, salah satunya adalah dunia “nyata”.

Dalam

probability

, kita

tidak tahu pasti

yang mana,

tetapi satu dunia bisa lebih mungkin dari dunia yang

lain.

Himpunan semua

possible worlds

disebut

sample space

(

Ω

). Masing-masing dunia alternatif disebut

sample point

,

atau

atomic event

(

ω

).

Contoh

(35)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Sample space & probability model

Sebuahprobability modeladalahsample spacedi mana tiapsample pointdiberi nilaiP(ω)sehingga:

Setiap nilai antara 0 s/d 1.

Jumlah nilai seluruhsample space= 1.

Contohnya, untuk “dunia” dengan 1 lemparan dadu:

(36)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

pointdiberi nilaiP(ω)sehingga: Setiap nilai antara 0 s/d 1.

Jumlah nilai seluruhsample space= 1.

P(ω1) =P(ω2) =P(ω3) =P(ω4) =P(ω5) =P(ω6) = 1₆

Biasanya, dunia memiliki>1 faktor yang tidak pasti.Sample spacedan

probability modelmenjadi multidimensi, menyatakan semua kemungkinankombinasinya.

P(ω1,1) =P(ω1,2) =. . .=P(ω6,5) =P(ω6,6) =

(37)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Event

Di dalam dunia multidimensi, terkadang kita hanya tertarik dengan 1 dimensi (mis. lemparan dadu pertama)

SebuaheventAadalah sembarang subset dariΩ.

ProbabilityAadalah jumlah probabilitysample pointanggotanya.

P(A) =P

ω∈AP(ω)

Contoh:P(dadu1=5) =6×₃₆1 = 1₆

Eventjuga bisa menyatakan probability darideskripsi parsial. Contoh: untuk satu lemparan dadu,P(dadu≥4) =3×1

(38)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Agarpropositiondapat diperinci, kita definisikanrandom variable, yang merepresentasikan suatu “aspek” dari sebuah dunia.

Contohnya, dalam kasus melempar dadu:

Bisa adarandom variablebernamahasil_lemparan.

Secara formal,random variableadalah fungsi yang memetakan setiapsample pointke dalam ranah, mis. boolean, integer, real.

Contohnya:

hasil_lemparanadalah fungsi yang memetakanω1ke integer 1,ω2ke

integer 2,ω3ke integer 3, dst.

(39)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Random variable & probability distribution

Domain sebuah random variable bisa:

boolean, mis:Ganjil(ω1) =true

diskrit, mis:Weather(ω)∈ hsunny,rain,cloudy,snowi takhingga, mis: integer (diskrit), real (kontinyu)

Sebuahprobability model Pmenghasilkanprobability distribution

untuk sembarangrandom variable:P(X =xi) =Pω:X(ω)=xiP(ω)

Contoh dgn. dadu:

P(Ganjil=true) = 1

Contoh dgn cuaca:

P(Weather =sunny) =0.7 P(Weather =rain) =0.2 P(Weather =cloudy) =0.08

P(Weather =snow) =0.02

(40)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

P

(

x

) =

√1

2πσ

e

−

(x₋µ) /2σ

(41)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Joint probability distribution

Dalam AI, seringkali

sample point didefinisikan

oleh

nilai sekumpulan

random variable

.

Jadi,

sample space

berisi semua kemungkinan

kombinasi nilai semua variable.

Joint probability distribution

dari sehimpunan random

variable memberikan nilai probability untuk setiap

sample point

tersebut.

Contoh:

Andaikan kita tertarik mengamati hubungan cuaca dengan

sakit gigi, contoh

joint probability distribution

-nya:

Weather

=

sunny

rain

cloudy

snow

Toothache

=

true

0.144

0.02

0.016

0.02

(42)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Sebuah

proposition

adalah pernyataan tentang nilai

dari satu atau lebih

random variable

.

Bayangkan proposition sebagai event (himpunan

sample point) di mana ia bernilai true.

Untuk 2 buah random variable booleanAdanB: Eventa= himpunan sample point di manaA(ω) =true

Event¬a= himpunan sample point di manaA(ω) =false

Eventa∧b= himpunan sample point di manaA(ω)danB(ω) =true

(43)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Contoh yang memilukan

Bayangkan masalah dokter gigi, di mana ada 3random variable:

Cavity: apakah pasien memiliki gigi berlubang atau tidak?

Toothache: apakah pasien merasa sakit gigi atau tidak?

Caught: apakah pisau dokter nyangkut di gigi pasien atau tidak? Joint probability distribution sbb.:

cavity

L

toothache

cavity

catch

L

catch

toothache

L

catch

L

catch

.108

.012

.016

.064

.072

.144

.008

(44)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Priorprobability:

Nilai probability tanpa informasi spesifik (unconditional). Mis.P(cavity),P(toothache∧caught), dst.

(45)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Prior vs. posterior probability

Priorprobability:

Nilai probability tanpa informasi spesifik (unconditional). Mis.P(cavity),P(toothache∧caught), dst.

Joint probability distribution bisa dilihat sbg. penjabaran prior probability.

Posteriorprobability:

Nilai probability jika sesuatu informasi spesifik diketahui (conditional). Mis.:P(cavity|toothache)

Baca:“probabilitas gigi pasien berlubangjika diketahuiia sakit gigi”

Definisiconditional probability:P(a|b) =P(a∧b)

P(b) untukP(b)6=0 Perumusan alternatif (Product rule):

(46)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

1

_Uncertainty

2

_{Probability theory}

3

_{Semantics & Syntax}

4

_Inference

(47)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Inference dengan probability

cavity

L

toothache

cavity

catch

L

catch

toothache

L

catch

L

catch

.108

.012

.016

.064

.072

.144

.008

.576

(48)

Uncertainty

Probability theory

Semantics & Syntax

catch

L

catch

toothache

L

catch

L

catch

.108

.012

.016

.064

.072

.144

(49)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Inference dengan probability

P(cavity∨toothache) = 0.108+0.012+0.072+0.008+

catch

L

catch

toothache

L

catch

L

catch

.108

.012

.016

.064

.072

.144

.008

.576

(50)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Bisa juga menghitung conditional probability:

P(¬cavity|toothache) = P(¬cavity∧toothache)

catch

L

catch

toothache

L

catch

L

catch

.108

.012

.016

.064

.072

.144

(51)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

Inference dengan probability

cavity

L

toothache

cavity

catch

L

catch

toothache

L

catch

L

catch

.108

.012

.016

.064

.072

.144

.008

.576

(52)

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan

1

_Uncertainty

2

_{Probability theory}

3

_{Semantics & Syntax}

4

_Inference

(53)

Ruli Manurung

Uncertainty

Probability theory

Semantics & Syntax

Inference

Ringkasan