Arwin@23206008 Resume Kuliah Sistem Cerdas Lanjut (EC6040)
DR. Ir. Bambang Riyanto
Tanggal 25 Agustus 2006
1. Advanced Intelligent System dengan 2 (dua) topik utama : a. Artificial Intelligence (AI) → Kecerdasan Tiruan/Buatan (60%) b. Artificial Neural Networks (ANN) → Jaringan Syarat Tiruan (40%) 2. Evaluasi :
a. UAS (1x – 70%).
b. Tugas pengganti UTS (kecil – individu dan besar – kelompok, 30%) mengenai programming konsep searching pada AI.
3. Topik-topik spesifik sebagai berikut : a. Pengertian dan Konsep AI. b. Strategi kontrol.
c. Metoda Searching (Penelusuran). d. Heuristik (ciri penting AI). e. Basis Pengetahuan (Knowledge-base). f. Mesin Inferensi (Inference Engine). g. Konsep “Agen Cerdas”. h. Persepsi dan Aksi.
i. Mesin Belajar (Machine Learning). j. Jaringan Neural.
k. Representasi Pengetahuan.
4. Inferensi adalah kemampuan menalar.
5. Paradigma-paradigma Intelligence a. Artificial Intelligence.
b. Computational Intelligence (Artificial Neural Network). c. Fuzzy Logic.
d. Komputasi evolutif.
6. Bahasa pemrograman AI adalah Prolog (PROgramming LOGic).
Arwin@23206008 7. Definisi-definisi Intelligence Artificial Kecerdasan Buatan Intelejensia Semu Kepintaran Artifisial
8. Ciri-ciri “CERDAS” adalah :
a. Mampu merespons input secara rasional, memberi tanggapan terhadap stimulus dengan tepat (proper).
b. Mampu menyimpan pengetahuan.
c. Mampu melakukan pembelajaran (learning) dari pengalaman.
d. Mampu menyelesaikan masalah (problem solving) secara heuristic melalui searching (penelusuran).
e. Mampu mengenali pola (pattern recognition). f. Mengenali fitur (feature matching, feature extraction). g. Mampu berpikir dan menalar (reasoning).
9. Heuristic adalah prinsip-prinsip atau informasi atau pengetahuan yang dapat dipakai untuk memilih dari sejumlah alternatif yang terbaik dengan cara yang efektif.
10. Beberapa pertanyaan mengenai AI. Apa itu AI ? a. Bagaimana otak manusia bekerja ? b. Bagaimana meniru otak manusia ? c. Apa itu kecerdasan ?
d. Bagaimana kita membangun kecerdasan ?
e. Who cares ? Let’s do something interesting and useful !
11. Klasifikasi AI ditentukan atas dasar apa ? a. Apakah meneliti otak ? b. Apakah meniru otak ? c. Apakah mesin itu cerdas ? d. Does it investigate intelligence ?
Arwin@23206008 12. AI adalah suatu disiplin ilmu yang mempelajari bagaimana atau untuk membuat komputer agar mampu mendekati kecerdasan sebagaimana makhluk hidup.
13. Wikipedia menuliskan bahwa AI adalah “a branch of computer science that deals with intelligent behavior, learning and adaptation in machines”.
Tanggal 1 September 2006
1. Pemecahan masalah (problem solving) dengan AI → game.
2. Komponen AI dimana AI dianggap sebagai Sistem Produksi (production system) adalah : a. Fakta (facts) → dekripsi tentang obyek yang menjadi perhatian.
b. Kaidah (rule) → aturan yang bila diterapkan pada suatu keadaan (state) (dari fakta) akan menghasilkan keadaan (state) baru. Di dalam kaidah terdapat dua kondisi yakni :
1) Prakondisi (antecedent) → persyaratan agar suatu kaidah tertentu dapat diterapkan pada suatu state.
2) Aksi (consequence) → hasil yang diperoleh bila kaidah yang bersangkutan dieksekusi.
c. Inferensi atau penalaran (inference) → untaian (chain) dari kaidah untuk bergerak dari keadaan awal (Initial State – IS) menuju keadaan sasaran (Goal State – GS).
3. INGAT : salah satu metode problem solving AI adalah HEURISTIC.
a. Prinsip atau informasi atau knowledge (bersifat problem-specific) yang dapat digunakan sebagai panduan (guidance) dalam penelusuran untuk mencapai goal states dengan cara yang efektif.
b. Merupakan estimasi seberapa dekat current state dengan goal state. c. Membedakan penelusuran yang bersifat “intelligence” dengan yang tidak. d. Tidak unik, gabungan dari beberapa prinsip atau informasi.
e. Tidak menjamin (secara penuh) dicapainya goal states.
Arwin@23206008 Contoh : 8-box puzzle (kotak-8)
a. Fakta → Initial State (IS) adalah
[
x11=7,x12=1,...,x33=6]
dengan xij dimana iadalah baris dan j adalah kolom. IS dapat diubah ke bentuk :
Vektor Matriks
[
7 1 4 ... 6]
dengan konvensi tertentu ⎥
⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 6 0 8 5 3 2 4 1 7 array 2-dimensi
b. Kaidah → pada umumnya dalam bentuk IF …. THEN ….. (IF = prakondisi; THEN = aksi). 4 kaidah yakni gerakan ke kiri, kanan, atas dan bawah.
Prakondisi (IF) Aksi (THEN)
Ki : xij=0; j≠1 temp x x x x temp ij ij j i i j i i = = = − − , , Ka : ………… At : ………… Bw : ………… c. Inferensi → ]
1) Matching current state (fakta) dengan basis kaidah (rule-based) untuk menghasilkan kaidah yang dapat diterapkan dan dilakukan setiap saat atau active (applicable) rule.
Arwin@23206008 Representasi dengan Diagram Pohon (Tree Diagram)
o Pruning adalah pemotongan penelusuran yang kompromi dengan goal state (terdekat). Memperhatikan sebagian dari tree yang compromising dengan goal state. o Searching adalah penelusuran untuk mendapatkan langkah terdekat (minimal) dengan goal state dari initial state dengan menggunakan kaidah (rule). Arah searching ditujukan kepada jumlah goal state terbesar.
9 Rule harus GENERAL (Rule = operator).
9 Searching Forward → matching dengan Prakondisi. Dilakukan bila branching factor kecil.
9 Searching Backward → matching dengan Aksi (mencari node induk). 9 Arah penalaran manusia (forward atau backward).
4. Brancing factor adalah :
a. Menyatakan jumlah rata-rata node yang dapat dicapai oleh node induk secara langsung. b. Menyatakan jumlah rata-rata rule untuk mencapai state berikutnya.
c. Menyatakan seberapa luas state space tree diagram. Contoh : Catur rata-rata 40 node.
5. Intelligent Search diterapkan bila Branching Factor meledak secara eksponensial.
Arwin@23206008 6. Searching ditentukan oleh 3 (tiga) faktor yakni :
a. Branching factor. b. Jumlah goal state. c. Model penalaran manusia.
7. Topologi searching dapat direpresentasikan secara Graph (unik) atau Tree Diagram. Pada Graph, node yang sama hanya dapat muncul satu kali; sedangkan pada Tree Diagram node yang sama dapat muncul lebih dari satu kali.
Tanggal 8 September 2006
1. AI as search didefinisikan dalam : a. Initial States (IS). b. Goal States (GS). c. Operator/Rule/Prosedur. d. Control Strategy.
Arwin@23206008 2. Metode Trial & Error (the simplest method) → blind search
Prosedur pelacakan → pseudo code
(1) Ambil state sebagai keadaan awal (IS is given or we define it). (2) While state ≠ keadaan sasaran (GS is given or we define it as well). (3) Begin
(4) Pilih Operator yang dapat diterapkan pada state dan set sebagai Operator. (5) state := Operator(state)
(6) End
Penjelasan :
a. Step (4); operator dipilih acak.
b. Step (5); operator yang dipilih diterapkan pada state membentuk state baru. c. Sifat stokastik; tidak mencapai sasaran.
S A B C D E F G H I R1 R2 R3 R4 R5 R6 R7 R8 R9
3. Metode Depth-First Search → simpul yang lebih dalam diperiksa lebih dulu. Prosedur pelacakan → pseudo code
(1) Berikan simpul awal pada daftar “open” → (list, data structure) (2) Loop : if open = kosong then exit(fail).
(3) n := first(open)
(4) if goal(n) then exit(success) (5) Remove(n, open)
(6) Ekspansikan n, berikan semua simpul anak pada kepala “open” dan bubuhkan pointer dari simpul anak ke-n.
(7) Kembali ke Loop.
Arwin@23206008 9 Kedalaman ditentukan (ada batasan). Searching diterapkan pada satu cabang tertentu saja pada kedalaman yang telah ditentukan.
9 Backtrack dilakukan bila pada satu cabang GS tidak dicapai dan untuk kembali ke simpul sebelumnya.
9 Modifikasi Depth-First Search sesuai Graph yang representasinya unik adalah sebagai berikut :
o Step (5); Remove(n, open) dan Add(n, closed)
o Step (6); ekspansikan n. Berikan pada kepala “open” semua simpul anak yang belum muncul pada “open” atau “closed” dan bubuhkan pointer pada n.
[ S ] [ A B ] [ C D B ] [ D B ] [ B ] [ E F ] [ H G F ] [ G F ] Urutan pelacakan : S, A, C, D, B, E, F, H, G
Fungsi pointer untuk solution path
Tree Diagram Urutan Searching
4. Metode Breadh-First Search → Horisontal (cek semua node ke arah horisontal) Prosedur pelacakan → pseudo code
(1) Berikan simpul awal pada daftar “open” → (list, data structure) (2) Loop : if open = kosong then exit(fail).
(3) n := first(open)
(4) if goal(n) then exit(success) (5) Remove(n, open) dan Add(n, closed)
(6) Ekspansikan n, berikan semua simpul anak pada ekor “open” dan bubuhkan pointer dari simpul anak ke-n.
Arwin@23206008 [ S ] [ A B ] [ B C D ] [ C D E F ] [ D E F ] [ E F ] [ F H G ] [ H G ] [ G ] Urutan pelacakan : S, A, B, C, D, E, F, H, G
Fungsi pointer untuk solution path
Tree Diagram Urutan Searching
Breadth-Fisrt Search (BFS) memenuhi measurement Completeness dan Optimality. 5. Search Performance Measure (Russel, Norvig)
a. Time Complexity → waktu yang diperlukan untuk mencapai sasaran (cpu time dan berkaitan dengan branching factor).
b. Space Complexity → jumlah memory yang dibutuhkan untuk implementasi search (besar byte).
c. Completeness → jaminan bahwa GS dicapai oleh search (metode yang dipakai). d. Optimality → jaminan bahwa solution path adalah paling minimum.
Tanggal 15 September 2006
1. Evaluating search srategies
a. Completeness → Is it guaranteed that a solution will be found ? b. Optimality → Is the best solution found when several solution exist ? c. Space Complexity → How much memory is needed to perform a search ? d. Time Complexity → How long does it take to find a solution ? Abbreviated as COST ……….. ?? Arwin@23206008 Parameternya adalah : a. Branching factor (b). b. Depth (d). node IS node node b b b depth 0 depth 1 depth 2
Computational complexity O
( )
bd dirumuskan sebagai berikut :( )
d d b O b b b b+ + + + = + ... 1 2 32. Perbandingan DFS dan BFS methods
a. DFS → C (tidak), O (tidak), S (O
( )
bd dan T (O( )
bd ) b. BFS → C (ya), O (ya), S (( )
d b O dan T (( )
d b O )( )
bd O bd b b+ + + = + 2 ... 13. Metode Depth-limited Search → sama dengan DFS namun menggunakan batasan untuk menghindari search tak terhingga. Pertanyaannya adalah : bagaimana memilih batasan tersebut ? Kesimpulan : C (ya, bila solusi ditemukan pada kedalaman < atau = batas), O (tidak), S (O
( )
bd dan T (( )
db O ).
Arwin@23206008 5. Metode Optimal Search (Dijkstra’s Algorithm) → mencari jejak dengan ‘cost’ (biaya) minimum. ‘Cost’ untuk penerapan operator diberikan (performance index).
Prosedur pelacakan → pseudo code (1) Berikan simpul awal S pada “open”, g’(s) (2) Loop : if open = kosong then exit(fail). (3) n := first(open)
(4) if goal(n) then exit(success) (5) Remove(n, open) dan Add(n, closed)
(6) Ekspansikan n, hitung g’(ni) untuk semua simpul anak ni dan bubuhkan pointer dari ni ke-n. Berikan semua simpul anak pada “open” dan urutkan mulai dari biaya terendahnya. (7) Kembali ke Loop.
( )
ni g( ) (
n cnni)
g' = ' + , dimana c ,
(
nni)
adalah cost dari n ke ni.Arwin@23206008 Contoh :
G1 dan G 2 adalah Goal states.
Apply Dijkstra’s Algorithm sebagai berikut : Open (ascending) [ S(0) ] [ B(1), A(4) ] [ E(3), A(4), F(4) ] [ A(4), F(4), G1(6), H(7) ] [ F(4), C(5), G1(6), D(6), H(7) ] [ C(5), G2(5), G1(6), D(6), I(6), H(7) ] [ G2(5), G1(6), D(6), I(6), H(7) ]
G2(5) adalah goal dengan cost paling minimal. 6. Implementasi pada Graph
S A B C G1 D E G2 3 3 3 2 2 2 2 1 5 1 [ S(0) ] [ A(2), B(3) ] [ B(3), G1(5), C(5) ] [ C(4), D(6), G1(7) ] [ G2(6), D(6), E(6), G1(7) ]
Hanya membutuhkan 5 step untuk mendapatkan G2(6) sebagai goal dengan cost paling minimal
Arwin@23206008 7. Tugas Individu I → terapkan Metode BFS, DFS dan Optimal Search untuk penelusuran dari Arad ke Bucharest menggunakan topologi Tree Diagram dan Graph. Rule :
a. Boleh memotong jalur.
b. BFS dan DFS kemungkinan tidak optimal namun algoritma harus benar. c. BFS dan DFS → solution path, Optimal Search → rute terderkat.
Tanggal 22 September 2006
1. Heuristic search (informed search) → estimasi cost dari node ke GS-nya.
2. Heuristik dapat dianggap sebagai pruning (memotong pohon) dengan mempertimbangkan node yang promising (menjanjikan atau lebih pasti menuju GS). Seyogyanya fungsi heuristik tidak terlalu rumit (sederhana dan mudah untuk dihitung) karena akan diaplikasikan ke setiap node.
3. Heuristic function → Suatu cara untuk mengkuantifikasi heuristik sehingga fungsi tersebut dapat digunakan untuk estimasi seberapa dekat current state terhadap goal state. Contoh : Kotak-8.
Arwin@23206008 2 3 1 8 4 7 6 5 1 2 3 8 4 7 6 5
Initial State Goal State
2 3 1 8 4 7 6 5 2 8 3 1 4 7 6 5 2 3 1 8 4 7 6 5 (A) (B) (C) Heuristiknya adalah :
( )
1h = Jumlah kotak yang tidak tepat (match).
( )
2h = Jumlah jarak horisontal dan vertikal kotak yang tidak tepat (Manhattan distance)
( )
( )
( )
( )
( )
( )
1 1 1 2 2 2 2; 3; 4 2; 4; 4 h A h B h C h A h B h C = = == = = maka state A adalah yang terdekat dengan GS. Kadang dinotasikan dengan penjumlahan berbobot h yang menunjukkan seberapa (relatif) penting satu heuristik terhadap heuristik lainnya.
1 2 1 2 ... n n h w h w h w h = + + + dimana n w =weighting.
4. Metode Hill Climbing (Menuju puncak) → Hitung fungsi heuristik terkecil sebagai tujuan berikutnya (next n). Nilai heuristik terkecil dianggap sebagai yang paling dekat dengan GS. Constarint adalah local optimum (puncak-puncak lokal) → nature-nya.
Filosofi →
Bila nilai heuristik node anak = nilai heuristik node induk, proses tetap berjalan selama tidak < dari nilai heuristik node anak (path akan flat).
Arwin@23206008 5. Complexity → seberapa baik heuristiknya (kurang atau tidak akurat) atau seberapa baik heuristik memperkirakan current state terhadap goal state-nya.
6. Tugas Individu 2 (290906) → Terapkan Hill Climbing dan Best First Search (open list) untuk mencari solution path dari Arad ke Bucharest.
7. Metode Best First Search → Membandingkan nilai heuristik tiap node yang di-expand. Node dengan nilai heuristik terkecil akan di-expand terlebih dulu. Bila goal belum ditemukan, periksa node berikutnya dengan nilai heuristik terkecil pada depth yang sama kemudian di-expand dan periksa apakah ada goal pada cabang-cabangnya. Bila belum ditemukan, lakukan proses yang sama hingga goal ditemukan.
n
c(n,ni) S
Optimal Search
g’(n) = cummulative cost dari IS ke n
Goal Initial
h Best First Search
( ) (
i , i)
h n c n n = dimana(
)
i n nc , adalah cost dari n ke ni. 8. Pertanyaan : Optimality ? Completeness ? Pseudo code ?
Prosedur pelacakan → pseudo code (1) Berikan simpul awal S pada “open”, h s
( )
(2) Loop : if open = kosong then exit(fail). (3) n := first(open)
(4) if goal(n) then exit(success) (5) Remove(n, open) dan Add(n, closed)
(6) Ekspansikan n, hitung h n
( )
i untuk semua simpul anak ni dan bubuhkan pointer dari ni ke-n. Berikan semua simpul anak pada “open” dan urutkan mulai dari biaya terendahnya. (7) Kembali ke Loop.Arwin@23206008 9. Perbedaan Optimal Search dan Best First Search
a. Optimal search → menghitung real cost dari IS ke node dengan cost yang terkecil (accumulative cost).
b. Best First search → menghitung estimated cost dari node n ke GS yang terkecil. 10. Tugas Besar → Terapkan DFS, BFS dan Best First Search untuk Kotak-8 menggunakan bahasa pemrograman. Aturan :
a. GUI tidak penting,
b. Utamakan algoritma → bagaiman node-node di-generate dari node induknya. c. Tampilkan struktur datanya → bagaimana open list diimplementasikan (queue, linked-list, dll) dan bagaiman ke-8 angka direpresentasikan (array atau vektor dll).
d. Bahasa pemrograman bebas.
e. Boleh ambil resource di Internet → harus paham algoritmanya. f. Presentasi di akhir kuliah semester.
g. Hati-hati → setengah konfigurasi langkah kotak-8 tidak akan capai GS. h. Petunjuk → start dari GS dan diacak beberapa langkah agar ada solution path-nya.
Tanggal 13 Oktober 2006
1. Penggunaan search bukan hanya sekedar untuk game sebagaimana yang dicontohkan. Aplikasi lainya adalah :
a. Assembly line (manufacturing). b. Pattern recognition. c. Speech recognition. d. Planning/control/optimization. e. Finance.
2. Expert System (Sistem Pakar) → major branches of AI : a. Vision system.
3. expert mirip d 4. j 5. c. Natura d. Learn e. Neura f. Exper Expert system karena peng dengan pola y Aplikasi ES a. Contro b. Debug c. Design d. Medic e. Instru f. Interp g. Monit h. Plann i. Factor j. Predic k. Repair Architecture al language p ing system. al networks. t system. m → softwa galaman bert yang dialami s ol (air traffic) gging (softwa n (computer c cal diagnosis. ction/training pretation (spee oring (nuclea ing (mission p ry scheduling ction (weathe r (telephone). of Expert Sys processing. are komputer tahun-tahun d sebelumnya. ). re). configuration) g. ech). ar plant). planning). g. er). . stem yang menga dari pola/fakt n). andung knowl ta/data/fenom A ledge. Seseo mena/kasus y Arwin@2320 orang bisa me ang dialami 06008 enjadi yang Arwin@23206008 a. Knowledge base - contains the domain specific problem-solving knowledge.
b. Facts - represent what we know at any time about the problem we are working at.
c. Rules - represent relationships between the facts.
d. Inference engine - is a general program that activates the knowledge in the knowledge base.
e. Interface enables the user to communicate with the expert system.
6. Perbedaan antara Expert System dengan searching terletak pada fokus metodenya. ES berkaitan dengan bagaimana membangun knowledge-base-nya dan searching terletak pada bagaimana control strategy-nya dilakukan.
7. ES dikembangkan oleh :
a. Domain expert. b. Knowledge engineer. c. Knowledge user.
8. MYCIN → software yang dikembangkan pada tahun 1970-an di MIT untuk membantu paramedis dalam mendiagnosa penyakit. Ia memiliki 500 rule yang diadopsi dari kepakaran ahli kedokteran.
9. ES tidak dibangun dari buku-buku troubleshooting namun dari kepakaran, insting, heuristic, knowledge, intuisi dan lain sebagainya.
10. ES technology → components of rule-based system are a. Working memory.
b. Knowledge base. c. Inference engine.
Rule-based ES → biasanya dinyatakan dalam natural language, namun dibedakan dalam : a. Quantifier.
Arwin@23206008 Antecedent dibagi atas dua komponen ini. Consequence tertentu dapat digunakan sebagai antecedent rule yang lain (proses chaining).
11. ES sebelum mendapatkan kesimpulan akhir, perlu kesimpulan-kesimpulan antara (intermediate conclusion). Kesimpulan-kesimpulan antara ini yang diekstraksi dari human expert oleh knowledge engineer.
12. Dalam beberapa ES, perlu memasukkan fakta ketidak pastian yang akan dipropagasi ke dalam conclusion yang diambil ES.
13. Automated Knowledge Acquisition → membangun knowledge secara otomatis melalui penyampaian fenomena, data dan lain-lainnya.
14. Semantic web → didasarkan pada Ontology (suatu knowledge). Membangun sebuah knowledge base melalui komunitas di Internet.
15. Knowledge-based system ⇔ Expert System. 16. Cara representasi knowledge ada beberapa cara :
a. If … then … rule. b. Frame. c. Semantic net. d. Predicate calculate/logic.
Tanggal 10 Nopember 2006
1. Bahasa AI → bisa gunakan high-level programming language. Phyton language (object-oriented namun lebih sederhana daripada Java).
a. LISP (LISt Programming) → obyek-obyek disusun dalam suatu list untuk diproses. Contoh : emacs. Yang sedang berkembang adalah Common LISP.
b. Prolog (PROgramming LOGic) → penalaran logika dan bukan untuk komputasi numerik. Kemudahan representasi rule (kaidah).
Arwin@23206008 2. Bentuk program Prolog
ο predicate logic predicate(object1, object2, ... , objectn) predicate calculus ⇒ IF .... THEN ....
ο Hubungan antara obyek dinyatakan dalam bentuk predicate. ο Kaidah (rule) mampu melakukan deduksi fakta baru dari fakta yang ada. ο Ada contol strategy dan proses matching.
ο Predicate logic harus konsisten. ο Rule dapat didefinisikan secara rekursif.
ο Matching dari arah backward; query menjadi goal (root) atau query menjadi consquence. ο Fakta-fakta harus di-assign dulu dan kemudian kaidah dituliskan.
ο Fakta dan rule adalah clause. ο Prolog → digunakan di ES.
Tanggal 17 Nopember 2006
1. Yang telah dipelajari sejauh ini dibagi menjadi 2 (dua) bagian besar yang disebut dengan symbolic atau classical AI yakni :
a. Intelligent search. b. Knowledge representation.
2. Teknik AI mempunyai keterbatasan dalam beberapa hal tertentu seperti pattern recognition (data, sinyal, image, dll).
3. (Artificial) Neural Network → computational model inspired from neurobiological model of brain. Human brain computer in different way from digital computer (von Neumann machine).
a. Highly complex, non-linear and parallel computing.
b. Many times faster than d-computer in pattern recognition, perception, motor control. c. Has great structure and ability to build up its own rules by experience. Dramatic development within 2 years after birth. Continues develop afterward (language learning device before 13 years old).
Arwin@23206008 d. Platicity → ability to adapt to its environment.
4. Rule yang disimpan dalam bentuk fitur-fitur dari obyek yang dilihat.
5. Definisi ANN tergantung dari perspektifnya :
a. Machine designed to model the way in which brain performs tasks (learning). b. Masssively parallel distributed processor (knowledge acquired thru learning process). Neuron → simple (basic) processing unit.
c. Learning machine (modify synaptic weights and topology). d. Connectionist machine.
6. Benefits :
a. Generalization → ability to produce reasonable output fro inputs not encountered during training.
b. Complex problem decompossed into simple tasks and assigned to a NN. 7. Sifat-sifat :
a. Non-linearity → non-linear mapping (asosiasi antara input dan output). b. I/O mapping.
c. Adaptivity → adapt synaptic weight to changes of environment. d. Evidential response → confidence.
e. Contextual information processing. f. Fault tolerance.
g. VLIS implementability. h. Uniformity if analysis and design. i. Neurobiological analogy.
8. Human brain (nervous system)
Arwin@23206008 ο 1011 neurons in human cortex
ο 60 x 1012 synaptic connections ο 104 synapses per neuron
ο 10-3 sec cycle time (computer : 10-9 sec)
ο energetic efficiency : 10-16 joules operation per second. (computer : 10-6 joules)
1 k w 1 x 2 k w 2 x km w m x
∑
vk k y k b( )
.
ϕ
1 m k kj j k j v w x b = =∑
+( )
k k y =ϕv9. Axon → activation function (threshold atau sigmoid ). 10. Metode pembelajaran → supervised dan unsupervised.
Tanggal 24 Nopember 2006
1. Terdapat 2 (dua) macam output, yakni :
a. Target.
Arwin@23206008
×
2. Terdapat 2 (dua) fase penggunaan neural network :
a. Fase training.
b. Fase Recognition (execution).
3. Sifat axon
a. Excitatory (aktif, on). b. Inhibitiry (deaktif, off).
4. Neural network as a directed graph (SFG)
1 x 2 x m x 0 1 x= + 1 k w 2 k w km w k v 0 k k w =b k y ( ). ϕ ο Node → signal. Arwin@23206008 ο Link → transfer function (hubungan antara input dan output).
) Synaptic link → linear input-output relation where xj*w kj
) Activation link → non-linear input-output relation via an activation unit. ο Bobot tidak digambarkan secara eksplisit, namun secara implisit adalah nilai bobotnya. 5. Recurrent network → mempunyai umpan balik dari satu sinyal ke sinyal yang lain.
( )
j x n( )
' j x n( )
k y n 1 z− w( )
1(
)
0 l k j i y n w x n l ∞ + = =∑
−6. Konvensi notasi node dan link adalah : (bebas, yang penting konsisten).
kj w
j k
7. Network architecture → how neurons are interconnected each other. ) Single layer feedforward network → single computation layer.
Arwin@23206008 ) Multilayer feedforward network → hidden layers.
input layer output layer computation fully connected hidden layer massive interconnections (parallel computations)
Jumlah neuron di input layer dan output layer tergantung pada problem yang akan diselesaikan. Jumlah hidden layer ditentukan melalui trial-error untuk mendapatkan performa terbaik. Cara komputasi sama, menggunakan rumus standar.
8. Bias adalah operating condition (demo gunakan toolbox neural network Matlab).
9. Learning → aktivitas meningkat pada jaringan sinapsis yang bertujuan untuk adjustment nilai bobot. Diberikan pada fase latihan dengan menerapkan data training dan data targetnya. Error yang timbul digunakan untuk adjustment nilai bobot-bobotnya karena parameter yang bisa dirubah adalah bobot neural network melalui algoritma tertentu.
Arwin@23206008 10. Setiap input akan menghasilkan actual output dan dibandingkan dengan target yang harus dicapai dan dilakukan secara berulang (iteratif) hingga error membentuk kurva yang menuju nol seiring dengan berjalannya waktu.
0 df dx=
Fungsi tidak diketahui sehingga harus dicari gradien dari fungsi tersebut.
Untuk mendapatkan nilai minimum, diperlukan ribuan epoch (representasi pola yang dilatihkan)
11. Perceptron → Gender classification
y 1 w 2 w h v 0 w
(
)
if male if female 1 2 0 1 1 y=signum hw +vw +w = ⎨⎧ − ⎩ 0 1 1 2 0 2 2 0 w w hw vw w v h w w y mx c + + = → = − − ⇓ = +Persamaan garis (decision boundary) dengan
gradien garis 1 2 w w − dan bias 0 2 w w −
) Decision boundary akan berubah-ubah sesuai dengan adjustment w dan 1 w , proses 2 tetap berlangsung hingga error minimal atau 0.
Arwin@23206008 ) Bias diperlukan agar decision boundary tidak melewati origin atau titik (0,0). ) Masalah di atas disebut dengan Linearly Separable Classification Problem. 12. Beberapa contoh aplikasi neural network (thesis)
a. Face recognition.
b. Estimasi – dengan akurasi tertentu – kebutuhan BBM pada SPBU dengan mempelajari pola suplai pada masa lalu sebagai bahan pelatihan neural network.
c. Klasifikasi bentuk kapal perang. d. Maintenance.
e. Hand recognition. f. Noise cancelation.
g. Klasifikasi noise knalpot mobil. h. Robotic.
13. Neural network efektif pada aplikasi-aplikasi yang berkenaan dengan :
a. Prediction (forecasting, valas, weather). b. Optimization (routing).
c. Recognition (face, character). d. Classification. Tanggal 1 Desember 2006 1. Perceptron training 1, , , … … … . . , , , , … … … . . , dimana : 0, class1, output = 1 0, class2, output = 0 Arwin@23206008 2. Training algorithm
o If the pattern is correctly classified, no change is made to weight vector. o If the pattern is not correctly classified, then :
1 if is in class1 but a = 0 1 if is in class2 but a = 1 o Limitations
Output can only be -1 and 1 (or 0 and 1).
Can only solve linearly separable problems (creates a straight decision boundary which divides samples into two separate classes).
Contoh : AND function problem
o Choose a weight vector that is orthogonal (tegak lurus) to the decision surface. In this
case, choose 22.
o Find the bias to satisfy the equation : 0. o Pick a point on the decision surface : 1.5 0 .
o Solve the equation : 2 2 1.50 3 0, so the bias b = -3.
o Test the equation with the original inputs. Compare the result with the rule above to determine if weight updating is necessary.
3. Single-layer perceptron is unable to solve the XOR problem because of its unique input-output mapping. p1 p2 a 1 p 2 p 0 0 0 0 1 0 1 0 0 1 1 1 Class2 Class1
Arwin@23206008 1 x 2 x y
XOR problem not solved and Interwined problem also not solved. Decision boundary is half-pane.
Untuk menyelesaikan problem XOR yang non-linearly separable problem, digunakan Multi-layer Perceptrons (MLPs) sebagai berikut :
1 x
2 x
y
XOR problem solved but Interwined problem not solved. Decision boundary is convex shape.
1
x
2
x
y
XOR problem solved but Interwined problem also solved but must be with a proper algorithm. Decision boundary is complex (arbitrary) shape. p1 p2 a 1 x 2 x 0 0 0 0 1 1 1 0 1 1 1 0 Class2 Class1 Arwin@23206008 4. Jumlah layer menentukan kemampuan neural network dalam melakukan klasifikasi data. Dengan 3-layer pada umumnya sudah cukup untuk menyelesaikan problem serumit apapun (kinerja tidak berbeda dengan yang menggunakan 4 atau 5-layer). Untuk jumlah class > 2, tambahkan jumlah neuron output.
5. Setiap 2 minggu, selalu ditemukan arsitektur baru neural network berikut algoritma belajarnya.
Tanggal 8 Desember 2006
1. Multi Layer Perceptrons J Multi Layer Feedforward ANNs
2. Hidden layer of computation nodes min. 1 layer. Jumlah node pada input dan output layer sangat ditentukan oleh tipe problem yang akan diselesaikan atau tergantung pada tingkat kompleksitas problem.
3. Input propagates in a forward direction, layer-by-layer basis.
4. Terdapat 2 (dua) macam learning, yakni : supervised (ada target, teacher) dan unsupervised.
5. Mode supervised learning
×
Error dihasilkan dari perbandingan antara actual output dengan target.
Error di-back-propagate-kan unutk meng-update parameter NN.
Proses dilakukan untuk semua pola input hingga error adalah minimal atau dengan kata lain NN telah “pintar” dalam mengenali input-output pattern.
Arwin@23206008 Error back-propagation algorithm
• Supervised learning algorithm. • Error-correction learning algorithm. • Forward bias.
o Input vector is applied to input nodes.
o Its effects propagate through the network layer-by-layer. o With fixed synaptic weights.
• Backward pass.
o Synaptic weights are adjusted in accordance with error signal. o Error signal propagates backward, layer-by-layer fashion.
6. MLP distinctive characteristics
• Non-linear activation function must be differentiable and in form of sigmoidal or logistic function. Example :
• One or more hidden layers of hidden neurons can progressively extracting more meaningful features from input patterns.
7. Terdapat 2 (dua) sinyal yang berperan yakni :
a. Function signal J input signals which propagate to output nodes. b. Error signal J propagated backward to input nodes.
8. 2 (dua) komputasi pelatihan yang berlaku adalah :
a. Computations of function signals.
b. Computations of an estimate gradient vector J gradient descent atau gradient of error surface with respect to the weights.
9. Summary of BP Algorithm is as followed : (devised by Rumelhart)
a. Initialization: Randomize the weights to small values.
b. Presentation: Apply a pattern to the input and calculate the network output.
Arwin@23206008 c. Error Computation: Compare the output with the desired output and compute the error (difference).
d. Backward Computation: Backpropagate the error through the network and adjust the weights to minimize the error.
e. Iteration: Repeat steps 2-4 until a desired error goal is reached.
10. Salah satu cara menghitung error BP menggunakan rumus average squared error energy atau average error all training samples.
1 1 ( ) N av n E E n N =
=
∑
Dimana adalah training sample adalah iterasi ke-n.11. Konvensi penulisan notasi berdasarkan ada tidaknya hidden layer, sebagai berikut :
a. Tanpa hidden layer
ji w
j
y dj
j
b. Dengan hidden layer
ji w k y dk k i j kj w k δ j δ
Arwin@23206008 12. Delta rule, gradient descent dan weights
(
1)
( )
( )
ji ji ji w n+ =w n + Δw n( )
( )
( )
ji ji E n w n w nη
∂ Δ = − ∂13. Dalam beberapa konteks, bisa ditambahkan momentum term, , agar tidak terjebak pada local minima. Nilai antara [0, 1].
14. Hidden layer yang terlalu banyak dapat membuat generalisasi buruk. Belum ada panduan yang pasti mengenai jumlah neuron pada hidden layer.
15. This is the end of the bloody lecture ………..
Gradient, gunakan chain rule derivative
Learning rate J [0, 1]. Nilai lebih kecil akan
