Latar Belakang. Pendahuluan(2) Struktur Jaringan pada Otak. Learning (Neural Network) 5/9/2012 IF-UTAMA 1

(1)

Jurusan Teknik Informatika – Universitas Widyatama

IF-UTAMA 1

Learning (Neural Network)

Pertemuan : 13

Dosen Pembina :

Sriyani Violina

Danang Junaedi

Latar Belakang

• Neural Network (Jaringan syaraf tiruan) diilhami oleh jaringan syaraf biologi khususnya otak manusia.

– Kemampuan manusia dalam memproses informasi, mengenal wajah, tulisan, dsb.

– Kemampuan melakukan pengenalan meskipun tidak tahu algoritma yang digunakan.

– Proses pengenalan melalui penginderaan berpusat pada otak sehingga menarik untuk mengkaji struktur otak manusia • Otak terdiri neuron-neuron dan sinapsis (penghubung) _bekerja

berdasarkan impuls/sinyal

• Manusia memiliki 1012_{neuron dan 6.10}18 _sinapsis_mengenali

pola, melakukan perhitungan, mengontrol organ-organ tubuh • Mempunyai kemampuan membentuk sendiri pola berdasarkan

pengalaman.

IF-UTAMA 2

Pendahuluan(2)

• Dipercayai bahwa

kekuatan komputasi

otak terletak pada

– hubungan antar sel-sel

syaraf

– hierarchical

organization

– firing characteristics

– banyaknya jumlah

hubungan

3 IF-UTAMA

Struktur Jaringan pada Otak

• Neuron adalah satuan unit pemroses terkecil pada otak • Bentuk standard ini mungkin dikemudian hari akan berubah

• Jaringan otak manusia tersusun tidak kurang dari 1013 _{buah neuron yang}

masing-masing terhubung oleh sekitar 1015 _{buah dendrite}

• Fungsi dendrite adalah sebagai penyampai sinyal dari neuron tersebut ke neuron yang terhubung dengannya

• Sebagai keluaran, setiap neuron memiliki axon, sedangkan bagian penerima sinyal disebut synapse

• Sebuah neuron memiliki 1000-10.000 synapse

• Penjelasan lebih rinci tentang hal ini dapat diperoleh pada disiplin ilmu

biology molecular

• Secara umum jaringan saraf terbentuk dari jutaan (bahkan lebih) struktur dasar neuron yang terinterkoneksi dan terintegrasi antara satu dengan yang lain sehingga dapat melaksanakan aktifitas secara teratur dan terus menerus sesuai dengan kebutuhan

4 IF-UTAMA

(2)

Struktur Jaringan pada Otak

5 IF-UTAMA Synapse 6 IF-UTAMA

A Neuron

Struktur Jaringan pada Otak

• Dendrit menerima sinyal dari neuron lain

– Sinyal berupa impulse elekrik dikirim melalui celah

sinaptik

– Sinyal dapat diperkuat/diperlemah di celah sinaptik

• Soma menjumlahkan semua sinyal-sinyal yang masuk

– Jika kuat dan melebihi batas akan diteruskan ke sel lain

melalui axon

(3)

Neural biologi

• Neural biologi merupakan sistem yang fault

tolerant :

– Manusia dapat mengenali sinyal input yang agak

berbeda dari yang pernah diterima sebelumnya.

– Otak manusia tetap mampu bekerja meskipun

beberapa neuronnya tidak mampu bekerja dengan

baik

• Sebuah neuron rusak, neuron lain dapat dilatih

menggantikan fungsi sel yang rusak.

9 IF-UTAMA

Neural Network

• Suatu sistem pemrosesan informasi yang mencoba meniru

kinerja otak manusia

• Merupakan generalisasi model matematis dengan asumsi:

– Pemrosesan informasi terjadi pada elemen sederhana(=neuron) – Sinyal dikirimkan diantara neuron-neuron melalui penghubung

(=dendrit dan akson)

– Penghubung antar elemen memiliki bobot yang akan menambah atau mengurangi sinyal

– Untuk menentukan output, setiap neuron memiliki fungsi aktivasi (biasanya non linier) yang dikenakan pada semua input

– Besar output akan dibandingkan dengan threshold

10 IF-UTAMA

Otak Manusia Neural Network

Soma Node

dendrites Input/Masukan Axon Output/Keluaran synapsis Weight/Bobot Milyaran Neuron Ratusan Neuron

Struktur Dasar Neural Network

IF-UTAMA 11

Definisi

• Neural Network (Jaringan Saraf Tiruan) adalah

– sistem pengolahan informasi yang karakteristik

kinerjanya menyerupai jaringan saraf biologis.

merupakan generalisasi model matematis

saraf biologis.

– suatu representasi buatan dari otak manusia yang

mencoba mensimulasikan proses pembelajaran pada otak

manusia.

menggunakan program

komputer

• Neural Network disebut juga: brain metaphor, computational

neuroscience, parallel distributed processing

12 IF-UTAMA

(4)

Neural Network

• Neural Network dapat belajar dari pengalaman!

• Biasanya berhubungan dengan angka (numerik)

sehingga data yang tidak numerik harus dibuat ke

numerik

• Tidak ada rumus yang tetap (fixed) sehingga disebut

dengan free-estimator!

• Neural Network disebut black box atau tidak

transparan karena tidak mampu menjelaskan

bagaimana suatu hasil didapatkan!

• Neural Network mampu menyelesaikan

permasalahan yang tidak terstruktur dan sulit

didefinisikan!

13 IF-UTAMA

Kelebihan & Kekurangan

Kelebihan

• Mampu mengakuisisi pengetahuan walau tidak ada kepastian

• Mampu melakukan

generalisasi dan ekstraksi dari suatu pola data tertentu • Neural Network dapat

menciptakan suatu pola pengetahuan melalui pengaturan diri atau kemampuan belajar (self organizing)

• Memiliki fault tolerance, gangguan dapat dianggap sebagai noise saja • Kemampuan perhitungan

secara paralel sehingga proses lebih singkat

Kekurangan

• Kurang mampu untuk melakukan operasi operasi numerik dengan presisi tinggi • Kurang mampu melakukan

operasi algoritma aritmatik, operasi logika dan simbolis • Lamanya proses training yang

mungkin terjadi dalam waktu yang sangat lama untuk jumlah data yang besar

IF-UTAMA 14

Kemampuan Neural Network

• Klasifikasi: memilih suatu input data ke dalam

kategori tertentu yang sudah ditetapkan

• Asosiasi: menggambarkan suatu obyek secara

keseluruhan hanya dengan bagian dari obyek lain

• Self organizing: kemampuan mengolah data-data

input tanpa harus mempunyai target

• Optimasi: menemukan suatu jawaban terbaik

sehingga mampu meminimalisasi fungsi biaya

Contoh Aplikasi

• Pengenalan pola (pattern recognition)

– Huruf, tanda tangan, suara, gambar yang sudah sedikit

berubah (mengandung noise)

– Identifikasi pola saham

– Pendeteksian uang palsu, kanker

• Signal Processing

– Menekan noise pada saluran telepon

• Peramalan

– Peramalan saham

• Autopilot dan simulasi

• Kendali otomatis otomotif

(5)

Istilah dalam Neural Network

• Neuron: sel syaraf tiruan yang merupakan elemen pengolah Neural Network

• Jaringan: bentuk arsitektur Neural Network, kumpulan neuron yang saling berhubungan dan membentuk lapisan

• Input: sebuah nilai input yang akan diproses menjadi nilai output • Output: solusi dari nilai input

• Hidden layer: lapisan yang tidak terkoneksi secara langsung dengan lapisan input atau output, memperluas kemampuan Neural Network • Bobot: nilai matematis dari sebuah koneksi antar neuron

• Fungsi aktivasi: fungsi yang digunakan untuk mengupdate nilai-nilai bobot per-iterasi dari semua nilai input.

– Fungsi aktivasi sederhana adalah mengakalikan input dengan bobotnya dan kemudian menjumlahkannya (disebut penjumlahan sigma)

– Berbentuk linier atau tidak linier, dan sigmoid

• Paradigma pembelajaran: bentuk pembelajaran, supervised learning, atau unsupervised learning

17 IF-UTAMA

Karakteristik Jaringan Saraf Tiruan

• Arsitektur, merupakan pola hubungan antar

sel-sel neuron.

• Algoritma pelatihan/pembelajaran,

merupakan metoda penentuan bobot pada

sambungan/hubungan.

• Fungsi Aktivasi, merupakan suatu fungsi

yang digunakan untuk memproses sehingga

dihasilkan sinyal keluaran neuron.

18 IF-UTAMA

Arsitektur Jaringan

• Single-Layered

Feedforward Networks

Neurons are organized

in layers

“Single-layer” refers to

output neurons

Source nodes supply to

output neurons but not

vice versa

Network is

feedforward

or acyclic

input layer of source nodes output layer of neurons 19 IF-UTAMA

Arsitektur Jaringan

• Multilayer

Feedforward Networks

– One or more hidden layers – Hidden neurons enable

extractions of higher-order statistic

– Network acquires global

perspectivedue to extra set of synaptic connections and neural interactions Input layer of source nodes Layer of hidden neurons Layer of output neurons

7-4-2 fully connected network:

• 7 source nodes • 4 hidden neurons • 2 output neurons

20 IF-UTAMA

(6)

Arsitektur Jaringan

• Recurrent Networks

– At least one feedback loop

– Feedback loops affect learning capability and

performance of the network

z -1 z -1 z -1 z -1 Unit-delay operators Inputs O ut put s 21 IF-UTAMA

Pengelompokkan Neural Network

• Neural Network Feed Forward

– Tidak mempunyai loop

– Contoh: single layer perceptron, mutilayer perceptron,

radial basis function

• Neural Network Feed Backward (Recurrent)

– Memiliki loop, lapisan output akan memberi input lagi

bagi lapisan input

– Contoh: competitive networks, kohonen, hopfield, ART

22 IF-UTAMA

Paradigma pembelajaran

• Supervised Learning

– Kumpulan input berusaha membentuk target output yang sudah diketahui sebelumnya

– Perbedaan antara output yang masih salah dengan output yang diharapkan harus sekecil mungkin

– Biasanya lebih baik daripada unsupervised

– Kelemahan: pertumbuhan waktu komputasi eksponensial, data banyak berarti semakin lambat

• Unsupervised Learning

– Neural Network mengorganisasikan dirinya untuk membentuk vektor-vektor input yang serupa tanpa menggunakan data atau contoh-contoh pelatihan, biasanya ke dalam suatu

kategori/kelompok-kelompok tertentu

• Hibrida Learning

– Gabungan antara unsupervised dan supervised

• Reinforcement Learning

Algoritma Belajar

• Algoritma Terbimbing (Supervised Learning)

– ada vektor target

– klasifikasi, pattern association

– Algoritma Hebb, Perceptron, Backpropagation, dll

• Tak Terbimbing (Unsupervised Learning)

– tidak ada vektor target – Clustering

(7)

Algoritma Pembelajaran Umum

• Dimasukkan n data pelatihan

• Inisialisasi bobot-bobot jaringan, set i = 1

• Masukkan contoh ke-i ke dalam input

• Cari tingkat aktivasi unit output menggunakan

algoritma yang ditetapkan

– If memenuhi kriteria output then exit

– Else:

– Update bobot2 menggunakan fungsi galat error, Bobot

baru = bobot lama + delta

• If i=n then

– Reset i=1,

– else i=i+1

25 IF-UTAMA

Fungsi Aktivasi

26 IF-UTAMA

Fungsi Aktivasi

• Fungsi undak biner (hard limit)

• Fungsi undak biner (threshold)

θ θ θ θ 27 IF-UTAMA

Fungsi Aktivasi

• Fungsi bipolar

• Fungsi bipolar dengan threshold

28 IF-UTAMA

(8)

Fungsi Aktivasi

• Fungsi Linier (identitas)

29 IF-UTAMA

Fungsi Aktivasi

• Fungsi saturating linear dirumuskan sebagai:

30 IF-UTAMA

Fungsi Aktivasi

• Fungsi sigmoid biner dirumuskan sebagai:

Fungsi Aktivasi

(9)

NEURAL NETWORKS AS

DIRECTED GRAPHS

• Neural networks maybe represented as directed

graphs:

– Synaptic links

(linier I/O)

– Activation links

(nonlinier I/O)

– Synaptic convergence

– Synaptic divergence

w

kj

x

_j

y

k=

w

kj

x

j

( )

• ϕ

x

_j

y

k=ϕ

( )

x

j

y

k

=y

i

+ y

j

y

i

y

_j

x

j

x

j

x

_j 33 IF-UTAMA

NEURAL NETWORKS AS

DIRECTED GRAPHS

• Architectural graph: partially complete

directed graph

Output

y

_k

x

₀

=+1

x

m

x

2

x

1 . . . 34 IF-UTAMA

FEEDBACK

• Output of a system influences some of the

input applied to the system

• One or more closed paths of signal

transmission around the system

• Feedback plays an important role in

recurrent networks

35 IF-UTAMA

FEEDBACK

• Sample single-loop feedback system

• Output signal y

_k

(n)

is an infinite weighted

summation of present and past samples of input

signal x

_j

(n)

IF-UTAMA 36

∑

∞ = +

−

=

0 1

)

(

)

(

l j l k

n

w

x

n

l

y

_x

_j(n−l)

x’

j

(n)

x

j

(n)

y

k

(n)

w

z

-1 w is fixed weight z-1_{is unit-delay operator} is sample of input signal delayed by l time units

(10)

Neural Network dan Aplikasi

• Klasifikasi: ADALINE, Backpropagation

• Pengenalan Pola: ART, Backpropagation

• Peramalan: ADALINE, MADALINE,

Backpropagation

• Optimasi: ADALINE, Hopfield, Boltzman,

Backpropagation

37 IF-UTAMA

Konsep Dasar Artificial Neural

Computing

Processing Unit Linear Threshold Unit

input

x

₁

x

₂

x

₃

bias

w

₁

w

₂

w

₃

w

_b 1 if x1*w1 + x2*w2 + x3*w3+ bias * wb> 0 0 if x1*w1 + x2*w2 + x3*w3+ bias * wb<= 0 38 IF-UTAMA

Artificial

Neuron

Model

• Neuron

j

menghitung tingkat aktivasinya :

• Dengan f adalah satu dari beberapa fungsi aktivasi yang ada

Model sel syaraf (dengan menyertakan

threshold)

(11)

Model sel syaraf (dengan menyertakan

nilai bias)

41 IF-UTAMA

McCulloch Pitts

• Fungsi aktivasi biner

• Besar bobotnya sama

• Memiliki threshold yang sama

42 IF-UTAMA

The first Neural Networks

X

1

X

2

Y

0

1

0

1

0

1

1 X

1

X

2

Y

1 1 Threshold=2

Fungsi AND

AND

43 IF-UTAMA

Problem “AND”

X1

X2

net

Y

(1 jika net>=2, 0 jika net<2)

1

1 1.1+1.1=2

1

0 1.1+0.1=1

0

1 0.1+1.1=1

0

0 0.1+0.1=0

0 Ternyata BERHASIL mengenali pola

X1 X2 Y 2 1 1 44 IF-UTAMA

(12)

The first Neural Networks

X

₁

X

₂

Y

0

1

0

1

1 X

1

X

2

Y

2 2 Threshold=2

Fungsi OR

OR

45 IF-UTAMA

Problem “OR”

X1

X2

net

Y

(1 jika net>=1, 0 jika net<1)

1

1 1.1+1.1=2

1

0 1.1+0.1=1

1

0

1 0.1+1.1=1

1

0

0 0.1+0.1=0

0 Ternyata BERHASIL mengenali pola

X1 X2 Y 1 1 1 46 IF-UTAMA

The first Neural Networks

X

1

X

2

Y

0

1

0

1

0

1

0 X

1

X

2

Y

2 -1 Threshold=2

Fungsi AND-NOT

AND-NOT

Problem “X1 and not(X2)”

X1

X2

net

Y

(1 jika net>=2, 0 jika net<2)

1

1 1.2+1.-1=1

0

1

0 1.2+0.-1=2

1

0

1 0.2+1.-1=-1 0

0

0 0.2+0.-1=0

0 Ternyata BERHASIL mengenali pola

X1 X2 Y 2 2 -1

(13)

The first Neural Networks

X

1

X

2

Y

0

1

0

1

0 X

1

XOR X

2

= (X

1

AND NOT X

2

) OR (X

2

AND NOT X

1

)

XOR

Z

1

Z

2

Y

2 2 Threshold=2

Fungsi XOR

X

1

X

2 2 2 -1 -1 Threshold=2 49 IF-UTAMA

Tabel

50 IF-UTAMA

ARTIFICIAL INTELLIGENCE

AND NEURAL NETWORKS

Parameter Artificial

Intelligence

Neural Networks Level of Explanation Symbolic

representation with

sequential processing

Parallel distributed processing (PDP) Processing Style Sequential Parallel

Representational Structure

Quasi-linguistic structure

Poor

Summary Formal manipulation of algorithm and data representation in top

down fashion

Parallel distributed processing with natural ability to learn in bottom up fashion