JARINGAN SYARAF TIRUAN (JST)

LEARNING

OUTLINE

 Decision tree learning

 Jaringan Syaraf Tiruan

 K-Nearest Neighborhood

JARINGAN SYARAF TIRUAN (JST)

Intro

 Definisi ANN

 Model Matematis Neuron

 Fungsi Aktivasi

 Arsitektur ANN

 Proses Belajar (Learning)

Perceptron

ANN dengan Supervised Learning

ANN dengan Unsupervised Learning

JARINGAN SARAF TIRUAN (JST)

oOtak terdiri dari neuron-neuron dan penghubung yang disebut sinapsis

oNeuron bekerja berdasarkan sinyal/impuls yang diberikan pada neuron

oNeuron memiliki 3 komponen penting yaitu dendrit, soma dan axon

Treshold Dendrit Badan Sel

ojaringan saraf tiruan adalah paradigma pengolahan informasi yang

terinspirasi oleh sistem saraf secara biologis

oJST dibentuk sebagai generalisasi model matematika dari jaringan syaraf

biologi, dengan asumsi bahwa :

1. Pemrosesan informasi terjadi pada panyak elemen sederhana (neuron).

2. Sinyal dikirim diantara neuron-neuron melalui penghubung-penghubung.

3. Penghubung antar neuron memiliki bobot yang akan memperkuat atau

memperlemah sinyal.

4. Untuk menentukan output, setiap neuron menggunakan fungsi aktivas.

Besarnya output ini selanjutnya dibandingkan dengan suatu batas ambang.

oJST juga ditentukan oleh 3 hal :

a. Pola hubungan antar neuron (disebut aritektur jaringan).

b. Metode untuk menentukan bobot penghubung (disebut metode

training/learning).

c. Fungsi aktivasi, yaitu fungsi yang digunakan untuk menentukan keluaran

KOMPONEN JST

oJaringan saraf tiruan memiliki komponen yang digunakan dalam membangun

suatu arsitektur-arsitektur jaringan

oNeuron dikelompokkan ke dalam beberapa lapisan yang mana saling memiliki

hubungan satu dengan yang lainnya yang disebut dengan lapisan (layer)

1. Lapisan Masukan (Input Layer), berisi node-node yang masing-masing

menyimpan sebuah nilai masukan

2. Lapisan Tersembunyi (Hidden Layer), proses pada fase pelatihan dan fase

pengenalan dijalankan di lapisan ini

ARSITEKTUR JST

PERCEPTRON

Neuron: Sel syaraf biologis

Perceptron: Sel syaraf buatan

 Input function

 Activation function

Perceptron

w

w

x1

xp

x2

.

.

.

PERCEPTRON

Jika manusia punya 10 milyar neuron, apa yang bisa dilakukan?

Sangat banyak hal bisa dilakukan

Apalagi jika Multiple Intelligence

Perceptron = MODEL SEDERHANA dari neuron

Apa yang bisa dilakukan oleh satu perceptron?

Klasifikasi

Prediksi

AND

0 ₁

1

x1 x2

x1 x2 y

0 0 0

0 1 0

1 0 0

1 1 1

x1 + x2

–

1,5 = 0

OR

0 ₁

1

x1 x2

x1 x2 y

0 0 0

0 1 1

1 0 1

1 1 1

XOR

0 ₁

1

x1 x2

x1 x2 y

0 0 0

0 1 1

1 0 1

1 1 0

x1 - x2 - 0,5 = 0

PERCEPTRON NETWORK



y



y



y

w

w

x1

xp

x2

LEARNING

Bagaimana menemukan

weights yang tepat?

x

₁

x

₂

x

₁

ACTIVATION FUNCTIONS

Hard Limit Threshold

Linear (Identity)

Sigmoid

Radial Basis Function (RBF)

1

LINEAR

(

IDENTITY

)

1

-1

v

v

v

)



(



)

(

v



0

1

RADIAL BASIS FUNCTION

(RBF)

2

)

(

v



e

av



1

0

v

ARSITEKTUR ANN

Para ahli memodelkan sel syaraf otak manusia ke dalam berbagai

arsitektur ANN (susunan neuron) yang berbeda-beda.

Input layer of source node

Output layer of neurons

Input layer of source

node

Layer of hidden neurons

Layer of output neurons

PROSES BELAJAR (

LEARNING

)

Learning process

Learning algorithm (rules) Learning paradigms

Supervised learning

Reinforcement

learning _{(unsupervised)}Self-organized learning Error-correction

learning

Bolzman

learning Thorndike's_{law of} effect

Hebbian learning

PERCEPTRON:

SIGNAL-FLOW GRAPH

x

₁

x

₂

w

₁

x

₁

+ w

₂

x

₂

-

θ

= 0

Pelamar

IPK

Psikologi

Wawancara

Diterima

P1

Bagus

Tinggi

Baik

Ya

P2

Bagus

Sedang

Baik

Ya

P3

Bagus

Sedang

Buruk

Ya

P4

Bagus

Rendah

Buruk

Tidak

P5

Cukup

Tinggi

Baik

Ya

P6

Cukup

Sedang

Baik

Ya

P7

Cukup

Sedang

Buruk

Ya

P8

Cukup

Rendah

Buruk

Tidak

P9

Kurang

Tinggi

Baik

Ya

P10

Kurang

Sedang

Buruk

Tidak

Pelamar

IPK

Psikologi

Wawancara

Diterima

P1

3

3

2

1

P2

3

2

2

1

P3

3

2

1

1

P4

3

1

1

0

P5

2

3

2

1

P6

2

2

2

1

P7

2

2

1

1

P8

2

1

1

0

P9

1

3

2

1

P10

1

2

1

0

ALGORITMA BELAJAR

PROPAGASI

BALIK

Definisikan masalah  Matriks pola masukan (P)

 matriks target (T)

Inisialisasi parameter jaringan  Arsitektur jaringan (misalkan I-H-O)

 Synaptic weights  acak (atau dengan metode tertentu)

 Learning rate (lr)  laju belajar

ALGORITMA BELAJAR

PROPAGASI

BALIK

Pelatihan Jaringan  Perhitungan Maju

ALGORITMA BELAJAR

PROPAGASI

BALIK

Pelatihan Jaringan  Perhitungan Mundur

ALGORITMA BELAJAR

PROPAGASI

BALIK

Pelatihan Jaringan  Perhitungan Mundur

1

1

1

W

dW

W





B

1



B

1



dB

1

2

2

2

W

dW

ALGORITMA BELAJAR

PROPAGASI

BALIK

Langkah-langkah di atas adalah untuk satu kali siklus pelatihan (satu

epoch).

Biasanya, pelatihan harus diulang-ulang lagi hingga jumlah siklus tertentu atau telah tercapai MSE yang diinginkan.

Hasil akhir dari pelatihan jaringan adalah bobot-bobot W1, W2, B1

Pola Pix

PENGENALAN KARAKTER E, F, G, O

0.71

Training

W1 & W2: Random

0.7

0.3

0.9

A1

F2, G2, O2, …

0.01

Metode Konvensional (Template Matching)

PERMASALAHAN PADA MLP

Bagaimana struktur ANN yang optimal?

 Jumlah hidden layer

 Jumlah neuron pada hidden layer

 Jumlah neuron pada output layer

 Fungsi aktivasi yang optimal

Learning Rate

ALGORITMA BELAJAR

PROPAGASI

BALIK

Pelatihan Jaringan  Perhitungan Mundur

PENGUMPULAN DATA

oJenis data yang digunakan pada penelitian ini adalah jenis data

kuantitatif

oJumlah data sebanyak 500 data tanda tangan dari 10 orang yang

AKUISISI CITRA

o

Akuisisi

citra

digital

merupakan

proses

menangkap

(capture)

atau memindai

(scan)

citra

analog sehingga diperoleh citra digital.

o

Alat yang dapat digunakan untuk mengakuisisi

PREPROCESSING

oPemotongan (Cropping)

oResize

oCitra keabuan (grayscale)

PEMOTONGAN (CROPPING)

oProses croping dilakukan untuk mendapatkan masing-masing citra

RESIZE

CITRA RGB

o Inputan citra digital awal masih

CITRA KEBUAN

CITRA BINER

o Citra biner adalah citra digital

oSetelah nilai warna citra diubah dalam biner, nilai biner tersebut

LABELING

oSetelah preprocessing selesai maka akan didapat nilai biner dalam

oProses pemberian label ini adalah proses klasifikasi pada setiap vector

dari semua 400 citra latih yang sudah didapatkan

oPemberian label ini bertujuan agar vector yang sudah dilatih dapat

dikenali sebagai vector dari citra tanda tangan yang tepat

Citra Tanda Tangan Label Target

1 –40 Afi 0 0 0 1

41 –80 Andri 0 0 1 0

81 –120 Candra 0 0 1 1

121 –160 Damar 0 1 0 0

161 –200 Dian 0 1 0 1

201 –240 Enjang 0 1 1 0

241 –280 Rama 0 1 1 1

281 –320 Restu 1 0 0 0

321 –360 Riqza 1 0 0 1

PROSES PELATIHAN

oPerceptron

PERCEPTRON

oModel jaringan perceptron ditemukan oleh Rosenblatt (1926) dan

Minsky – Papert (1969). Model tersebut merupakan model yang

ARSITEKTUR JST

ACTIVATION FUNCTIONS

(FUNGSI AKTIVASI)

Hard Limit Threshold

Linear (Identity)

Sigmoid

Radial Basis Function (RBF)

PROSES PEMBELAJARAN PERCEPTRON

Misalkan:

•s adalah vektor masukan dan t adalah target keluaran

•α adalah laju pemahaman (learning rate) yang ditentukan.

ket:

y_in = nilai output sebelum dimasukan ke dalam fungsi aktivasi

Ket :

Δw = nilai pembaruan bobot

Ada beberapa hal yang perlu diperhatikan dalam algoritma tersebut :

•Iterasi dilakukan terus hingga semua pola memiliki keluaran jaringan

yang sama dengan targetnya (jaringan sudah memahami pola).

•Pada langkah 2(c), perubahan bobot hanya dilakukan pada pola

yang mengandung kesalahan (output ≠ target).

•Kecepatan iterasi ditentukan pula oleh laju pemahaman yang

dipakai. Semakin besar harga α, semakin sedikit iterasi yang

diperlukan. Akan tetapi jika α terlalu besar, makan akan merusak

BACKPROPAGATION

oKelemahan JST terdiri dari layer tunggal membuat perkembangan

JST menjadi berhenti pada sekitar tahhun 1970-an.

oJST dengan layer tunggal memiliki keterbatasan dalam pengenalan

pola.

oKelemahan ini bisa ditanggulangi dengan menambahkan

satu/beberapa layer tersembunyi diantara layer masukan dan keluaran.

obackpropagation melatih jaringan untuk mendapatkan

ARSITEKTUR BACKPROPAGATION

oBackpropagation adalah metode penurunan gradien untuk

meminimalkan kuadrat error keluaran.

oAda tiga tahap yang harus dilakukan dalam pelatihan jaringan,

yaitu tahap perambatan maju (forward propagation), tahap

FUNGSI AKTIVASI

Dalam backpropagation, fungsi aktivasi yang sering dipakai adalah :

oFungsi sigmoid biner yang memiliki range (0 hingga 1).

PROSES PEMBELAJARAN BACKPROPAGATION

Proses ini menggambarkan contoh tiga lapisan dengan dua input dan satu output yang ditampilkan

Ket:

x = input

V = bobot yang menuju hidden layer Z = hidden layer

Proses perambatan maju / feed forward (mecari nilai hidden layer)

Ket :

z_net = nilai bayangan hidden layer/nilai hidden layer yang belum masuk fungsi aktivasi

Ket :

y_net = nilai bayangan output layer/nilai output layer yang belum masuk fungsi aktivasi y = nilai hidden layer

oLakukan langkah-langkah tersebut hingga nilai kesalahan terpenuhi

atau hingga jumlah iterasi telah mencai batas maksimum.

oSetelah pelatihan selesai dilakukan, jaringan dapat dipakai untutk

pengenalan pola.

oApabila fungsi aktivasi yang dipakai bukan sigmoid biner, maka

MENGHITUNG MSE

Ket :

e = error

MODEL PENGETAHUAN

oModel pengetahuan pada dasarnya adalah sebuah wadah yang

menyimpan arsitektur jaringan dari kedua algoritma yang sudah dilatih dengan data latih hingga mendapakan akurasi tertentu.

oDi dalam model pengetahuan disimpan pengetahuan berupa jumlah

PROSES PENGUJIAN

oData uji akan melewati proses awal yang sama seperti pada data

latih yaitu proses preprocessing (pemotongan, resize, citra keabuan,

citra biner dan vector)

oSetelah vector data uji di dapat,vector tersebut akan dimasukan ke

HASIL

oPelatihan

oPengujian

okebutuhan jaringan sebagai berikut :

1. Batas epoch / iterasi maksimal adalah 1000 epoch

2. Target error (MSE) sebesar 0,0001

3. Learning rate sebesar 0,1 hingga 0,9

4. Untuk bobot jaringan ditentukan secara acak oleh komputer

PELATIHAN

Citra Label Target Target (desimal)

Jumlah

citra Citra dikenali

Citra tidak dikenali

jumlah 400 400 0

Perceptron

PELATIHAN

Citra Label Target Target (desimal)

Jumlah

citra Citra dikenali

Citra tidak dikenali

jumlah 400 400 0

Backpropagation

Berdasarkan evaluasi hasil latih terhadap data latih, didapatkan rata

PENGUJIAN

Citra Jumlah Citra dikenali Citra tidak dikenali

Afi41 –afi50 10 10 0

Andri41 –andri50 10 7 3

Candra41 –

candra50 10 10 0

Damar41 –

damar50 10 6 4

Dian41 –dian50 10 10 0

Enjang41 –

enjang50 10 4 6

Rama41 –rama50 10 8 2

Restu41 –restu50 10 9 1

Riqza41 –riqza50 10 2 8

Rizki41 –rizki50 10 10 0

jumlah 100 76 24

Perceptron

PENGUJIAN

Backpropagation

Citra Jumlah Citra dikenali Citra tidak dikenali

Afi41 –afi50 10 10 0

Andri41 –andri50 10 9 1

Candra41 –

candra50 10 10 0

Damar41 –

damar50 10 9 1

Dian41 –dian50 10 10 0

Enjang41 –

enjang50 10 3 7

Rama41 –rama50 10 10 0

Restu41 –restu50 10 10 0

Riqza41 –riqza50 10 5 5

Rizki41 –rizki50 10 10 0

jumlah 100 86 14

 Suyanto. 2007. Artificial Intelligence: Searching, Reasoning, Planning and Learning. Informatika, Bandung Indonesia. ISBN: 979-1153-05-1.

 Russel, Stuart and Norvig, Peter. 1995. Artificial Intelligence: A Modern

Approach. Prentice Hall International, Inc.