Studi Modifikasi standard Backpropagasi

Studi Modifikasi standard Backpropagasi

1. Modifikasi fungsi objektif dan turunan 2. Modifikasi optimasi algoritma

Step Studi :

1. Studi literatur

2. Studi standard backpropagasi

a. Uji coba standar backpropagasi pada xor problem b. Evaluasi karakteristik standar backpropagasi 1). Tingkat konvergensi ke global minimum

2). Tingkat akurasi output

3. Studi modifikasi standar backpropagasi

a. Uji coba modifikasi standar backpropagasi pada xor problem b. Evaluasi karakteristik modifikasi standar backpropagasi 1). Tingkat konvergensi ke global minimum

2). Tingkat akurasi output

4. Membandingkan standar dan modifikasi backpropagasi a. Tingkat konvergensi ke global minimum

b. Tingkat akurasi output 5. Implementasi

a. Programing

b. Management Database

Backpropagasi

Backpropagasi merupakan algoritma pelatihan untuk memperkecil tingkat error dengan menyesuaikan bobot berdasarkan perbedaan output dan target yang diinginkan.

Proses pelatihan :

1. Pengambilan input 2. Penelusuran error 3. Penyesuaian bobot

Arsitektur :

Y₁ Y_k Y_m

Z₁ Z_j Z_p

X₁ X_j X_n

1 1

w₀₁ w₁₁ w_j1 w_p1 w_ok W_1k W_jk W_pk w_0m W_1m

W_jm W_pm

V₀₁ V11 Vj1 V_n1 V_oj V_1j V_ij V_nj V_0p V_1p V_ip Vnp

Algoritma :

Step 0 : Inisialisai Bobot

• Random

• Nguyen-Widrow

Step 1 : Selama kondisi stopping FALSE, lakukan Step 2-9

Step 2 : Untuk setiap pasangan pelatihan, lakukan Step 3-8 (Proses Feedforward) :

Step 3 : Setiap unit input (Xi, i = 1,…,n) :

• menerima input xi

• mengirimkannya ke semua unit layer diatasnya (Hidden layer).

Step 4 : Setiap unit hidden (Zj, j = 1,…,p)

• menghitung semua sinyal input dengan bobotnya : z_inj = voj + Σxi vij

• menghitung nilai aktivasi setiap unit hidden sebagai output unit hidden :

z_j = f(z_in_j)

• mengirim nilai aktivasi sebagai input untuk unit output.

Step 5 : Setiap unit output (Yk, k = 1,…,m)

• menghitung semua sinyal inputnya dengan bobotnya : y_ink = wok + Σzj wjk

* menghitung nilai aktivasi setiap unit output sebagai output jaringan.

yk = f(y_ink)

(Backpropagation of error) :

Step 6 : Setiap unit output (Y_k, k = 1,…,m) :

• menerima pola target yang bersesuaian dengan pola input

• menghitung informasi error : δk = (tk - yk) f’(y_ink)

• menghitung besarnya koreksi bobot unit output : ∆wjk = α ∂E(wjkj)/∂wjk = α δk zj

• menghitung besarnya koreksi bias output : ∆w0k = α δk

• mengirimkan δk ke unit-unit yang ada pada layer di bawahnya.

Step 7 : Setiap unit hidden (Zj, j = 1,…,p) :

* menghitung semua koreksi error : δ_inj = Σδk wjk

• menghitung nilai aktivasi koreksi error : δj = δ_inj f’(z_inj)

• menghitung koreksi bobot unit hidden :

∆vij = α δj xi

* menghitung koreksi error bias unit hidden: ∆v0j = α δj

Step 8 : Setiap unit output (Yk, k = 1,…,m) :

* meng-update bobot dan biasnya (j = 0,…,p) : wjk(baru) = wjk(lama) + ∆wjk

w0k(baru) = w0k(lama) + ∆w0k

Setiap unit hidden (Zj, j = 1,…,p)

* meng-update bobot dan biasnya (i = 0,…,n) : vij(baru) = v_ij(lama) + ∆vij

v0j(baru) = v0j(lama) + ∆v0j

Step 9 : Kondisi stopping ( Toleransi error )

Metode Inisialisasi Nguyen Widrom :

Menentukan faktor skala : β = 0.7 (p) ^1/n

β : faktor skala

n : jumlah unit input p : jumlah unit hidden

Algoritma :

Untuk setiap unit hidden (j=1, ... , p) :

• Inisialisasi bobot secara random

v_ij = bilangan acak antara -0.5 sampai 0.5

p

• Hitung : || v_j || = √ { Σ (v_ij)²}

i=1

• Update bobot v_ij = β v_ij || v_j ||

• Set bias v_0j : bilangan acak antara - β sampai β

Ar s i t ek t ur J NPB

JNPB terdiri dari satu lapis masukan

satu atau lebih lapis tersembunyi satu lapis keluaran.

Lapisan masukan hanya bertugas meneruskan masukan dan tidak melakukan komputasi, sementara lapisan tersembunyi dan lapisan keluaran melakukan komputasi.

Jumlah neuron pada lapisan masukan sama dengan jumlah ciri atau atribut pada pola yang akan dikenali, sedang jumlah neuron pada lapisan keluaran sama dengan jumlah kelas pola.

Y₁ Y_k Y_m

Z₁ Z_j Z_p

X₁ X_j X_n

1 1

w₀₁ w11 w_j1 wp1 w_ok W1k Wjk W_pk w0m W_1m W_jm Wpm

V₀₁ V₁₁ V_j1 V_n1 V_oj V_1j V_ij V_nj V0p V_1p Vip V_np

Lapisan masukan Lapisan tersembunyi Lapisan keluaran

Algoritma

1. Tentukan inisialisasi bobot awal Random

Nguyen Widrow

2. Mekanisme komputasi jaringan Terdapat dua macam jenis komputasi, komputasi maju (forward pass) komputasi balik (backward pass).

2.a. Komputasi Maju

Dalam komputasi maju, menghitung nilai aktivasi semua neuron (lapis tersembunyi dan lapis keluaran); mulai dari neuron masukan menuju neuron keluaran

1. Neuron pada lapis tersembunyi menghitung nilai total masukan : menjumlahkan perkalian sinyal masukan dari lapisan masukan

dengan bobot antara lapisan masukan dan lapisan tersembunyi, dan bias tertentu.

2. Neuron tersebut lalu menghitung nilai aktivasi dengan menerapkan fungsi aktifasi pada nilai total masukan.

3. Sinyal keluaran dari lapisan tersembunyi menjadi masukan bagi lapisan keluaran. Neuron pada lapisan keluaran menghitung nilai total masukan neuron keluaran (lihat 1).

4. Neuron bersangkutan menghitung nilai aktivasi neuron keluaran dengan menerapkan fungsi aktifasi pada nilai total masukan neuron kelurana (lihat 2).

Step 1 : Selama kondisi stopping FALSE, lakukan Step 2-9

Step 2 : Untuk setiap pasangan pelatihan, lakukan Step 3-8 (Proses Feedforward) :

Step 3 : Setiap unit input (X_i, i = 1,…,n) :

• menerima input xi

• mengirimkannya ke semua unit layer diatasnya (Hidden layer).

Step 4 : Setiap unit hidden (Zj, j = 1,…,p)

• menghitung semua sinyal input dengan bobotnya : z_inj = voj + Σxi vij

• menghitung nilai aktivasi setiap unit hidden sebagai output unit hidden :

zj = f(z_inj)

• mengirim nilai aktivasi sebagai input untuk unit output.

Step 5 : Setiap unit output (Yk, k = 1,…,m)

• menghitung semua sinyal inputnya dengan bobotnya : y_ink = wok + Σzj wjk

* menghitung nilai aktivasi setiap unit output sebagai output jaringan.

yk = f(y_ink)

2.b. Perhitungan Komputasi Balik

Komputasi balik dimulai dari lapisan keluaran. Komputasi balik bertujuan untuk menyesuaikan bobot dalam jaringan.

1. Setiap neuron di lapisan keluaran menghitung selisih target keluaran dan sinyal keluaran.

2. Setiap neuron di lapisan keluaran menghitung dan menyesuaikan bobot hubungan dari dirinya ke semua neuron di lapisan

tersembunyi.

3. Propagasikan sinyal kesalahan ke lapisan tersembunyi sehingga setiap neuron di lapisan tersembunyi menghitung dan menyesuaikan

bobot hubungan dari dirinya ke semua neuron di lapisan masukan (lihat 2)

Fungs i Kes al ahan

Algoritme propagasi balik menggunakan prosedur gradient

descent atau menuruni lembah permukaan error, untuk meminimisasi suatu fungsi kesalahan. Fungsi kesalahan yang umum dipakai ialah fungsi error kuadratis:

E = 1

2 (d - o )_{k k} ²

k

∑

_(2.11)

At ur an Pembel aj ar an

Proses pembelajaran JNPB adalah sebagai berikut:

1. Inisialisasi bobot awal.

2. Untuk tiap pola pelatihan lakukan langkah 3 dan langkah 4.

3. Lakukan langkah komputasi maju:

• Setiap neuron di lapisan masukan menerima sinyal x_i dan meneruskannya ke semua neuron di lapisan tersembunyi.

• Setiap neuron di lapisan tersembunyi menjumlahkan sinyal masukan yang dikalikan dengan bobot bersesuaian:

Z in

_j

v

_j

x v

_{i ij}

i n

_ = +

∑

= 0

1

lalu menghitung sinyal keluaran dengan fungsi aktifasi:

Z

_j

= ( _ f Z in

_j

)

dan meneruskan sinyal ini pada semua neuron di lapisan keluaran.

• Setiap neuron di lapisan keluaran menjumlahkan sinyal masukan yang dikalikan dengan bobot bersesuaian:

y in_k w _k z w_{j jk}

j p

_ = +

∑

= 0

1

lalu menghitung sinyal keluaran dengan fungsi aktifasi:

y

_j

= ( _ f y in

_k

)

4. Lakukan komputasi balik : a. Komputasi di lapis keluaran:

• Setiap neuron di lapisan keluaran diberikan target masukan tertentu.

• Hitung sinyal error δ_k untuk setiap neuron k di lapisan ini:

δ

_k

= ( t

_k

− y

_k

) f

^'

( _ y in

_k

)

• Hitung modifikasi bobot untuk setiap hubungan antara neuron bersangkutan dengan semua neuron di lapisan tersembunyi:

∆w

_jk

= αδ

_k

z

_j

• Hitung modifikasi bias untuk setiap neuron di lapisan keluaran:

∆w

_0k

= αδ

_k

b. Komputasi di lapis tersembunyi:

• Hitung sinyal error δ_j untuk setiap neuron j di lapisan tersembunyi:

d _{j k}w_jk f z in_j

k m

=

∑

=

(

δ

) ^'( _ )

1

• Hitung modifikasi bobot untuk hubungan antara neuron bersangkutan dengan semua neuron di lapisan masukan:

∆v

_ij

= αδ

_j

x

_i

• Hitung modifikasi bias untuk setiap neuron di lapisan tersembunyi:

∆v

_{0 j}

= αδ

_{j i}

• Ubah bobot dan bias

w

_jk

( new ) = w

_jk

( old ) + ∆ w

_jk

v new

_ij

( ) = v old

_ij

( ) + ∆ v

_ij

Bias juga dirubah

Wok baru = wok lama + alfa.wok lama Voj baru = voj lama + alfa.voj lama

5. Uji kriteria kesalahan, bila kesalahan lebih besar dari batas yang telah ditetapkan, ulangi langkah 2 sampai 4; bila tidak, pelatihan selesai.

Fak t or - f ak t or dal am Pembel aj ar an

Beberapa faktor yang mempengaruhi keberhasilan algoritme propagasi balik, antara lain:

1. Inisialisasi bobot

Bobot awal menentukan apakah jaringan akan mencapai global minima atau local minima kesalahan, dan seberapa cepat jaringan akan konvergen. Inisialisasi acak merupakan cara yang paling sering

digunakan dalam inisialisasi bobot. Untuk mempercepat proses pelatihan, suatu modifikasi dari inisialisasi acak diperkenalkan oleh Nguyen dan Widrow. Inisialisasi Nguyen-Widrow didefinisikan sebagai:

• Untuk bias dan bobot hubungan antara semua neuron di lapisan tersembunyi dan semua neuron di lapisan keluaran, lakukan inisialisasi acak dengan jangkauan -0,5 dan 0,5.

• Untuk bias bobot hubungan antara lapisan tersembunyi dan lapisan masukan, lakukan sebagai berikut:

◊ Hitung β = 0.7 (P)^1/N di mana adalah faktor skala, P adalah ukuran lapisan tersembunyi dan N adalah ukuran lapisan masukan.

◊ Untuk setiap neuron j di lapisan tersembunyi, lakukan sebagai berikut:

⇒ Inisialisasi secara acak bobot antara neuron bersangkutan dengan semua neuron di lapisan masukan: w_ij = bilangan acak antara -0,5 dan 0,5.

⇒ Hitung norma wj:

||w || = _j w_ij

i

∑

⇒ Inisialisasi kembali wij:

w = w

||w ||

ij

ij j

β (2.12)

⇒ Inisialisasi bias: θj = bilangan acak antara -β dan β.

Sebagai pengganti inisialisasi acak, dalam tugas akhir ini akan dipakai inisialisasi Nguyen-Widrow.

2. Laju pembelajaran

Merupakan parameter jaringan dalam mengendalikan proses

penyesuaian bobot. Nilai laju pembelajaran yang optimal bergantung pada kasus yang dihadapi. Laju pembelajaran yang terlalu kecil

menyebabkan konvergensi jaringan menjadi lebih lambat, sedang laju pembelajaran yang terlalu besar dapat menyebabkan

ketidakstabilan pada jaringan

3. Momentum

Momentum digunakan untuk mempercepat pelatihan jaringan.

Metode momentum melibatkan penyesuaian bobot ditambah dengan faktor tertentu dari penyesuaian sebelumnya. Penyesuaian ini

dinyatakan sebagai berikut:

∆ w

_jk

( t + = 1 ) αδ

_k

z

_j

+ µ ∆ w

_jk

( ) t

_(2.13)

Notasi :

• X : nilai masukan , X = ( X₁, ... Xi, ...Xn )

• v : bobot antara bias atau input dengan hidden

• Z : nilai aktivasi hidden, Z = ( Z₁, ... Xj, ...Xp ) Zj = f (z_in)

_n z_inj = v0j +Σ x_i vij i=1

• w : bobot antara bias atau hidden dengan output

• Y : nilai output aktual, Y = ( Y₁, ... Yk, ...Ym ) Yk = f (y_in)

_p y_ink = w0k +Σ x_i vij k=1

Update bobot : tanpa momentum

wjk(t+1) = wjk(t) + ∆w_jk

∆w_jk = - α ∂E(w_jk) ∂ w_jk v_ij(t+1) = v_ij(t) + ∆v_ij

∆v_ij = - α ∂E(v_ij) ∂ v_ij

Update bobot : dengan momentum

w_jk(t+1) = w_jk(t) + ∆w_jk + η ∆w_jk(t-1) ∆w_jk = - α ∂E(w_jk)

∂ w_jk

vij(t+1) = vij(t) + ∆v_ij + η ∆v_ij(t-1)

∆v_ij = - α ∂E(v_ij) ∂ v_ij

Fungsi Error : Kuadratik

E = 0.5 Σ_k (t_k - Y_k)²

Untuk update bobot antara hidden dan output ;

∂E = ∂ E ∂ Y_k ∂ y_in_k ∂wjk ∂Y_k ∂ y_in_k ∂w_jk

∂ E = - Σ_k (tk - Yk) ∂Y_k

Yk = f(y_ink)

∂Y_k = f ‘ (y_ink)

∂ y_in_k

y_in_k = w_ok + Σz_j w_jk

∂ y_in_k = zj

∂ w_jk

∂E(w_jk) = - Σ_k (t_k - Y_k) f ‘ (y_in_k) z_j

∂wjk

didefinisikan : δ _k = Σ_k(tk - yk) (f’(y_in))

∂E(w_jk) = - δ _k Zj

∂ w_jk

∆W = - α (- δ _k Zj )= α δ _k Zj

Untuk update bobot antara input dan hidden ;

∂E = ∂ E ∂ Y_k ∂ y_in_k ∂zj ∂ z_in_j

∂vij ∂Yk ∂ y_in_k ∂zj ∂ z_in_j ∂v_ij

∂E = - Σ_k (t_k - Y_k)

∂Yk

Yk = f(y_ink)

∂Y_k = f ‘ (y_in_k)

∂ y_in_k

y_ink = wok + Σzj wjk

∂ y_in_k = wjk

∂ z_j

∂ z_j = f ‘ (z_inj)

∂ z_in_j

n

z_inj = v0j +Σ x_i vij

i=1

∂ z_in_j = xi

∂ v_ij

∂E = - Σ_k (tk - Yk) f ‘(y_ink) wjk f ‘(z_inj) Xi

∂vij

didefinisikan : δ _k = Σ_k(t_k - y_k) (f’(y_in))

∂E = - Σ_k δ _k w_jk f ‘(z_in_j) X_i

∂vij

didefinisikan : δ _j = Σ_k δ _k wjk f ‘(z_inj)

∂E = - δ _j X_j

∂ v_ij

∆V = - α (- δ _j X_i )= α δ _j X_i