Unit Sigmoid

η α Sum of squares

JARINGAN SARAF BUATAN LAPISAN BANYAK

3.1 Unit Sigmoid

Unit perceptron merupakan salah satu tipe dari jaringan saraf buatan dengan unit tunggal dengan fungsi yang dihasilkan adalah fungsi yang

linear. Namun, unit perceptron tidak dapat menjelaskan fungsi yang non

linear, Oleh karena itu, Jaringan saraf buatan lapisan banyak mampu

menggambarkan fungsi yang non linear. Salah satu solusinya adalah dengan unit sigmoid, yaitu sebuah unit yang mirip dengan perceptron, dan proses dasar pekerjaan dilakukan sesuai tahapan.

Sama dengan perceptron, unit sigmoid pertama kali menghitung kombinasi linear dari input, kemudian menggunakan nilai batas untuk hasilnya. Pada kasus unit sigmoid, hasil output merupakan fungsi yang kontinu dari input-inputnya dan unit sigmoid menghitung output ok^{, secara}

( )

x

Rumus fungsi sigmoid:

o( net )= n i =0 w _ji. x_i +θ_{j 0 (3.1)}

σ

= ¹ −o ( net ) (3.2) Maka output ok 1 +e n ok = σ( i =0 w _ji. x_i + θ_{j 0 )} (3.3)

dimana x1^{, x}2^{, ..., x}n ^{adalah input,} o

(

x₁ ,..., x_n

)

adalah output dan wi adalah

bobot yang menentukan kontribusi dari input xi pada output

backpropagation. σ disebut fungsi sigmoid atau fungsi logistik. Range

output yang dihasilkan oleh unit sigmoid antara 0 sampai 1, dan bersifat

monoton naik. Karena unit sigmoid memetakan domain bilangan input yang sangat besar ke range output yang kecil, Sigmoid sering disebut dengan pengkompresan hasil dari unit. Fungsi sigmoid memiliki sifat bahwa turunannya secara mudah diperlihatkan dalam bentuk output

=

σ(

y

)

⋅

(

1 −

σ(

y

))

_{. Unit sigmoid diilustrasikan sebagai berikut:}

d

σ

y ^dy x0=1 w0 w1 1 x2 ^w2 w0 xn n net = w_i x _j + θ_{j 0} j =0 Gambar 3.1. Sigmoid o =σ (net) = ¹ 1 +e ^{−o ( net )}

= _{k k} 3.2. Turunan dari Aturan Algoritma Backpropagation

Masalah yang paling pokok dalam bab ini adalah aturan penurunan

stokastik gradient descent yang diimplementasikan oleh algoritma

backpropagation. Berdasarkan persamaan (3.0) bahwa stokastik gradient

descent melibatkan iterasi pada sebuah waktu contoh percobaan, untuk

setiap contoh percobaan d menurunkan nilai gradient dari error Ed ^pada

contoh tunggal. Dengan kata lain, untuk setiap contoh percobaan d setiap bobot wij ^{di update oleh penambahan} ∆w_ij dengan rumus sebagai berikut:

∆w_ij =−

η

=^∂Ed

∂w_ij ^(3.4)

Dimana Ed adalah error pada contoh percobaan d ditambahkan dengan semua unit output pada jaringan (persamaan 3.0)

1

E_d

2

⁽

^{t −o}

⁾

2

k∈output

outputnya disini adalah himpunan dari unit output pada jaringan, tk adalah nilai target dari unit k untuk contoh percobaan d dan ok ^{adalah output dari}

unit k pada contoh percobaan d. Notasi :

x ji = input ke i sampai input j

wji = bobot dengan input ke i sampai input j

netj ⁼ _i ^w _ji ^x _ji ^{(jumlahan bobot dari input untuk unit j)}

oj = output dihitung berdasarkan unit j

j

σ

= fungsi sigmoid

output = himpunan dari unit-unit pada lapisan terakhir dari

suatu jaringan

Downstream(j) =himpunan dari unit-unit yang berada satu lapisan

dibawahnya termasuk output dari unit j

Penurunan stokastik gradient descent =^∂Ed

∂w _ji ^{merupakan implementasi}

dari persamaan (3.4). Dengan catatan bahwa bobot wij dapat mempengaruhi sisa dari jaringan hanya sampai netj^{. Oleh karena itu,}

=^∂E d ^{∂E ∂net} j = d ∂w _ji ∂net _j ∂w _ji ==^∂Ed ^∂ i ^w ji ^x ji ∂net _j = =^∂Ed _x ∂net ^ji ∂w _ji (3.5) dalam penurunan =^∂Ed

∂w _ji ^{terdapat dua pandangan kasus yaitu: kasus dimana}

unit j adalah unit keluaran untuk jaringan dan kasus dimana j adalah unit tersembunyi untuk jaringan.

Kasus 1 : Aturan percobaan untuk bobot unit output.

wij ^{dapat mempengaruhi sisa dari jaringan hanya sampai net}j^{, net}j ^dapat

∂

( )

j j

( )

j ∂E_d j j =^∂Ed ==^∂E d ^∂o j (3.6) ∂net _j ∂o _j ∂net _j

pandang bentuk pertama pada persamaan 3.0

∂E_d ∂ 1 2 = ∂o _j ∂o _j 2 _k∈output

⁽

^{t k −ok}

⁾

Penurunan

(

t _k ∂o _j ^−ok

⁾

2

akan nol untuk semua unit output k kecuali saat k = j.

= ∂E_d = ^{∂ 1}

(

t −o

)

2 ∂o_j ∂o_j 2 1 ^∂

(

t −o

)

= 2 t −o 2 ^{j j} ∂o_j =−(t_j −o_j ) ^(3.7)

karena o _j = σ net _j , penurunan ^{∂o j}

∂net _j ^{merupakan penurunan dari fungsi}

sigmoid, yang sama dengan

σ

(

net _j

)(

1 −

σ

(

net _j

))

. Oleh karena itu, ∂o _j ∂

σ

(

net _j

)

= ∂net _j ∂net _j =

σ

' ₍ net ) =

σ

(net _j )(1 −

σ

(net _j )) =o _j

(

1 −o _j

)

(3.8) substitusikan persamaan (3.7) dan (3.8) kedalam persamaan (3.6). Didapatkan,

=^∂Ed ₌=^∂E d ^∂o j ∂net _j ∂o _j ∂net _j =−

(

t _j −o _j

)

o _j

(

1 −o _j

)

∂net (3.9) j

j

dan kombinasikan persamaan (3.9) dengan persamaan (3.4). Maka didapatkan aturan stokastik gradient descent untuk unit output

∆w_ij =−

η

=^∂Ed ∂w_ij

=−

η

=^∂E d ^∂net j ∂net _j ∂w _ji

=η

(

t _j −o _j

)

o _j

(

1 −o _j

)

x _{ji (3.10)}

Kasus 2 : Aturan Percobaan untuk Bobot unit tersembunyi

Pada kasus ini j merupakan unit tersembunyi pada jaringan, turunan dari aturan percobaan untuk wji ^{harus mengmbil perhitungan secara tidak langsung dimana w}ji

dapat mempengaruhi output jaringan dan Ed^{. Notasikan himpunan semua unit}

yang input-inputnya termasuk dalam output unit j dengan Downstream (j). Catat bahwa netj ^{dapat mempengaruhi jaringan keluaran dan E}d ^{hanya sampai unit pada}

Downstream (j). Oleh karena itu, dapat ditulis sebagai berikut:

=^∂Ed ₌ =^∂Ed ^∂netk ∂net _{j k}∈Downstream( j ) ^∂netk ^∂net j

= −

δ

=^∂netk k net k∈Downstream( j ) ^∂ j ∂net ^∂o j = −δ k k∈Downstream( j ) k ∂o ∂net _j = −

δ

w ^{∂o j} k∈Downstream( j ) k kj ^∂net j = −

δ

_k w_kj o _j

(

1 −o _j

)

k∈Dow nstream( j ) (3.11)

setelah mengatur kembali bentuk persamaan di atas dan menggunakan δ_j

untuk menotasikan −=^∂Ed _{, didapatkan} ∂net _j

δ

_j =o _j

(

1 −o _j

)

δ

_k w_kj k∈Dow nstream( j ) (3.12) dan ∆w _ji = ηδ_j x _ji ^(3.13)

3.3. Penggunaan Faktor Momentum

Banyak variasi yang dapat dikembangkan dari penggunaan algoritma

backpropagation, salah satunya adalah mengubah aturan perubahan bobot

pada algoritma backpropagation persamaan 3.13, yaitu membuat perubahan bobot pada n iterasi yang secara parsial bergantung pada update yang terjadi selama (n-1) iterasi, dengan persamaan:

∆w _ji

(

n

)

= ηδ_j x _ji +α∆w _ji

(

n − 1

)

^(3.14)

∆w _ji

(

n

)

adalah weight-update yang dilakukan selama n iterasi dan 0 ≤

α

< 1 merupakan konstanta yang disebut momentum. Dengan menambah variabel

α

ke dalam rumus perubahan bobot mengakibatkan konvergensi akan lebih cepat untuk mendekati itersasi yang dilakukan sesuai tahapan sampai bobot mencapai solusinya.

3.4. Pembelajaran Jaringan Sembang Acylic

Pada algoritma backpropagation yang telah dijelaskan dengan menggunakan dua lapisan unit tersembunyi pada jaringan. Namun, jika algoritma backpropagation menggunakan lebih dari dua lapisan unit tersembunyi pada jaringan maka aturan perubahan bobot (Persamaan 3.13). tetap digunakan, dan hanya mengubah cara perhitungan nilai δ . Secara umum, nilai δ_r untuk r unit pada m lapisanr dihitung dari nilai

δ

pada lapisanr m+1.

δ

r ^=or

⁽

^{1 −o}r

⁾

^wsr

^δ

s s∈layer m+1

(3.15)

Pembelajaran tersebut sama-sama mengeneralisasi algoritma untuk

graph langsung acyclic, tanpa memperhatikan apakah unit jaringan yang

ditetapkan ada pada lapisan uniform. Aturan untuk menghitung

δ

untuk unit internal adalah

δ

_r =o_r

(

1 −o_r

)

w_sr

δ

_s

s∈d ownstream( r )

(3.16)

dimana Downstream(r) adalah himpunan dari unit-unit yang turun dari unit r

pada jaringan, yaitu semua unit yang input-inputnya termasuk dalam output dari unit r.

3.3 Algoritma Backpropagation

Algoritma backpropagation mempelajari bobot untuk jaringan saraf buatan lapisan banyak dengan himpunan dari unit-unitnya dan saling berhubungan. Algoritma ini menggunakan gradient descent untuk mencoba

2

meminimalisasi kuadrat error antara nilai input dan nilai target pada jaringan.

Terdapat banyak cara untuk mendefinisikan nilai error dari model (vektor bobot). Berbeda dengan persamaan (3.0) definisikan kembali E

sebagai penjumlahan error dari semua unit keluaran jaringan. Proses ini merupakan salah satu ukuran yang dapat menurukan nilai error dengan tepat adalah

r _{1 2}

E

(

w

)

≡

⁽

t _kd −o_kd

)

d∈D k∈outputs

(3.17)

D adalah himpunan dari contoh data percobaan, outputnya adalah himpunan dari unit output pada jaringan, tkd dan ok d masing-masing adalah nilai target dan nilai output dengan unit output k dan contoh percobaan d.

Permasalahan yang digambarkan oleh algoritma backpropagation

adalah untuk mencari ruang hipotesis yang besar dan didefinisikan oleh semua nilai bobot yang mungkin untuk setiap unit pada jaringan. Salah satu perbedaan pokok pada kasus jaringan saraf buatan lapisan banyak yaitu permukaan error dapat memiliki perkalian minimum lokal. Hal ini berarti turunan gradient dapat menjamin kekonvergenan untuk beberapa minimum lokal, dan bukan error minimum global.

Walaupun tidak dijaminnya konvergen ke arah global minimum, Algoritma backpropagation merupakan fungsi yang efektif dalam metode pembelajaran [11]. Fungsi error pada gradient descent dapat diilustrasikan sebagai permukaan error dengan n-dimensi, ketika kemiringan gradient

descent menurun dalam lokal minimum sehingga akan berpengaruh dalam perubahan bobot.

Perbedaan performa ruang hipotesis antara algoritma

backpropagation jaringan saraf buatan lapisan banyak dengan performa

pembelajaran algoritma pada metode yang lain, yaitu algoritma

backpropagation memiliki ruang hipotesis pada n-dimensi dari n-bobot

jaringan. Dengan catatan ruang hipotesis memiliki fungsi yang kontinu. Sedangkan hipotesis pada pembelajaran algoritma yang lain seperti pembelajaran decision tree dan metode yang lain memiliki proses pencarian hipotesis yang berbeda-beda. Untuk jelasnya pembelajaran tentang decision

tree menggunakan algoritma ID3 dapat ditemukan di [6].

Seperti penjelasan sebelumnya, Algoritma backpropagation

diimplementasikan dengan mencari kemiringan gradient descent pada bobot jaringan, nilai error E yang diperoleh akan mengurangi iterasi yang berada diantara nilai target pada contoh percobaan dan hasil output. Karena permukaan jaringan saraf buatan lapisan banyak menggambarkan permukaan yang tidak linear pada lokal minima, Sehingga kemiringan gradient descent terdapat pada permukaan error. Hasil algoritma

backpropagation akan menunjukan ke arah konvergen terhadap lokal

minimum dalam mencari nilai error dan tidak membutuhkan nilai error ke arah global minimum.

Nilai error minimum dapat dicari pada saat jaringan saraf buatan lapisan banyak menginisialisasikan dan dibangkitkan secara random atau

acak untuk mentukan bobot koneksi antar unit dari suatu lapisan dengan lapisan sesudahnya, jadi antar unit-unit di lapisan tersembunyi saling terkoneksi satu sama lain dengan unit-unit di lapisan tersembunyi, dan antar unit-unit di tersembunyi lapisan akan saling terkoneksi satu sama lain dengan unit-unit pada lapisan output. Nilai bobot inilah yang akan menentukan proses pembelajaran kecerdasan buatan.

Pada saat proses training, nilai bobot tersebut akan terus berubah sehingga didapatkan kesesuaian antara input dengan output dengan error minimum. Dengan kata lain, Pada proses training akan menentukan nilai minimum error yang bisa di tolerir oleh jaringan saraf buatan lapisan banyak seperti yang disampaikan diatas bahwa algoritma backpropagation tidak akan memberikan kepastian jawaban untuk suatu kasus yang tidak pernah dilatihkan, pasti ada nilai error dari jawaban sistem pembelajaran dengan jawaban yang seharusnya, nilai error tersebut yang harus di definisikan sebelum melatih proses pembelajaran sehingga sistem tersebut bisa menjawab dengan tingkat kebenaran semaksimal mungkin (misal: tingkat kebenaran sistem 99,9999% dengan nilai Error 0.0001).

Algoritma backpropagation merupakan proses pembelajaran yang mampu menjelaskan beberapa fungsi yang terdapat dalam data. Fungsi- fungsi data tersebut dapat digambarkan secara keseluruhan dengan beberapa unit yang digunakan pada lapisannya dan beberapa lapisan yang digunakan dalam jaringan. Fungsi-fungsi ini dapat dibagi menjadi tiga yaitu fungsi boolean, fungsi bernilai kontinu dan fungsi sembarang. Fungsi boolean

adalah fungsi yang rangenya hanya memiliki Z elemen, fungsi ini dapat digambarkan dengan model struktur jaringan dengan baik menggunakan jaringan terdiri dari dua lapisan. Sedangkan fungsi kontinu merupakan fungsi yang rangenya berupa interval, fungsi ini juga dapat digambarkan dengan struktur jaringan saraf buatan dengan baik menggunakan jaringan terdiri dari dua lapisan. Terakhir fungsi sembarang adalah sebuah fungsi yang berbeda dari kedua fungsi sebelumnya. fungsi ini dapat menggambarkan model struktur jaringan cukup baik dengan menggunakan tiga lapisan pada unit.

Induktif bias merupakan suatu cara yang digunakan algoritma

backpropagation dalam menginferensi populasi dari data percobaan. Sample

data di proses dalam proses pembelajaran, kemudian performa model dari sample data tersebut diuji kembali ke populasi data percobaan. Hal ini secara praktis biasanya dapat dilakukan dengan membagi dua data menjadi data training dan data test. Tujuan pembelajaran induktif bias untuk mendapatkan performa dari sample data dengan nilai error yang relatif kecil dan dapat dibandingkan dengan performa yang dihasilkan pada data populasi.

Algoritma backpropagation menggunakan jaringan lapisanr

feedforward yang terdiri dari dua unit lapisan sigmoid dengan lapisan yang

dihubungkan ke semua unit dari lapisan yang terdahulu. Notasi yang digunakan pada algoritma ini adalah :

a) Sebuah index menententukan setiap titik dari jaringan, dimana sebuah ”titik” merupakan salah satu input atau output dari beberapa unit pada jaringan.

b) xij menotasikan input dari titik i ke unit j, dan wij menotasikan hubungan bobot.

c) δ_n menotasikan error dengan unit n.

Algoritma Backpropagation

BACKPROPAGATION (Contoh percobaan, η, n_in , n_out , n_hidden )

r r _r

Setiap contoh percobaan merupakan pasangan dari bentuk

(

x, t

)

, dimana x r

adalah vektor dari nilai unit input, dan t

jaringan target.

adalah vektor dari nilai output

η

adalah learning rate (0,05), nin adalah bilangan dari input jaringan, ntersembunyi ^{adalah bilangan dari unit pada lapisanr tersembunyi, dan n}out ^adalah

bilangan dari unit output.

input dari unit i sampai j dinotasikan dengan xji, dan bobot dari i sampai j

dinotasikan dengan wji.

1. Buat jaringan feedforward dengan input nin^{, unit tersembunyi n}hiiden, ^dan

unit output nout^.

2. Inisialkan semua bobot awal jaringan ke bilangan acak yang kecil (antara -0,05 sampai 0,05).

3. Hitung output o(net ) dari setiap unit k pada jaringan.

n

o(net) = w _ji x_i

i =0

+ θ_{j 0} (3.1)

4. Hitung fungsi sigmoid(

σ

) dari setiap unit k pada jaringan. σ = ¹

5. Hitung output pada lapisan keluaran ( ok ).

n

ok = σ(

i =0

w _ji. x_i +θ_{j 0 )} (3.3) 6. Hitung nilai error pada lapisan output ok, dengan bentuk error( δ_k ).

δ

_k ←o_k

(

1 −o_k

)(

t _k −o_k

)

(3.9) 7. Hitung nilai error pada lapisan tersembunyi h, dengan bentuk error(

δ

_h ).

δ_h ←o_k (1 −o_k ) w_khδ_k (3.12)

δ

r ^=or

⁽

^{1 −o}r

⁾

^wsr

^δ

s ^{Untuk jaringan uniform m-lapisan} (3.15)

s∈layer m+1

δ

r ^=or

⁽

^{1 −o}r

⁾

^wsr

^δ

s s∈d ownstream( r )

Untuk jaringan sembarang n-iterasi (3.16) 8. Hitung perubahan setiap bobot jaringan( ∆wji ^).

∆w _ji =

ηδ

_j x _ji j =k , h (3.13) ∆w _ji

(

n

)

= ηδ_j x _ji +α∆w _ji

(

n − 1

)

9. Hitung perubahan bobot jaringan baru.

w _ji ←w _ji +∆w _ji

Untuk n-iterasi (3.14)

(2.8)

Algoritma backpropagation akan lebih dipahami dengan melakukan proses perhitungan pada data sederhana dibawah ini.

Tabel 3.1. Fungsi XOR

Variabel Prediktor Variabel Target

x₁ x₂ ^t 1 1 0 1 0 1 0 1 1 0 0 0 Langkah 1.

Membuat Jaringan feedforward dengan unit input nin ^{yaitu x}1 ^{dan x}2 ^{, terdapat 2}

Y

w_{50 w31 w32}

1

z₃ z ₄ w₃₀

1

w₄₀ z₁ w ₂₁ w₂₂ w₂₃ w₂₄ z₂ w₁₀

1

w₂₀ w₁₁ w₁₂ x₁ w₁₃ w₁₄ x₂

Gambar 3.2. Jaringan feedforward dengan dua lapisan unit tersembunyi

Langkah 2.

Setelah membuat jaringan feedforward kemudian inisialkan semua bobot jaringan ke bilangan acak yang kecil antara -0,05 sampai 0,05 dan bobot awal ditentukan secara random

- Misal bobot awal unit input ke unit tersembunyi

w₁₁ = 0,05 w₁₃ = 0,03

w₁₂ = -0,05 w₁₄ = -0,02

- dan bobot awal unit tersembunyi lapis 1 ke unit tersembunyi lapis 2

1

2

3

4

- Lebih lanjut lagi bobot awal unit tersembunyi ke unit output

w₃₁ = -0,04 w₃₂ = 0,05,

- Bobot awal bias ke unit tersembunyi lapis 1

w₁₀ = -0,03 w₂₀ = 0,04,

- Bobot awal bias ke unit tersembunyi lapis 2

w₃₀ = 0,02 w₄₀ =0,01

- Serta terakhir bobot awal bias ke unit output adalah

w₅₀ =0,03

Langkah 3.

Hitung output o(net ) dari setiap unit k pada unit tersembunyi :

n rumus : o(net ) = w _ji x_i i =0 +

θ

_{j 0} o₁ (net) = (0,05)(1) + (0,03)(1) + (-0,03) = 0,05 o₂ (net) = (-0,05)(1) + (-0,02)(1) + (0,04) = -0,03 o₃ (net) = (0,03)(1) + (0,04)(1) + (0,02) = 0,09 o₄ (net) = (-0,01)(1) + (0,05)(1) + (0,01) = 0,05 Langkah 4.

Hitung fungsi sigmoid( σ ) dari setiap unit k pada jaringan :

σ

= ¹ 1 +e ⁻ o ( net )

σ (

net

)

= ¹ =0,51 1 +e ^{− 0 , 05}

σ (

net

)

= ¹ =0,49 1 +e 0 , 03

σ (

net

)

= ¹ =0,52 1 + e ^{− 0 , 09}

σ (

net

)

= ¹ =0,51 1 +e ^{− 0 , 05}

= Langkah 5.

Hitung output o(net ) dari setiap unit k pada lapisan keluaran output ok :

n o_k = w _ji x_i i =0 + θ_{j 0} = (0,52)(-0,04)+(0,51)(0,05)+0,03 = 0,0347 1 1 o _k = =0,5 1 + e ^{− o} k 1 +e ^{− 0 , 0347} Langkah 6.

Setelah mendapatkan nilai output pada langkah 5, kemudian hitung error

berdasarkan kesalahan untuk setiap unit output jaringan k, hitung bentuk error δ_k

δ

_k ←o_k

(

1 −o_k

)(

t _k −o_k

)

= (0,5) (1-0,5) (0-0,5) = -0,125

δ

_k merupakan error yang dipakai dalam perubahan bobot lapisan dibawahnya.

ok merupakan nilai output pada jaringan keluaran dan tk adalah target keluaran.

Langkah 7.

Kemudian cari penjumlahan error berdasarkan error untuk setiap unit tersembunyi

h, hitung bentuk error

δ

_h

δ

_h ←o_k

(

1 −o_k

)

w_kh

δ

_k

k∈outputs

Pertama cari penjumlahan delta rule dari unit tersembunyi, dimana dari hasil delta rule pada unit keluaran

δ

k = -0,125

δ

_k = w_kh

δ

_k k∈output

δ

1 ⁼ (-0,125) (0,05) = -0,006

δ

₂ = (-0,125) (-0,04) = 0,005

δ

₃ = (-0,125) (0,04) + (-0,125)(0,05) = 0,011

δ

₄ = (-0,125) (0,03) + (-0,125)(-0,01) = -0,002

δ

_h ←o_k

(

1 −o_k

)

w_kh

δ

_k k∈outputs

δ

₁ = (-0,006) ( 0,51) (1-0,51) = 0,001

δ

2 ⁼ (0,005) (0,52) (1-0,52) = -0,001

δ

₃ = (0,011) (0,49) (1-0,49) = 0,002

δ

₄ = (-0,002) (0,51) (1-0,51) = -0,0004

Langkah 8.

Hitung perubahan setiap bobot jaringan( ∆wji ⁾

∆w _ji =

ηδ

_j x _ji

Suku perubahan bobot keluaran ∆w _ji

= -0,125 hasil langkah 4.

dengan learning rate

η

= 0,05 , delta rule δ_k

∆w _ji =

ηδ

_j x _ji j=0,1,2,3,... ∆w₅₀ = (0,05) (-0,125) (1) = -0,00625 ∆w₃₁ =(0,05) (-0,125) (0,52) = -0,00325 ∆w₃₂ =(0,05) (-0,125)(0,51) = -0,00318

Suku perubahan bobot ke unit tersembunyi ∆w _ji

delta rule hasil delta rule langkah 5.

dengan learning rate

η

= 0,05 ,

∆w _ji =

ηδ

_j x _ji j=0,1,2,3,.. Unit tersembunyi lapis 1

∆w₁₀ = (0,05) (0,001) (1) = 0,00005 ∆w₂₀ = (0,05) (-0,001) (1) = -0,00005 ∆w₁₁ = (0,05) (0,001) (1) = 0,00005 ∆w₁₂ = (0,05) (-0,001) (1) = -0,00005 ∆w₁₃ = (0,05) (0,001) (1) = 0,00005 ∆w₁₄ = (0,05) (-0,001) (1) = -0,00005 Unit tersembunyi lapis 2

∆w₃₀ =(0,05) (-0,0004) (1) = -0,00002 ∆w₄₀ =(0,05) (0,002) (1) =0,0001 ∆w₂₁ =(0,05) (-0,0004) (1) = -0,00002

∆w₂₂ =(0,05) (0,002) (1) = 0,0001 ∆w₂₃ =(0,05) (-0,0004) (1) = -0,00002 ∆w₂₄ =(0,05) (0,002) (1) = 0,0001

Langkah 9.

Hitung perubahan bobot jaringan baru.

w _ji ←w _ji +∆w _ji

Perubahan bobot unit keluaran : ∆w₅₀ = (0,03) + (-0,006)= 0,024 ∆w₃₁ = (-0,04) + (-0,003)= -0,043 ∆w₃₂ = (0,05) + (-0,003)= 0,047

Perubahan bobot unit tersembunyi layar 1 ∆w₁₀ = -0,03 + 0,00005 = -0,03 ∆w₂₀ = 0,04 - 0,00005 = 0,04 ∆w₁₁ = 0,05 + 0,00005 = 0,05 ∆w₁₂ = -0,05 - 0,00005 = -0,05 ∆w₁₃ = 0,03 + 0,00005 = 0,03 ∆w₁₄ = -0,02 - 0,00005 = -0,02

Perubahan bobot unit tersembunyi layar 2 ∆w₃₀ = 0,02 – 0,00002 = 0,02 ∆w₄₀ = 0,01 + 0,0001 = 0,01 ∆w₂₁ = 0,03 – 0,00002 =0,03 ∆w₂₂ = -0,01 +0,0001 = -0,01 ∆w₂₃ = 0,04 – 0,00002 = 0,04 ∆w₂₄ = 0,05 + 0,0001 = 0,05

Algoritma backpropagation dimulai dari pembentukan sebuah jaringan dengan unit tersembunyi dan unit output serta menginisialisasi semua bobot jaringan ke nilai random yang kecil. Untuk setiap contoh percobaan menggunakan suatu jaringan untuk menghitung nilai error dari output

jaringan, menghitung gradient descent dan kemudian mengupdate semua bobot pada jaringan. Proses ini dilakukan sampai menghasilkan klasifikasi dengan model yang tepat.

3.6. Analisis Multiklasifikasi

Algoritma backpropagation pada jaringan saraf buatan lapisan banyak dengan beberapa unit yang terhubung dapat dikembangkan untuk permasalahan multiklasifikasi. Untuk lebih jelasnya modifikasi dari algoritma backpropagation ini masalah multiklasifikasi dijelaskan dengan contoh berikut.

Tabel 3.2. Contoh Data Sederhana

Variabel Prediktor Variabel Target

x₁ x₂ y

1 1 a

1 0 b

0 1 c

0 0 d

Diberikan contoh permasalahan data seperti tabel 3.2. Multiklasifikasi dimulai dengan membuat jaringan feedforward dengan unit input nin ^yaitu

x1 ^{, x}2. ^{dan terdapat satu lapisan unit tersembunyi n}hiden ^{yaitu z}₁

^,

^z₂

^,

^z3 ^dan unit output yaitu a, b, c , d.

a _{b c d} w₄₀ 1 w₅₀ w₆₀ w₇₀ w₂₂ w₂₁ z₁ w₂₃ w₂₄ w₂₆ w ₂₅ w₂₇ z ₂ w₂₈ ^w31 w₂₉ ^w32 w₃₃ z₃ w₁₀ 1 w₂₀ w₃₀ w₁₁ X1 w₁₂ w₁₃ w₁₄ w₁₅ x2 w₁₆

Gambar 3.3. Struktur jaringan dengan bilangan n-arry

Cara kerja dalam permasalahan multiklasifikasi memiliki kesamaan dengan binary klasifikasi yaitu membuat struktur jaringan kemudian merandom bobot jaringan dan menghitung unit output. Perbedaannya terletak pada proses perhitungan output dimana untuk kasus multiklasifikasi hasil output akan bekerja sesuai dengan proses klasifikasi, yaitu perhitungan output pada kelas A diproses melalui pembelajaran algoritma

backpropagation dengan bilangan binary, jika hasil output masuk kedalam

klasifikasi kelas A, maka kelas tersebut mengandung nilai 1, Sedangkan selain kelas A mengandung nilai 0. Keadaan ini dikerjakan sesuai dengan proses pembelajaran multiklasifikasi yang berarti proses binary n kali.

Cara kerja algoritma backpropagation pada jaringan saraf buatan lapisan banyak dapat diringkas dalam bentuk flowchart sebagai berikut:

Start 70% Training D ata 30% Test D ata 1. Membuat jaringan feedforword 2. Randomize bobot |wji|<0,05 Hitung n 3. o(net) = w _ji x_i i =0 + θ_{j 0} 4.

σ

= ¹ 1 +e ^{−o ( net )} n 5. ok =

σ

( i =0 w _ji. x_i +

θ

_{j 0} ) 6.

δ

_k ←o_k

(

1 −o_k

)(

t _k −o_k

)

7. δ_h ←o_k (1 −o_k ) w_khδ_k 8. ∆w _ji = ηδ_j x _ji j= k,h 9. w _ji ←w _ji +∆w _ji Tidak td=od ∀d ∈D

Akurasi error

generalisasi

End

Gambar 3.4. Flowchart Algoritma Backpropagation

BAB IV

STUDI NUMERIK DAN ANALISIS

Pada bab ini akan dijelaskan mengenai metode jaringan saraf buatan lapisan banyak menggunakan algoritma backpropagation dalam menghasilkan error minimum dalam mencari model yang tepat. Permasalahan yang akan dibahas yaitu mengenai permasalahan klasifikasi pengenalan huruf alphabet.

4.1. Deskripsi Studi Numerik

Metode jaringan saraf buatan lapisan banyak dapat diaplikasikan pada berbagai masalah tertentu di kehidupan sehari-hari. Untuk lebih memahami proses pengklasifikasian pada metode jaringan saraf buatan lapisan banyak dan nilai error, maka dilakukan studi numerik dengan mengambil permasalahan yang sederhana. Data-data tersebut diperoleh dari machine

learning database [8]. Dalam proses kerjanya, data ini dipisahkan menjadi

dua bagian yaitu training data dan test data. Pembagian data ini dilakukan secara random. Pada studi numerik disini penulis mengambil proporsi 70%

training data dan 30% test data.

Pengolahan data yang dilakukan dalam skripsi ini menggunakan algoritma backpropagation dengan bantuan software SPSS 16 dalam pencarian nilai errornya. Hal tersebut dilakukan karena asumsi dari data

4.2. Pengenalan Huruf Alphabet

Data pengenalan huruf alphabet merupakan salah satu data yang cocok untuk mengetahui pengenalan suatu pola. Permasalahan yang akan diangkat pada studi numerik adalah mencari nilai error minimum untuk mengidentifikasi setiap huruf dengan tulisan tangan berwarna hitam-putih yang terdapat dalam persegi panjang gambar digital dengan satuan pixel, huruf tersebut akan diklasifikasikan ke salah satu dari 26 huruf alphabet. Huruf-huruf tersebut berasal dari 20 bentuk huruf yang berbeda dan setiap huruf dari berbagai karakter tersebut diacak secara random. Simulasi yang dilakukan pada studi numerik ini menggunakan 20.000 baris data.

Cara penulisan diambil dari 20 bentuk yang berbeda menggunakan dua cara teknik penulisan, yaitu stroke style merupakan penulisan huruf yang dilakukan dengan cara mengambil dari titik atas sampai titik bawah yang terdapat dalam 6 jenis cara penulisan yaitu simplex, duplex, triplex, complex,

dan ghotic. Kemudian 6 jenis huruf tersebut dimasukan ke dalam bentuk

tulisan seperti Block, Script, Italic, English, Italian dan German.

Setiap karakter huruf di proses pertama kali dengan merubah kedalam koordinat vektor, dan pengidentifikasian dilakukan pada garis paling bawah pada huruf. Segmen garis tersebut dirubah ukurannya menjadi koordinat (x,y) yang berbentuk persegi panjang dengan satuan pixel. Ukuran pixel akan menggambarkan titik-titik yang berwarna hitam dan putih. Posisi ”on”

pada satuan pixel yang berwarna hitam dan ”off” satuan pixel yang berwarna putih. Setiap huruf akan diidentifikasikan pada pixel on berwarna

hitam yang akan berbentuk huruf dan pixel tersebut berukuran persegi panjang dengan ukuran 45 x 45 pixel.

Nilai error minimum diproses dalam pengidentifikasian huruf dari 20.000 baris data yang akan di karakteristik oleh 16 variabel prediktornya kemudian akan diproses ke dalam klasifikasi 26 huruf alphabet yang menjadi variabel target. Data pengenalan huruf tidak memuat data yang tidak lengkap (missing value). Setiap huruf diklasifikasikan berdasarkan 17 variabel yang terdiri dari satu variabel target dan 16 variabel prediktor. Variabel prediktor ini merupakan sebuah bilangan integer yang berkisar antara 0 sampai 15. Variabel ini terdiri dari:

a. Variabel target: 26 huruf alphabet dari A sampai Z b. Variabel prediktor:

1. V1 ^{merupakan posisi horizontal dihitung dari sebelah kiri gambar dan}

huruf berada di tengah box

2. V2 ^{merupakan posisi vertikal dihitung dari bagian bawah pada box.}

3. V3 ^{merupakan panjang box.}

4. V4 merupakan tinggi box.

5. V5 merupakan jumlah pixel on pada huruf dalam box. 6. V6 merupakan rataan nilai x pada pixel berwarna hitam “on” 7. V7 merupakan rataan nilai y pada pixel berwarna hitam “on”

8. V8 ^{merupakan variansi rataan nilai x pada pixel berwarna hitam “on”}

10. V10 merupakan jumlah rataan x dan y pada pixel berwarna hitam“on”

11. V11 ^{merupakan variansi rataan nilai x dikalikan dengan rataan y}

pada pixel berwarna hitam “on”

12. V12 ^{merupakan variansi rataan nilai y dikalikan dengan rataan x pada}

pixel berwarna hitam “on”

13. V13 merupakan rataan posisi pixel ”on” dari kiri ke kanan.

14. V14 merupakan jumlah posisi vertikal pada rataan posisi pixel ”on” dari kiri ke kanan.

15. V15 merupakan rataan posisi pixel ”on” dari bawah ke atas.

16. V16 ^{merupakan jumlah posisi horizontal pada rataan posisi pixel}

”on” dari bawah ke atas.

Untuk lebih jelasnya pengidentifikasian huruf alphabet menggunakan 16 variabel prediktor akan dijelaskan dengan contoh berikut.

Gambar 4.1. Contoh sampel yang merepresentasikan huruf ‘A dan Pembagian region pada sample berikut nilai pixel aktifnya

Huruf A diprediksi berada dalam posisi horizontal yang dihitung dari sebelah kiri gambar dan huruf berada di tengah box pada titik koordinat 13 pixel, posisi vertikal dihitung dari bagian bawah pada box di titik koordinat 22 pixel, Sedangkan tinggi box berada pada titik koordinat 22 pixel. Jika