Model Neuron

Bab II. Landasan Teori

II.4. Model Neuron

Neuron adalah unit pemroses informasi yang menjadi dasar dalam pengoperasian jaringan syaraf tiruan dan terdiri dari 3 elemen pembentuk (Jong Jek Siang, 2005) yaitu:

1. Himpunan unit-unit yang dihubungkan dengan jalur koneksi. Jalur-jalur ersebut mempunyai bobot/kekuatan yang berbeda-beda. Bobot yang mempunyai nilai positip akan memperkuat sinyal dan yang bernilai negatif akan memperlemah sinyal yang dibawanya. Jumlah. Struktur dan pola hubungan antar unit-unit tersebut akan menentukan arsitektur jaringan (dan juga model jaringan yang terbentuk).

2. Suatu unit penjumlah yang akan menjumlahkan input-input sinyal yang sudah dikalikan dengan bobotnya. MisalkanX1, X2, …, Xmadalah unit-unit input dan Wj1, Wj2, … , Wjm adalah bobot penghubung dari unit-unit tersebut ke unit keluaran Yj , maka unit penjumlah akan memberikan keluaran sebesaruj = X1Wj1+ X2Wj2+ … +XmWm

3. Fungsi aktivasi yang akan menentukan apakah sinyal dari input neuron akan diteruskan ke neuron lain ataukah tidak

II.4.1 Arsitektur Jaringan Syaraf Tiruan.

Arsitektur jaringan syaraf tiruan merupakan pengaturan spesifik dan hubungan antar neuron pada lapisan dalam jaringan. Neuron-neuron yang terletak pada lapisan yang sama memiliki sifat dan fungsi aktivasi yang sama.

Neuron-neuron dalam jaringan syaraf tiruan dikelompokkan dalam lapisan masukan (input layer) merupakan lapisan pertama yang menerima sinyal dari bagian luar jaringan, lapisan tersembunyi (hidden layer) yaitu lapisan yang menerima sinyal dari neuron pada lapisan masukan dan lapisan keluaran (output layer) yaitu lapisan yang mengekstrak ciri dari yang berkaitan atau pola dari sinyal yang diterima .

1. Jaringan Layar Tunggal (single layer network).

Dalam jaringan layar tunggal, sekumpulan masukan dihubungkan langsung dengan sekumpulan keluaran.

Gambar 2.1 Jaringan Layar Tunggal (Jong Jek Siang, 2005).

Gambar 2.1 menunjukkan arsitektur jaringan dengan n unit masukan (

x

1

, x

2

, …, x

n) dan m buah unit keluaran (

y

1

, y

2

, …, y

m). Disebut jaringan layar tunggal karena semua unit masukan dihubungkan dengan semua unit keluaran, meskipun dengan bobot yang berbeda.

w

ji menyatakan bobot hubungan antara unit ke-i dalam masukan dengan unit ke-j dalam keluaran. Bobot-bobot ini saling independen. Selama proses pelatihan, bobot-bobot tersebut akan dimodifikasi untuk meningkatkan keakuratan hasil.

2. Jaringan Layar Jamak (multi layer network).

Jaringan layar jamak merupakan perluasan dari layar tunggal. Dalam jaringan ini, selain unit masukan dan keluaran, ada unit – unit lain (sering disebut layar tersembunyi). Sama seperti pada unit masukan dan keluaran, unit dalam satu layar tidak saling berhubungan.

Gambar 2.2 Jaringan Layar Jamak (Jong Jek Siang, 2005).

Gambar 2.2 menunjukkan jaringan dengan n buah unit masukan (x1

, x

2

, …, x

n), sebuah layar tersembunyi yang terdiri dari p buah unit (z1

, …, z

p) dan m buah unit keluaran(y1

, y

2

, …, y

m).

II.4.2 Fungsi Aktivasi.

Dalam jaringan syaraf tiruan, fungsi aktivasi digunakan untuk menentukan keluaran suatu neuron. Argumen fungsi aktivasi adalah net masukan (kombinasi linier masukan dan bobotnya). Jika net= ∑ , maka fungsi aktivasinya adalah f (net) = f(∑ ) (Jong Jek Siang, 2005).

Fungsi aktivasi dalam jaringan syaraf tiruan : 1. Fungsithreshold(batas ambang).

( ) = 1,_0, ^≥_< (2.1)

Jika fungsithresholdberharga -1 atau 1 disebutthresholdbipolar. 2. Fungsi sigmoid.

( ) = (2.2)

Nilai fungsi dari fungsi sigmoid terletak antara 0 dan 1 dan dapat diturunkan menjadi :

( ) = ( ) (1 − ( )) (2.3)

3. Fungsi Identitas.

berupa bilangan riil (bukan hanya pada range (0,1) atau (-1,1)). II.4.3 Jaringan Syaraf TiruanBackpropagation .

Backpropagation merupakan salah satu contoh dari jaringan layar jamak. Seperti halnya model jaringan syaraf tiruan lain, Backpropagation melatih jaringan untuk mendapatkan keseimbangan antara kemampuan jaringan untuk mengenali pola yang digunakan selama pelatihan serta kemampuan jaringan untuk memberikan respon yang benar terhadap pola masukkan yang serupa (tapi tidak sama) dengan pola yang dipakai selama pelatihan (JJ siang, 2005).

II.4.4 Arsitektur Backpropagation .

Backpropagation memiliki beberapa unit neuron yang ada dalam satu atau lebih layar tersembunyi. Gambar 2.3 adalah arsitekturBackpropagation dengan n buah masukan (ditambah sebuah bias), serta m buah unit keluaran.

v

ji

merupakan bobot garis dari unit masukan

x

i ke unit layar tersembunyi

z

j (

v

j0

merupakan bobot garis yang menghubungkan bias di unit masukan ke unit layar tersembunyi

z

_j).

w

_kj merupakan bobot dari unit layar tersembunyi

z

_j ke unit keluaran

y

_k (

w

_k0 merupakan bobot dari bias di layar tersembunyi ke unit keluaran

z

k).

II.4.5 Fungsi AktivasiBackpropagation.

Fungsi aktivasi pada metode Backpropagation menggunakan sebuah fungsi aktivasi beserta turunan dari fungsi tersebut. Backpropagation dapat menggunakan fungsi aktivasi sigmoid biner (yang memiliki range (0,1)) maupun sigmoid bipolar (yang memiliki range (-1,1)) beserta turunan fungsinya. Pemilihan fungsi aktivasi tergantung pada kebutuhan nilai keluaran jaringan yang diharapkan. Bila keluaran jaringan yang diharapkan ada yang bernilai negatif, maka digunakan fungsi sigmoid bipolar, sebaliknya bila nilai keluaran jaringan yang diharapkan bernilai positif atau sama dengan nol , maka digunakan fungsi sigmoid biner. Selain fungsi sigmoid fungsi yang bias digunakan dalam metode Backpropagation adalah fungsi linier.

Fungsi sigmoid biner :

( ) =

(2.21)

dengan turunan

( ) = ( )(1 − ( ))

(2.22) Fungsi sigmoid bipolar :

( ) = − 1

(2.23)

dengan turunan

( ) =

^{( ) ( ( ))} (2.24) Fungsi sigmoid memiliki nilai maksimum = 1. Maka untuk pola yang targetnya >1, pola masukan dan keluaran harus terlebih dahulu ditransformasikan sehingga semua polanya memiliki range yang sama seperti fungsi sigmoid yang dipakai. Alternatif lain adalah menggunakan fungsi aktivasi sigmoid hanya pada layar yang bukan layar keluaran. Pada layar keluaran, fungsi aktivasi yang dipakai adalah fungsi identitas :f(x) = x.

II.4.6 Pelatihan StandarBackpropagation.

Pelatihan Backpropagation meliputi 3 fase. Fase pertama adalah fase maju. Pola masukan dihitung maju mulai dari layar masukan hingga layar

mundur. Selisih antara keluaran jaringan dengan target yang diinginkan merupakan kesalahan yang terjadi. Kesalahan tersebut dipropagasikan mundur, dimulai dari garis yang berhubungan langsung dengan unit –unit di layar keluaran. Fase ketiga adalah modifikasi bobot untuk menurunkan kesalahan yang terjadi.

Algoritma pelatihan jaringan syaraf tiruan Backpropagation adalah sebagai berikut :

Langkah 0 :Inisialisasi semua bobot dengan bilangan acak kecil.

Langkah 1 :Jika kondisi penghentian belum terpenuhi, lakukan langkah 2-9. Langkah 2 :Untuk setiap pasang data pelatihan, lakukan langkah 3-8. Fase I : Propagasi maju.

Langkah 3 : Tiap unit masukan menerima sinyal dan meneruskannya ke unit tersembunyi di atasnya.

Langkah 4 :Hitung semua keluaran di unit tersembunyi

z

j(j = 1, 2, …, p).

_ = + ∑ (2.25)

= ( _ ) =

_{_}

(

2.26)

Langkah 5 :Hitung semua keluaran jaringan di unit

y

k (k = 1, 2, …, m).

_ = + ∑ (2.27)

= ( _ ) =

_{_} (2.28)

Fase II : Propagasi mundur.

Langkah 6 :Hitung faktor δ unit keluaran berdasarkan kesalahan di setiap unit keluaran

y

k(k = 1, 2, …, m).

Langkah 7 :Hitung faktor δ unit tersembunyi berdasarkan kesalahan di setiap unit tersembunyi

z

j(j = 1, 2, …, p).

_ = ∑

(2.31)

Faktor

δ

unit tersembunyi :

= _ _ = _ 1 −

(2.32)

Hitung suku perubahan bobot

v

ji (yang akan dipakai nanti untuk merubah bobot

v

ji)

∆ = = 1,2,…, ; = 0,1,…,

(2.33)

Fase III : Perubahan bobot.

Langkah 8 :Hitung semua perubahan bobot.

Perubahan bobot garis yang menuju ke unit keluaran :

( ) = ( ) + ∆ (2.34)

Perubahan bobot garis yang menuju ke unit tersembunyi :

( ) = ( ) + ∆ (2.35)

Langkah 9 :Kondisi perulangan.

Setelah pelatihan selesai dilakukan, jaringan dapat dipakai untuk pengenalan pola. Dalam hal ini hanya propagasi maju (langkah 4 dan 5) saja yang dipakai untuk menentukan keluaran jaringan.

II.4.7 Resilient Bacpropagation(trainrp)

Jaringan backpropagation umumnya menggunakan fungsi aktivasi sigmoid. Fungsi sigmoid akan menerima masukan dari range tak terhigga menjadi keluaran pada range [0,1]. Semakin jauh titik dari x=0, semakin kecil gradiennya. Pada titik yang cukup jauh dari x=0, gradiennya mendekati 0. Hal ini menimbulkan masalah pada waktu menggunakan metode penurunan tercepat (yang iterasinya didasarkan atas gradien). Gradient yang kecil menyebabkan perubahan pada bobot juga kecil, meskipun jauh dari titik optimal.

Pada tugas akhir ini masalah tersebut diatasi dengan metode resilient backpropagation. Resilient backpropagation membagi arah dan perubahan bobot menjadi 2 bagian yang berbeda. Ketika menggunakan penurunan tercepat, yang diambil hanya arahnya saja. Dalam Matlab, resilient backpropagation dilakukan dengan menuliskan ‘trainrp’ pada fungsi pelatihannya.

Pada tugas akhir ini input matrik pada neuron JSTBP merupakan hasil ekstraksi tiap wajah yang akan dikenali untuk diklasifikasikan dalam 10 kategori wajah pada output matrik. Dimensi input matrik pada PCA-NN adalah 1x200 dan input matrik dan pada LDA-NN 1x20. Karena terdapat 10 kategori wajah, maka dimensi pada tiap output matrik JSTBP adalah 1x10.