sampai dengan tahap 5 merupakan bagian dari feedforward , tahap 6 sampai 8 merupakan bagian dari backpropagation (Fausset,1994)

Backpropagation merupakan generalisasi aturan delta ( Widrow-Hoff ). Backpropagation menerapkan metode gradient descent untuk meminimalkan error

Tahap 3 sampai dengan tahap 5 merupakan bagian dari feedforward , tahap 6 sampai 8 merupakan bagian dari backpropagation (Fausset,1994)

2.3.2 Arsitektur Backpropagation:

Pada gambar 2.5 dapat dilihat gambar arsitektur Backpropagation dengan 3 nodeinput layer

masukan 2 node pada hidden layer, 3 node output layer dan 2 bias 1 menuju hidden layer, 1 menuju output layer. Pada gambar 2.6 arsitektur backpropagation terdapat dua jenis tanda panah yaitu tanda panah maju ( ) dan tanda panah mundur ( ). Tanda panah maju digunakan pada saat proses feedforward untuk mendapatkan sinyal keluaran dari output layer. Jika nilai error yang dihasilkan lebih besar dari batas error yang digunakan dalam sistem, maka akan dilakukan koreksi bobot dan bias. Koreksi bobot dapat dilakukan dengan menambah atau menurunkan nilai bobot.

Jika sinyal keluaran terlalu besar dari target yang ditentukan maka bobotnya diturunkan, sebaliknya jika sinyal keluaran terlalu kecil dari target yang ditentukan maka bobotnya dinaikkan. Koreksi bobot akan dilakukan sampai selisih target dan sinyal keluaran sekecil mungkin atau sama dengan batas error. Untuk melakukan koreksi bobot dan bias akan dilakukan penelusuran ke belakang seperti ditunjukkan dengan tanda panah mundur.

Keterangan:Y1^..Y3 ^{: output, X}1^…Xn ^{: data input, b}1^,b2^{: bias, Z}1^{, Z}2

Gambar 2.5 Gambar Arsitektur Backpropagation (Fausett, 1994) : hidden Layer

2.3.3 Meningkatkan Hasil Metode Backpropagation

Masalah utama yang dihadapi dalam Backpropagation adalah lamanya iterasi yang harus dilakukan. Backpropagation tidak dapat memberikan kepastian tentang berapa epoch yang harus dilalui untuk mencapai kondisi yang diinginkan. Untuk meningkatkan hasil yang diperoleh dengan metode backpropagation dapat dilakukan dengan analisis bobot dan bias awal, jumlah unit tersembunyi, waktu iterasi dan penambahan mom

2.3.3.1 Pemilihan Bobot dan Bias Awal

Bobot awal akan mempengaruhi apakah jaringan mencapai titik minimum lokal (local minimum) atau global, dan seberapa cepat konvergensinya dalam pelatihan. Inisialisasi bobot awal dapat dilakukan dengan 2 (dua) Metode yaitu: Inisialisasi Bobot dan Bias awal secara Random dan Inisialisasi Bobot dan Bias awal dengan Metode Nguyen Widrow.

Bobot dalam Backpropagation tidak boleh diberi nilai yang sama. Penyebabnya adalah karena jika bobot sama jaringan tidak akan terlatih dengan benar. Jaringan mungkin saja gagal untuk belajar terhadap serangkaian contoh-contoh pelatihan. Misalnya dengan kondisi

Output

Output

Output

tetap atau bahkan error semakin besar dengan diteruskannya proses pelatihan. Untuk mengatasi hal ini maka inisialisasi bobot dibuat secara acak.

Bobot yang menghasilkan nilai turunan aktivasi yang kecil sedapat mungkin dihindari karena akan menyebabkan perubahan bobotnya menjadi sangat kecil. Demikian pula nilai bobot awal tidak boleh terlalu besar karena nilai turunan fungsi aktivasinya menjadi sangat kecil juga.Dalam Standar Backpropagation, bobot dan bias diisi dengan bilangan acak kecil. Untuk inisialisasi bobot awal secara random maka nilai yang digunakan adalah antara -0.5 sampai 0.5 atau -1 sampai 1.

2.3.3.2 Jumlah Unit Tersembunyi

Berdasarkan hasil teoritis, Backpropagation dengan sebuah hidden layer sudah cukup untuk mampu mengenali sembarang pasangan antara masukan dan target dengan tingkat ketelitian yang ditentukan. Akan tetapi penambahan jumlah hidden layer kadangkala membuat pelatihan lebih mudah. Jika jaringan memiliki lebih dari hidden layer, maka algoritma pelatihan yang dijabarkan sebelumnya perlu direvisi. Dalam propagasi maju, keluaran harus dihitung untuk Setiap layer, dimulai dari hidden layer paling bawah (terdekat dengan unit

masukan). Sebaliknya dalam propagasi mundur, faktor δ perlu dihitung untuk tiap hidden layer, dimulai dari lapisan keluaran (Hajar, 2005).

2.3.3.3 Waktu Iterasi

Tujuan utama penggunaan Backpropagation adalah mendapatkan keseimbangan antara pengenalan pola pelatihan secara benar dan respon yang baik untuk pola lain yang sejenis. Jaringan dapat dilatih terus menerus hingga semua pola pelatihan dikenali dengan benar. Akan tetapi hal itu tidak menjamin jaringan akan mampu mengenali pola pengujiandengan tepat. Jadi tidaklah bermanfaat untuk meneruskan iterasi hingga semua kesalahan pola pelatihan = 0.

Umumnya data dibagi menjadi dua bagian, yaitu pola data pelatihan dan data pengujian. Perubahan bobot dilakukan berdasarkan pola pelatihan. Akan tetapi selama pelatihan (misalkan setiap 10 epoch), kesalahan yang terjadi dihitung berdasarkan semua

data (pelatihan dan pengujian). Selama kesalahan ini menurun, pelatihan terus dijalankan. Akan tetapi jika kesalahannya sudah meningkat, pelatihan tidak ada gunanya diteruskan. Jaringan sudah mulai mengambil sifat yang hanya dimiliki secara spesifik oleh data pelatihan (tapi tidak dimiliki oleh data pengujian) dan sudah mulai kehilangan kemampuan melakukan generalisasi.

2.3.3.4 Momentum

Pada standar Backpropagation, perubahan bobot didasarkan atas gradien yang terjadi untuk pola yang dimasukkan saat itu. Modifikasi yang dapat dilakukan adalah melakukan perubahan bobot yang didasarkan atas ”ARAH GRADIEN” pola terakhir dan pola sebelumnya (momentum) yang dimasukkan. Jadi tidak hanya pola masukan terakhir saja yang diperhitungkan.

Penambahan momentum dimaksudkan untuk menghindari perubahan bobot yang mencolok akibat adanya data yang sangat berbeda dengan yang lain. Apabila beberapa data terakhir yang diberikan ke jaringan memiliki pola yang serupa (berarti arah gradien sudah benar), maka perubahan bobot dilakukan secara cepat. Namun apabila data terakhir yang dimasukkan memiliki pola yang berbeda dengan pola sebelumnnya, maka perubahan bobot dilakukan secara lambat (Fausset, 1994).

Penambahan momentum, bobot baru pada waktu ke (T + 1) didasarkan atas bobot pada waktu T dan (T-1). Di sini harus ditambahkan 2 variabel baru yang mencatat besarnya momentum untuk 2 iterasi terakhir. Jika μ adalah konstanta yang menyatakan parameter momentum (Dhaneswara dan Moertini, 2004).

Jika menggunakan momentum maka bobot baru dihitung berdasarkan persamaan:

wjk(T+1) = wjk(T) + αδk zj + μ ( wjk(T) – wjk(T-1)) (2.24) dan

vij(T+1) = vij(T) + αδj xi + μ ( vij(T) – vij(T-1)) (2.25)

Dalam proses testing ini diberikan input data yang disimpan dalam disk (file testing). JST yang telah dilatih akan mengambil data tersebut dan memberikan output yang merupakan “Hasil Prediksi JST”. JST memberikan output berdasarkan bobot yang disimpan dalam proses pelatihan.

Pada akhir testing dilakukan perbandingan antara hasil prediksi (output JST) dan hasil asli (kondisi nyata yang terjadi). Hal ini adalah untuk menguji tingkat keberhasilan JST dalam melakukan prediksi.

2.4 METODE NGUYEN WIDROW

Nguyen Widrow mengusulkan cara membuat inisialisasi bobot dan bias ke unit tersembunyi sehingga menghasilkan iterasi lebih cepat. Metode Nguyen Widrow akan menginisialisasi bobot-bobot lapisan dengan dengan nilai antara -0.5 sampai 0.5. Sedangkan bobot dari lapisan input ke lapisan tersembunyi dirancang sedemikian rupa sehingga dapat meningkatkan kemampuan lapisan tersembunyi dalam melakukan proses pembelajaran (Fausset, 1994)

Metode Nguyen Widrow secara sederhana dapat diimplementasikan dengan prosedur sebagai berikut:

Tetapkan:

n = jumlah unit masukan(input) p = jumlah unit tersembunyi

β = faktor skala =

(

0.7

( )

p ¹n

)

(2.22)

Analisis metode Nguyen Widrow didasarkan atas fungsi tangen Sigmoid yang memiliki interval nilai dari -1 sampai 1. Dalam fungsi tangen sigmoid ketika digunakan nilai x = 1 akan menghasilkan pendekatan nilai 0.75 dan ketika x = -1 akan mendekati nilai 0.25. Sedangkan Nilai β mempunyai interval 0 sampai 1 (0 < β < 1). Nilai yang paling dekat dengan 0.75 yang berada dalam interval 0 sampai dengan 1 adalah 0.7 dan 0.8. Jika

Hal inilah yang menyebabkan faktor skala β yang digunakan dalam metode Nguyen Widrow menggunakan nilai 0.7. Nilai 0.7 dalam faktor skala metode Nguyen Widrow diharapkan dapat menghasilkan bias dan bobot yang mampu menyesuaikan dengan pola pelatihan dalam

backpropagation.

Algoritma inisialisasi Nguyen Widrow adalah sebagai berikut: Kerjakan untuk setiap unit pada lapisan tersembunyi (j=1,2,...,p):

a. Inisialisasi bobot-bobot dari lapisan input ke lapisan tersembunyi

v ij

= bilangan acak dalam interval [-0,5: 0,5]

b. Hitung ||vj

c. Inisialisasi ulang bobot-bobot : || vij || || _j ij v v

β

= (2.23)

d. Set bias b1j = bilangan random antara -

β

sampai

β

2.5 NORMALISASI DATA

Normalisasi adalah penskalaan terhadap nilai-nilai masuk ke dalam suatu range tertentu. Hal ini dilakukan agar nilai input dan target output sesuai dengan range dari fungsi aktivasi yang digunakan dalam jaringan. Normalisasi ini dilakukan untuk mendapatkan data berada dalam interval 0 sampai dengan 1. Hal ini disebabkan karena nilai dalam fungsi aktifasi Sigmoid Biner adalah berada diantara 0 dan 1. Tapi akan lebih baik jika ditransformasikan keinterval yang lebih kecil. Misalnya pada interval [0,1..0,9], karena mengingat fungsi Sigmoid Biner nilainya tidak pernah mencapai 0 ataupun 1 (Santoso at el, 2007).

X = ^{max min} _min ). ( ) )( (