II LANDASAN TEORI 2.1 Jaringan syaraf biolog
2.2 Jaringan syaraf tiruan
2.3.1 Arsitektur jaringan syaraf tiruan propagasi balik
Propagasi balik memiliki beberapa unit yang ada dalam satu atau lebih lapisan tersembunyi. Gambar 7 adalah arsitektur propagasi balik dengan buah masukan (ditambah sebuah bias) sebuah layar tersembunyi yang terdiri dari unit (ditambah sebuah bias), serta buah unit keluaran. merupakan bobot garis dari unit masukan ke unit lapisan tersembunyi ( merupakan bobot garis yang menghubungkan bias di unit masukan ke unit lapisan tersembunyi ). merupakan bobot dari unit lapisan tersembunyi ke unit keluaran ( merupakan bobot dari bias di lapisan tersembunyi ke unit keluaran ).
(Siang, 2005) 2.3.2 Fungsi aktivasi pada jaringan syaraf tiruan propagasi balik
Dalam propagasi balik, fungsi aktivasi yang dipakai harus memenuhi beberapa syarat berikut, yaitu :
1. Kontinu
2. Terdiferensialkan
3. Merupakan fungsi yang tidak turun. Salah satu fungsi yang memenuhi ketiga syarat tersebut sehingga sering digunakan adalah fungsi sigmoid biner yang memiliki kisaran . Fungsi sigmoid biner didefinisikan sebagai berikut :
(1) dengan fungsi turunannya adalah :
(2) Berikut ini adalah grafik dari fungsi sigmoid biner :
Gambar 8 Grafik fungsi aktivasi sigmoid biner Fungsi lain yang sering digunakan adalah fungsi sigmoid bipolar dengan kisaran yang didefinisikan sebagai berikut :
(3) dengan fungsi turunannya adalah :
(4)
Berikut ini diberikan grafik dari fungsi sigmoid bipolar :
Gambar 9 Grafik fungsi aktivasi sigmoid bipolar
Fungsi sigmoid memiliki nilai maksimum . Untuk pola yang targetnya lebih dari , pola masukan dan keluaran harus terlebih dahulu ditransformasi sehingga semua polanya memiliki kisaran yang sama dengan fungsi sigmoid yang dipakai.
Alternatif lain adalah menggunakan fungsi aktivasi sigmoid hanya pada lapisan yang bukan lapisan keluaran. Pada lapisan keluaran, fungsi aktivasi yang digunakan adalah fungsi identitas .
(Siang, 2005) 2.3.3 Pelatihan jaringan syaraf tiruan propagasi balik
Pelatihan propagasi balik meliputi 3 fase, yaitu :
a. Fase 1, umpan maju.
Selama fase umpan maju, sinyal masukan dipropagasikan ke lapisan tersembunyi menggunakan fungsi aktivasi yang ditentukan. Keluaran dari setiap unit lapisan tersembunyi tersebut selanjutnya dipropagasikan maju lagi ke lapisan tersembunyi di atasnya menggunakan fungsi aktivasi yang ditentukan. Demikian seterusnya hingga menghasilkan keluaran jaringan .
Berikutnya, keluaran jaringan dibandingkan dengan target yang harus dicapai . Selisih adalah galat yang terjadi. Jika galat ini lebih kecil dari batas toleransi yang ditentukan, maka iterasi dihentikan. Akan tetapi apabila galat masih lebih besar dari batas toleransinya, maka bobot setiap garis dalam jaringan akan dimodifikasi untuk mengurangi galat yang terjadi.
a. Fase 2, umpan mundur.
Berdasarkan selisih , dihitung faktor yang dipakai untuk mendistribusikan galat di unit ke
8
semua unit tersembunyi yang terhubung langsung dengan . juga dipakai untuk mengubah bobot garis yang berhubungan langsung dengan unit keluaran.
Dengan cara yang sama, dihitung faktor di setiap unit di lapisan tersembunyi sebagai dasar perubahan bobot semua garis yang berasal dari unit tersembunyi di lapisan di bawahnya. Demikian seterusnya hingga semua faktor di unit tersembunyi yang berhubungan langsung dengan unit masukan dihitung.
b. Fase 3, perubahan bobot.
Setelah semua faktor dihitung, bobot semua garis dimodifikasi bersamaan. Perubahan bobot suatu garis didasarkan atas faktor neuron di lapisan atasnya. Sebagai contoh , perubahan bobot garis yang menuju ke lapisan keluaran didasarkan atas yang ada di unit keluaran.
(Siang, 2005)
Gambar 10 Alur kerja jaringan syaraf tiruan propagasi balik Ketiga fase tersebut diulang terus menerus
hingga kondisi penghentian yang diinginkan terpenuhi. Umumnya kondisi penghentian yang sering dipakai adalah maksimum jumlah iterasi atau besarnya galat. Iterasi akan dihentikan jika jumlah iterasi yang dilakukan sudah melebihi jumlah maksimum iterasi yang ditetapkan, atau jika galat yang terjadi sudah lebih kecil dari batas toleransi yang diizinkan.
(Siang, 2005) Algoritma pelatihan untuk jaringan propagasi balik dengan satu lapisan tersembunyi (dengan fungsi aktivasi sigmoid biner) adalah sebagai berikut :
a. Langkah
Inisialisasi semua bobot dengan bilangan acak kecil.
b. Langkah
Jika kondisi penghentian belum terpenuhi, lakukan langkah .
c. Langkah
Untuk setiap pasang data pelatihan, lakukan langkah .
Fase I (umpan maju) d. Langkah
Tiap unit masukan menerima sinyal dan meneruskannya ke unit tersembunyi di atasnya.
e. Langkah
Setiap unit tersembunyi , jumlahkan bobot sinyal masukannya,
(5) dengan bias pada unit tersembunyi ,
adalah bobot pada unit tersembunyi . Kemudian fungsi aktivasi
digunakan untuk menghitung sinyal keluarannya. Kemudian sinyal ini dikirim keseluruh unit pada lapisan di atasnya yaitu unit keluaran.
f. Langkah 5
Tiap unit keluaran ,
9
(6) dengan bias pada unit keluaran , adalah bobot pada unit keluaran . Kemudian fungsi aktivasi
digunakan untuk menghitung sinyal keluarannya.
Fase II (umpan mundur) g. Langkah 6
Tiap unit keluaran , menerima pola target yang saling berhubungan pada masukan pola pelatihan kemudian dihitung galat informasinya,
(7) merupakan target keluaran, merupakan unit galat yang akan digunakan dalam perubahan bobot lapisan di bawahnya. Kemudian dihitung koreksi bobotnya dengan laju pembelajaran (digunakan untuk memperbaharui bobot
),
(8) Kemudian dihitung koreksi bobotnya (digunakan untuk memperbaharui ),
(9) h. Langkah 7
Setiap unit lapisan tersembunyi dijumlahkan hasil perubahan masukannya (dari unit-unit lapisan di atasnya),
(10) Faktor pada unit tersembunyi :
(11) Kemudian dihitung koreksi bobotnya (digunakan untuk memperbaharui bobot
),
(12) Kemudian dihitung koreksi bobotnya (digunakan untuk memperbaharui bobot
),
(13) Fase III (perubahan bobot) i. Langkah 8
Tiap unit keluaran , perbaharui biasnya dan bobotnya :
(14) Tiap unit lapisan tersembunyi perbaharui bias dan bobotnya :
(15)
j. Langkah 9
Test kondisi berhenti.
(Siang, 2005) Jika besar Mean Square Error (MSE) lebih kecil dari toleransi yang telah ditentukan atau jumlah iterasi pada proses pelatihan sudah mencapai iterasi maksimum, maka proses selesai. Jika tidak, maka kembali ke langkah 1. Setelah pelatihan selesai dilakukan, jaringan dapat dipakai untuk pengenalan pola. Dalam hal ini, hanya umpan maju (langkah 4 dan 5) saja yang dipakai untuk menentukkan keluaran jaringan. Apabila fungsi aktivasi yang dipakai bukan sigmoid biner, maka langkah 4 dan 5 harus disesuaikan. Demikian juga turunannya pada langkah 6 dan 7.
Parameter merupakan laju pembelajaran yang menentukan kecepatan iterasi. Nilai terletak antara nilai dan . Semakin besar harga , maka akan semakin sedikit iterasi yang dipakai. Akan tetapi jika nilai terlalu besar, maka akan merusak pola yang sudah benar sehingga pembelajaran menjadi lambat. Satu siklus pelatihan yang melibatkan semua pola disebut epoch.
Pemilihan bobot awal sangat mempengaruhi jaringan syaraf tiruan dalam mencapai minimum global (atau mungkin lokal saja) terhadap nilai galat dan cepat tidaknya proses pelatihan menuju kekonvergenan.
Apabila bobot awal terlalu besar maka masukan ke setiap lapisan tersembunyi atau lapisan keluaran akan jatuh pada daerah dimana turunan fungsi sigmoidnya akan sangat kecil. Apabila bobot awal terlalu kecil, maka masukan ke setiap lapisan tersembunyi atau lapisan keluaran akan sangat kecil. Hal ini akan menyebabkan proses pelatihan berjalan sangat lambat. Biasanya bobot awal diinisialisasi secara random dengan nilai antara sampai (atau sampai atau interval yang lainnya).
Gambar 11 menunjukkan osilasi pada proses pembelajaran. Bobot-bobot bergerak di sekitar galat minimum tanpa mampu untuk menjangkaunya (arah panah memperlihatkan lompatan yang dibuat oleh proses pembelajaran).
Pemilihan bobot awal sangat mempengaruhi jaringan syaraf tiruan dalam mencapai minimum global (atau mungkin minimum lokal) terhadap nilai galat dan kecepatan proses pelatihan menuju kekonvergenan.
10
Gambar 11 Osilasi pada proses pembelajaran 2.4 Laju pembelajaran
Dalam standar propagasi balik laju pembelajaran merupakan suatu konstanta yang dipakai dalam seluruh iterasinya. Perubahan dapat dilakukan dengan memberikan laju pembelajaran yang berbeda-beda untuk setiap bobotnya (atau bahkan laju pembelajaran yang berbeda- beda untuk tiap bobot dalam tiap iterasinya). Apabila perubahan bobot berada dalam arah yang sama dalam beberapa pola terakhir (dapat dilihat dari tanda suku yang selalu sama), maka laju pembelajaran yang bersesuaian dengan bobot ditambah. Sebaliknya apabila arah perubahan bobot dua pola terakhir berbeda (ditandai dengan suku yang berselang-seling positif- negatif) maka laju pemahaman untuk bobot tersebut harus dikurangi.
Perubahan bobot dalam aturan delta-bar- delta adalah sebagai berikut :
(16) (Siang, 2005) 2.5 Momentum
Pada standar propagasi balik, perubahan bobot didasarkan atas gradien yang terjadi untuk pola yang dimasukan saat itu. Modifikasi yang dapat dilakukan adalah melakukan perubahan bobot yang didasarkan atas arah gradien pola terakhir dan pola sebelumnya (disebut momentum) yang dimasukan. Jadi tidak hanya pola masukan terakhir saja yang diperhitungkan.
Penambahan momentum dimaksudkan untuk menghindari perubahan bobot yang mencolok akibat adanya data yang sangat berbeda dengan kata lain (outlier). Apabila beberapa data terakhir yang diberikan ke jaringan memiliki pola serupa (berarti arah
gradien sudah benar), maka perubahan bobot dilakukan secara cepat. Namun apabila data terakhir yang dimasukan memiliki pola yang berbeda dengan pola sebelumnya, maka perubahan bobot dilakukan secara lambat.
Dengan penambahan momentum, bobot baru pada waktu ke didasarkan atas bobot pada waktu dan . Jika adalah konstanta yang menyatakan parameter momentum maka bobot baru dihitung berdasarkan persamaan :
(17) dengan,
= bobot awal pola kedua (hasil iterasi pola pertama)
= bobot awal pada iterasi pertama
dan,
(18) dengan,
= bobot awal pola kedua (hasil iterasi pola pertama)
= bobot awal pada iterasi pertama
(Siang, 2005) Berdasarkan pengalaman dan aplikasi jaringan syaraf tiruan dalam berbagai masalah prediksi atau peramalan dari karya ilmiah sebelumnya diperoleh kombinasi nilai laju pembelajaran ( ) dan momentum ( ) seperti pada Tabel 1 di bawah ini :
Tabel 1 Peringkat kombinasi nilai laju pembelajaran dan momentum
Peringkat 1 2 3 4
Laju pembelajaran 0,9 0,7 0,5 0,4 Momentum 0,1 0,4 0,5 0,6 (Anugerah, 2007)