DAFTAR ISI. Kata Pengantar Daftar Isi

(1)

SAMPUL

(2)

DAFTAR ISI

Kata Pengantar

Daftar Isi

Penerapan Analytical Network Process Dalam Purchasing Motor Second

(Studi Kasus : Sumber Baru Motor, Yogyakarta)

Agus Aan Jiwa Permana ...

1 Transformasi Model Warna Yuv Dan Fuzzy Support Vector Machine

Untuk Klasifikasi Citra Satelit

Ahmad Afif Supianto, Sutrisno ...

13 Passage Retrieval In Question Answering System

I Wayan Supriana, I Wayan Santiyasa, Cokorda Rai Adi Pramartha ...

23 Sentiment Analysis Dokumen E-Complaint Kampus Menggunakan

Additive Selected Kernel SVM

Imam Cholissodin, Budi Darma S ...

29 Segmentasi Data Citra Satelit Berdasarkan Homogenitas Spektral

Menggunakan Model Markov Random Field

Murinto, Agus Harjoko, Sri Hartati ...

53 Penerapan Algoritma Boyer More Dan Levenshtein Distance Dalam

Koreksi Penulisan Kata Berbahasa Indonesia

Yulison Herry Chrisnanto, Erna Dhini Nurhasanah, Agus Komarudin ...

61 Artificial Stigmergy Semut Dalam Penanganan Masalah Optimasi

Pencarian Jalur Terpendek Ekspedisi Barang

Ketut Bayu Yogha Bintoro, Ni G. A. P. Harry Saptarini ...

73 Pengembangan Sistem Informasi Akuntansi BMT Berbasis Web (studi

kasus BMT AZZAM)

Tedy Setiadi, Risfi Syarif ...

81 Pengaturan Penempatan Buku Di Perpustakaan Menggunakan Metode

Association Rule Analysis Dan Vertical Format Algorithm

Ni Wayan Mirah Pratiwi Negari, Agus Muliantara, Ngurah Agus Sanjaya

ER ... ...

93 Pengamanan Data Citra Digital Menggunakan Metode Vigenere Cipher

Hamdani , Anindita Septiarini, Irmadani Apriningrum ...

103 Teknik Pengamanan dari Serangan Spammers

(3)

Femur Length Detection And Measurement Using Cascade Adaboost And

Morphology Operators

Zaki Imaduddin, I Putu Satwika, Robeth Rahmatullah, Wisnu Jatmiko ...

119 Sistem Pendukung Pemilihan Keputusan Penentuan Kelayakan Penerima

Jaminan Kesehatan Masyarakat Menggunakan Multiple Attribut Decision

Making (MADM) Dan Metode Simple Additive Weighting (SAW)

Gunawan Abdillah, Agus Komarudin, Agun Abdul Gani ...

127 Pseudo Random Number Generator Untuk Kode Acak Pin Pada Sistem

Informasi PMDK Online

Made Putra Wira Dharma, Agus Muliantara ...

135 SMS Gateway Untuk Peningkatan Pelayanan Kepada Customer (Studi

Kasus : PT Bhakti Jaya Mobil Indonesia)

Ni G. A. P. Harry Saptarini, Zulfahmi Alif Abdi...

145 Optimasi Sistem Distribusi Dua Tingkat Dengan Algoritma Genetika

Adaptif

Putu Indah Ciptayani, Zulfahmi Indra ...

159 Pengaruh Nguyen Widrow Dan Momentum Pada Kinerja Jaringan Syaraf

Tiruan Backpropagation

I Gusti Agung Ari Bawarta, I Made Widiartha ...

167 Peramalan Hujan Harian Menggunakan Algoritma Backpropagation

Ida Bagus Gede Bayu Priyanta, Elsyantri Nana Suhendra, I Gede Santi

Astawa ... ...

175 Pengenalan Pola Daun Dengan Menggunakan Metode Radial Basis

Function Dengan K-Means Clustering Untuk Penentuan Jenis Tanaman

Ni Putu Tessa Intaran, Agus Muliantara ...

181 Prototype Sistem Penunjuk Arah dan Pelacakan Bagi Penyandang Tuna

Netra berbasis RFID (Radio Frequency Identification)

I Made Widhi Wirawan ...

189 Aplikasi Mobile Menampilkan Data Property Perusahaan Property

Menggunakan Sistem Operasi Android

Cok. Istri Oka Diah Anggaraeni ...

201 Implementasi Fuzzy dalam Proses Pengereman Secara Otomatis

Menggunakan Metode Mamdani

(4)

167 Jurusan Ilmu Komputer, FMIPA, Universitas Udayana

PENGARUH NGUYEN WIDROW DAN MOMENTUM PADA KINERJA

JARINGAN SYARAF TIRUAN BACKPROPAGATION

I Gusti Agung Ari Bawarta1, I Made Widiartha2

1,2

Program Studi Teknik Informatika, Jurusan Ilmu Komputer,

Fakultas Matematika Dan Ilmu Pengetahuan Alam, Universitas Udayana

Email : agung.arie@cs.unud.ac.id1, imadewidiartha@cs.unud.ac.id2

ABSTRAK

Jaringan saraf tiruan merupakan salah satu sistem pemrosesan informasi yang didesain dengan menirukan cara kerja otak manusia dalam menyelesaikan suatu masalah dengan melakukan proses belajar melalui perubahan bobot sinapsisnya. Tetapi dalam perhitungan algoritma Backpropagation terdapat masalah yaitu lamanya iterasi yang harus dilakukan karena pemilihan bobot awal yang bersifat acak. Sehingga algoritma Backpropagation tidak dapat memberikan kepastian tentang jumlah epoch yang harus dilalui untuk mengkovergensikan hasil disetiap iterasi.

Dalam penelitian ini menguji pengaruh inisiaalisasi bobot awal pada algoritma Backpropagation dengan menggunakan metode Nguyen Widrow dan perhitungan perubahan bobot yang didasarkan atas arah gradien pola terakhir dan pola sebelumnya (disebut momentum) pada kinerja kerja jaringan syaraf tiruan Backpropagation.

Dataset yang digunakan adalah dataset iris bunga, dataset kanker payudara, dan dataset gelas. Dari penelitian ini, didapatkan hasil bahwa algoritma Backpropagatioan dengan penambahan metode Nguyen Widrow dan momentum mendapatkan hasil akurasi yang lebih tinggi dengan waktu lebih minimal dibandingkan algoritma Backpropagatioan dasar dan Backpropagatioan dengan penambahan metode Nguyen Widrow. Penambahan Nguyen Widrow pada inisialisasi bobot awal dapat mempercepat proses pembelajaran dan dengan penambahan momentum dapat menghindari perubahan bobot yang mencolok akibat adanya data yang sangat berbeda dengan yang lain. Sehingga dapat meminimalkan waktu pembelajaran dan menghasilkan tingkat akurasi yang tinggi dalam pengklasifikasian data.

Kata Kunci: Backpropagation, Nguyen Widrow, Backpropagation Momentum

ABSTRACT

Artificial neural networks is one of the information processing system which designed to mimic the way of human brain works in solving a problem by learning process through the change of synapse weight. But there is a problem in the backpropagation algorithm that it need a longer iteration time because of its random first weight selection. Thus Bacpropagation Algorithm can’t give an exact number of epochs which must be passed to convergence the result of every iteration.

This study examine the effect of initialization weight in Backpropagation algorithm using the Nguyen Widrow method and the weight change calculations that based on recent and previous patterns of gradient direction (called momentum) in the Backpropagation performance. The dataset that used in this study are iris flowers’s dataset, breast cancer dataset, and glasses dataset.

From this study, the result is that Backpropagation algorithm which collaborated with Nguyen Widrow and momentum get more accurate result with lesser time computation than basic Backpropagation and Backpropagation that collaborated with Nguyen Widrow. By adding Nguyen Widrow in initialization of first weight could accelerate learning process and by adding momentum could avoid significant weight change that caused by the data that different with other data. Thus, this could minimize learning time and produce high precision in classification data.

(5)

1

PENDAHULUAN

Jaringan saraf tiruan merupakan salah satu sistem pemrosesan informasi yang didesain dengan menirukan cara kerja otak manusia dalam menyelesaikan suatu masalah dengan melakukan proses belajar melalui perubahan bobot sinapsisnya [2]. Istilah buatan digunakan karena jaringan syaraf ini diimplementasikan dengan menggunakan program komputer yang mampu menyelesaikan sejumlah proses perhitungan selama proses pembelajaran [1].

Salah satu algoritma dalam jaringan saraf tiruan adalah algoritma Backpropagation yang digunakan dalam peramalan karena menggunakan error untuk mengubah nilai bobot-bobot jaringan dalam arah mundur [5]. Seperti halnya model jaringan syaraf tiruan lainnya,

Backpropagation melatih jaringan untuk mendapatkan keseimbangan antara kemampuan

jaringan untuk mengenali pola yang digunakan selama pelatihan serta kemampuan jaringan untuk memberikan respon yang benar terhadap pola masukan yang serupa (tapi tidak sama) dengan pola yang dipakai selama pelatihan [1].

Dalam perhitungan algoritma Backpropagation masalah utama yang dihadapi dalam

Backpropagation adalah lamanya iterasi yang harus dilakukan. Backpropagation tidak dapat

memberikan kepastian tentang berapa epoch yang harus dilalui untuk mencapai kondisi yang diinginkan. Oleh karena itu, peneliti berusaha meneliti bagaimana parameter-parameter jaringan dibuat sehingga menghasilkan jumlah iterasi yang relatif lebih sedikit [1].

Bobot awal akan mempengaruhi apakah jaringan mencapai titik minimum lokal (local

minimum) atau global dan seberapa cepat konvergensinya. Bobot yang menghasilkan nilai

turunan aktivasi yang kecil sedapat mungkin dihindari karena akan menyebabkan perubahan bobotnya menjadi sangat kecil. Demikian pula nilai bobot awal tidak boleh terlalu besar karena nilai turunan fungsi aktivasinya menjadi sangat kecil juga. Oleh karena itu dalam “Standar

Backpropagation”, bobot dan bias diisi dengan bilangan acak kecil. Nguyen dan Widrow

mengusulkan cara membuat inisialisasi bobot dan bias ke unit tersembunyi sehingga meghasilkan iterasi lebih cepat [6].

Pada standar Backpropagation, perubahan bobot didasarkan atas gradien yang terjadi untuk pola yang dimasukkan saat itu. Modifikasi yang dapat dilakukan adalah melakukan perubahan bobot yang didasarkan atas arah gradien pola terakhir dan pola sebelumnya (disebut momentum) yang dimasukkan. Jadi tidak hanya pola masukan terakhir saja yang diperhitungkan [3].

Penambahan momentum dimaksudkan untuk menghindari perubahan bobot yang mencolok akibat adanya data yang sangat berbeda dengan yang lain (outlier). Apabila beberapa data terakhir yang diberikan ke jaringan memiliki pola serupa (berarti arah gradien sudah benar), maka perubahan bobot dilakukan secara cepat. Namun apabila data terakhir yang dimasukkan memiliki pola yang berbeda dengan pola sebelumnya, maka perubahan bobot dilakukan secara lambat [3].

Oleh karena itu, pada penelitian ini dilakukan optimasi pencarian bobot acak pada jaringan syaraf tiruan Backpropagation dengan metode Nguyen Widrow dan penambahan momentum pada perhitungan perubahan bobot untuk menghindari perubahan bobot yang mencolok akibat adanya data yang sangat berbeda dengan yang lain (outlier). Sehingga dapat melakukan klasifikasi data dengan meminimalkan waktu iterasi pada beberapa data set.

2

MODEL, ANALISIS, DESAIN, DAN IMPLEMENTASI 2.1 Data set

Data set Iris bunga adalah data yang multivariat diatur diperkenalkan oleh [9]. Data set terdiri dari 50 sampel dari masing-masing tiga spesies Iris (Iris setosa, Iris virginica dan Iris

versicolor). Empat fitur diukur dari masing-masing sampel: panjang dan lebar sepal dan

kelopak, dalam sentimeter [9].

Data set kanker payudara adalah data diperkenalkan oleh [7]. Data set terdiri dari 569 sampel yang terbagi menjadi dua kelas, yaitu 357 sample benign dan 212 sample malignant. Sepuluh fitur diukur dari masing-masing sampel: radius, texture, perimeter, area, smoothness,

(6)

Data set gelas adalah data diperkenalkan oleh [8]. Data set terdiri dari 214 sampel yang terbagi menjadi enam kelas, yaitu building windows float processed, building windows non float

processed, vehicle windows float processed, containers, tableware, dan headlamps.Sembilan

fitur diukur dari masing-masing sampel : RI: refractive index,Na: Sodium, Mg: Magnesium,Al:

Aluminum,Si: Silicon,K: Potassium,Ca: Calcium,Ba: Barium, dan Fe: Iron.[8].

2.2 Algoritma Backpropagation

Backpropagation merupakan algoritma pembelajaran yang terawasi dan biasanya

digunakan oleh perceptron dengan banyak lapisan untuk mengubah bobot-bobot yang terhubung dengan neuron-neuron yang ada pada lapisan tersembunyinya. Algoritma

Backpropagation menggunakan error output untuk mrngubah nilai bobot-bobotnya dalam arah

mundur (backward). Untuk mendapatkan error ini, tahap perambatan maju (forward

propagation) harus dikerjakan terlebih dahulu. Pada saat perambatan maju, neuron-neuron

diaktifkan dengan menggunakan fungsi aktivasi sigmoid [1]. f (x) (1)

Arsitektur jaringan backpropagation seperti dilihat pada gambar 1.

Gambar 1. Arsitektur jaringan Backpropagation

Algoritma Backpropagation [1]. Untuk tiap-tiap pasangan elemen yang akan dilakukan pembelajaran, maka dilakukan langkah-langkah berikut:

Feed forward:

a. Tiap-tiap unit input (Xi, i=1,2,3,….,n) menerima sinyal Xi dan meneruskan sinyal tersebut

ke semua unit pada lapisan yang ada di atasnya (lapisan tersembunyi).

b. Tiap-tiap unit tersembunyi (Zj, j=1,2,3,….p) menjumlahkan sinyal-sinyal input terbobot: z_inj = v0j + xivij (2)

Gunakan fungsi aktivasi untuk menghitung sinyal outputnya: Zj = f(z_inj) (3)

Dan kirimkan sinyal tersebut ke semua unit di lapisan atasnya (unit-unit output).

c. Tiap-tiap unit output (Yk, k=1,2,3,….,m) menjumlahkan sinyal-sinyal input terbobot.

y_ink = w0k + ziwjk (4)

Gunakan fungsi aktivasi untuk menghitung sinyal outputnya: yk= f(y_ink) (5)

Dan kirimkan sinyal tersebut ke semua unit di lapisan atasnya (unit-unit output). Back forward:

d. Tiap-tiap unit output (Yk, k=1,2,3,….,m) menerima target pola yang berhubungan dengan pola input pembelajaran, hitung informasi erornya:

(7)

Kemudian hitung koreksi bobot (yang nantinya akan digunakan untuk memperbaiki nilai wjk).

¨wjk = Įįkzj (7)

Hitung juga koreksi bias (yang nantinya akan digunakan untuk memperbaiki nilai W0k)

¨W0k=Įįk (8)

Kirimkan įk ini ke unit yang ada dilapisan bawahnya.

e. Tiap-tiap unit tersembunyi (Zj, j=1,2,3,…..p) menjumlahkan delta inputnya (dari unit-unit

yang berada pada lapisan di atasnya.

Kalikan nilai ini dengan turunan dari funssi aktivasinya untuk menghitung informasi error

įj= į_ inj f(z_inj) (9)

Kemudian hitung koreksi bobot (yang nantinya akan digunakan untuk memperbaiki nilai v....)

¨vjk=Įįjxi (10)

Hitung juga koreksi bias (yang nantinya akan digunakan untuk memperbaiki nilai v….)

¨v0j=Įįj (11)

f. Tiap-tiap unit output (Yk, k=1,2,3,….,m) memperbaiki bias dan bobotnya (j=0,1,2,…p)

wjk (baru)= wjk (lama) + ¨vjk (12)

Tiap-tiap unit tersembunyi (Zj, j=1,2,3,…..p) memperbaiki bias dan bobotnya (i=0,1,2,…,n) vij (baru)= vij (lama) + ¨vij (13)

2.3 Algoritma Nguyen Widrow

Nguyen dan Widrow (1990) mengusulkan cara membuat inisialisasi bobot dan bias ke unit tersembunyi sehingga meghasilkan iterasi lebih cepat. Misalkan, n = jumlah unit masukan,p

= jumlah unit tersembunyi, dan ȕ= faktor skala = 0,7 [6].

Algoritma inisialisasi Nguyen-Widrow adalah sbb:

a. Inisialisasi semua bobot (vij(lama)) dengan bilangan acak dalam interval [-0,5: 0,5]

b. Hitung ||vj|| = (14)

c. Bobot yang dipakai sebagai inisialisasi vij= (15)

d. Bias yang dipakai sebagai inisialiasasi v0j= bilangan acak antara –ȕ dan ȕ. (16)

2.4 Backpropagation Momentum

Dengan penambahan momentum, bobot baru pada waktu ke (t+1) didasarkan atas bobot pada waktu t dan (t-1). Disini harus ditambahkan dua variabel yang mencatat besarnya

momentum untuk dua iterasi terakhir. Jika ȝ adalah konstanta (0 ȝ 1) yang menyatakan

parameter momentum maka bobot baru dihitung berdasarkan persamaan berikut [3]. (17)

dengan

w (t) = kj bobot awal pola kedua (hasil dari iterasi pola pertama).

w (t −1) = kj bobot awal pada iterasi pola pertama.

Dan

(18) dengan

v (t) = ji bobot awal pola kedua (hasil iterasi pola pertama).

(8)

3

SKENARIO UJI COBA

Adapun alur kerja yang dilakukan dalam penelitian ini adalah sebagai berikut: a. Training

Gambar 2. Flowchart Training

b. Testing

(9)

4

HASIL UJI COBA 4.1 Hasil

Tabel 1. Hasil Perbandingan Algritma

No Data Set Backpropagation Backpropagation,

Nguyen Backpropagation, Nguyen, dan momentum Akurasi (%) Waktu (s) Akurasi Waktu (s) Akurasi Waktu (s) 1 Bunga Iris 80% ~1.0 86.5% ~0.6 86.5% ~0.6 2 Kanker 87% ~1.7 87% ~0.8 90% ~0.6 3 Gelas 79,6% ~1.4 83,3 % ~1.0 85,1% ~0.5 4.1 Pembahasan

Penelitian pertama mengggunakan dataset bunga iris dengan jumlah maksimun iterasi adalah 1000, threshold adalah 0.1, dan learning rate adalah 1. Dengan jumlah data training 120 sample dan testing 30 sample, didapatkan jumlah neuron pada hiden layer yang paling optimal adalah 9.

Penelitian kedua mengggunakan dataset kanker payudara dengan jumlah maksimun iterasi adalah 1000, threshold adalah 0.1, dan learning rate adalah 1. Dengan jumlah data training 469 sample dan testing 100 sample, didapatkan jumlah neuron pada hiden layer yang paling optimal adalah 6.

Penelitian ketiga mengggunakan dataset gelas dengan jumlah maksimun iterasi adalah 1000, threshold adalah 0.1, dan learning rate adalah 1. Dengan jumlah data training 214 sample dan testing 54 sample, didapatkan jumlah neuron pada hiden layer yang paling optimal adalah 6.

Pada penelitian diketahui semakin banyak jumlah training set, tingkat akurasi pada proses testing akan meningkat. Nilai akurasi dihitung menggunakan hasil testing algoritma

Backpropagation dan waktu kerja dihitung menggunakan waltu pengerjaan proses

pembelajaran.

Pemilihan nilai random pada bobot awal algoritma Backpropagation sangat mempengaruhi proses pembelajaran algoritma, dengan penambahan algoritma Nguyen Widraw dan penambahan momentum dapat menghindari perubahan bobot yang mencolok pada saat proses update bobot, sehingga dapat mengotimalkan pemilihan nilai random tersebut sehingga waktu proses pembelajarin menjadi lebih singkat, hal ini terbukti pada data pada table 1, terjadi peningkatan nilai akurasi dan waktu kerja proses pada perhitungan menggunakan tiga dataset tersebut.

5

KESIMPULAN

Melalui penelitian ini, dapat diketahui algoritma Backpropagatioan dengan penambahan algoritma Nguyen Widrow dan momentum mendapatkan hasil akurasi yang lebih tinggi dengan waktu lebih minimal dibandingkan algoritma Backpropagatioan dasar dan Backpropagatioan dengan penambahan metode Nguyen Widrow.

PenambahanNguyen Widrow pada inisialisasi bobot awal dapat mempercepat proses pembelajaran dan dengan penambahan momentum dapat menghindari perubahan bobot yang mencolok akibat adanya data yang sangat berbeda dengan yang lain. Sehingga dapat meminimalkan waktu pembelajaran dan menghasilkan tingkat akurasi yang tinggi dalam pengklasifikasian data.

6

DAFTAR PUSTAKA

[1] Kusumadewi, S. (2003). Artificial Intelligence: Teknik dan Aplikasinya. Yogyakarta: Graha Ilmu.

(10)

[2] Kiki, S. K. 2004. Analisis Jaringan Saraf Tiruan dengan Metode Backpropagation

untuk Mendeteksi Gangguan Psikologi. Yogyakarta: Universitas Islam Indonesia.

[3] Istook, E. and Tony M. 2003. “Improved Backpropagation Learning in Neural Networks with Momentum”. International Journal of Neural Systems 12, 3-4: 303-318

[4] Dhaneswara, G. dan Moertini, V. S. 2004. “Jaringan Saraf Tiruan Propagasi Balik untuk Klasifikasi Data. Integral”. FMIPA Unpar 9, 3: 1-11.

[5] Kumar, P. R., Murty, M. V. R., et al. 2008. “Time Series Modeling Using Artificial Neural Networks”. Journal of Theoretical and Applied Information Technology, 4 (12): 259-264.

[6] Zaman, A. M., Amaliah, B. dan Munif, A. 2012. “Implementasi Algoritma Genetika pada Struktur Backpropagation Neural Network untuk Klasifikasi Kanker Payudara”. Jurnal

Teknik ITS 1 (sept.): 222-227.

[7] Wolberg, W.H., Street, W.N. and Mangasarian, O.L. 1992. Breast Cancer Wisconsin

(Diagnostic) Data Set, <URL: http://archive.ics.uci.edu/ml/datasets/ Breast+ Cancer+ Wisconsin+ (Diagnostic)>.

[8] German, B. 2005. Glass Identification Data Set, <URL: http://archive.ics.uci.edu/ml/support/Glass+Identification>.