Analisis Accelerated Learning pada Algoritma Backpropagation Menggunakan Adaptive Learning Rate

(1)

ANALISIS ACCEL

BACKPRO

PROGRA

FAKULTAS ILMU

U

ACCELERATED LEARNING PADA A

ROPAGATION MENGGUNAKAN AD

(2)

ANALISIS ACCEL

BACKPRO

Diajukan untuk mele

PR FAKULTAS

ACCELERATED LEARNING PADA A

ROPAGATION MENGGUNAKAN AD

LEARNING RATE

TESIS

elengkapi tugas dan memenuhi syarat memperol Teknik Informatika

ERMAWATI

117038021

ROGRAM STUDI S2 TEKNIK INFORMATIK ASI ILMU KOMPUTER DAN TEKNOLOGI IN

UNIVERSITAS SUMATERA UTARA MEDAN

2013

ALGORITMA

ADAPTIVE

eroleh ijazah Magister

IKA

(3)

PERSETUJUAN

Judul Tesis : Analisis Accelerated Learning pada Algoritma Backpropagation menggunakan Adaptive Learning Rate.

Katagori :

Nama Mahasiswa : ERMAWATI Nomor Induk Mahasiswa : 117038021

Program Studi : Magister (S2) Teknik Informatika

Fakultas : ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA

Komisi Pembimbing :

Pembimbing 2 Pembimbing 1

Dr. Erna BudhiartiNababan, M. IT Prof. Dr. Herman Mawengkang

Diketahui/disetujui oleh

Program Studi S2 Teknik Informatika Ketua,

(4)

PERNYATAAN

ANALISIS ACCELERATED LEARNING PADA ALGORITMA BACKPROPAGATION MENGGUNAKAN ADAPTIVE

LEARNING RATE

Saya mengakui bahwa tesis ini adalah hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya.

Medan, 23 Agustus 2013

(5)

PERNYATAAN PERSETUJUAN PUBLIKASI KARYA ILMIAH UNTUK KEPENTINGAN

AKADEMIS

Sebagai sivitas akademika Universitas Sumatera Utara, saya yang bertanda tangan dibawahini :

Nama : ERMAWATI

NIM : 117038021

Program Studi : Magister S2 Teknik Informatika Jenis Karya Ilmiah :

Demi pengembangan ilmu pengetahuan, menyetujui untuk memberikan kepada Universitas Sumatera Utara Hak Royalti Non-Eksklusif Royalti Free Right) atas tesis saya yang berjudul :

ANALISIS ACCELERATED LEARNING PADA ALGORITMA BACKPROPAGATION MENGGUNAKAN ADAPTIVE

LEARNING RATE

Beserta perangkat yang ada (jika diperlukan). Dengan Hak Bebas Royalti Non Eksklusif ini, Universitas Sumatera Utara berhak menyimpan, mengalih media, memformat , mengelola dalam bentuk database, merawat dan mempublikasi tesis saya tanpa meminta izin dari saya selama tetap mencantum nama saya sebagai penulis dan sebagai pemegang dan / atau sebagai pemilik hak cipta.

Demikian pernyataan ini dibuat dengan sebenarnya.

Medan, 23 Agustus 2013

(6)

Telah diuji pada

Tanggal : 23 Agustus 2013

PANITIA PENGUJI TESIS

Ketua :

Anggota : 1. Prof. Dr. Herman Mawengkang

2. Dr. Erna BudhiartiNababan, M.IT

3. Prof. Dr. Muhammad Zarlis

4. Dr. Marwan Ramli, M.Si

(7)

RIWAYAT HIDUP

DATA PRIBADI

Nama Lengkap : ERMAWATI

Tempat dan Tanggal Lahir : Jeunieb, 05 Agustus 1977

Alamat : Jln. RumohLuengMatangglumpangduaMns. DayahKec. PeusanganKab. Bireuen - Aceh Telepon/HP : 085260114405

E-mail : [email protected] Instansi Tempat Bekerja : SMK Negeri 1 Peusangan

Alamat Kantor : Jln. IrigasiPanteLhong I Peusangan Kabupaten Bireuen – Aceh

DATA PENDIDIKAN

(8)

KATA PENGANTAR

Puji dan Syukur penulis panjatkan kehadirat Allah SWT berkat limpahan rahmat dan karunia–Nya lah penulis dapat menyelesaikan Tesis ini dengan bimbingan, arahan, kritik dan saran serta bantuan dari pembimbing, pembanding, segenap dosen, rekan-rekan mahasiswa Program Studi Magister (S2) Teknik Informatika Universitas Sumatera Utara.

Tesis ini diajukan sebagai salah satu syarat untuk memperoleh gelar Magister Komputer pada Program Studi Pascasarjana Magister Teknik Informatika pada Fakultas Ilmu Komputer – Teknologi Informasi Universitas Sumatera Utara.Dengan judul tesis “Analisis Accelerated Learning Pada Algoritma Backpropagation Menggunakan Adaptive Learning Rate”. Pada proses penulisan sampai dengan selesainya penulisan tesis ini, penulis mengucapkan terima kasih yang sebesar-besarnya kepada :

1. Prof. Dr. Muhammad Zarlis selaku Dekan Fakultas Ilmu Komputer dan Teknologi Informasi sekaligus Ketua Program Studi Magister (S2) Teknik Informatika, dan

M. Andri Budiman, ST, M.Comp.Sc, M.EM selaku Sekretaris Program Studi Magister (S2) Teknik Informatika.

2. Prof. Dr. Herman Mawengkang dan Dr. Erna Budhiarti Nababan, M.IT selaku pembimbing yang telah membimbing penulis dengan penuh kesabaran hingga selesainya tesis ini dengan baik.

3. Prof. Dr. Muhammad Zarlis, Prof. Dr. Marwan Ramli, M.Si dan Prof. Dr. Opim Salim Sitompul selaku pembanding yang telah memberikan masukan dan arahan yang baik demi selesainya tesis ini.

4. Staf pegawai dan administrasi pada Program Studi Magister (S2) Teknik Informatika Program Pascasarjana Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara yang telah memberikan bantuan dan pelayanan terbaik kepada penulis selama mengikuti perkuliahan hingga saat ini. 5. Rekan mahasiswa/i angkatan ketiga tahun 2011 pada Program Studi Magister

(9)

Teknologi Informasi Universitas Sumatera Utara yang telah bersama-sama saling membantu selama mengikuti perkuliahan.

6. Teristimewa untuk keluarga besar khususnya Ibunda serta suami tersayang Fadhlon Kamal dan anak-anakku tercinta Fadhilla Raissa Kamal dan FarisJ abbar Kamal. yang telah bersusah payah mendidik penulis dan memberikan semangat, bantuan moril dan materil ini tidak dapat dibalas hanya diserahkan kepada Allah SWT.

7. Semua pihak yang tidak dapat penulis sebutkan satu persatu, terima kasih atas bantuan yang telah diberikan kepada penulis selama ini.

Dengan segala kekurangan dan kerendahan hati, sekali lagi penulis mengucapkan

terimakasih.Semoga kiranya Allah SWT membalas segala bantuan dan kebaikan yang telah

diberikan.

Medan, 23 Agustus 2013 Penulis

(10)

ABSTRAK

Algoritma backpropagation merupakan multi layer perceptron yang banyak digunakan untuk menyelesaikan persoalan yang luas, namun algoritma backpropagation juga mempunyai keterbatasan yaitu laju konvergensi yang cukup lambat. Pada penelitian ini penulis menambahkan parameter learning rate secara adaptif pada setiap iterasi dan koefisien momentum untuk menghitung proses perubahan bobot. Dari hasil simulasi komputer maka diperoleh perbandingan antara algoritma backpropagation standar dengan backpropagation adaptive learning. Untuk algoritma backpropagation standar kecepatan konvergensi mencapai 1000 epoch dengan nilai MSE yang dihasilkan adalah 0,00044 sedangkan untuk algoritma backpropagation adaptive learning hanya 72 epoch dengan nilai MSE yang dihasilkan 0.0000036. Hal ini menunjukkan bahwa algoritma backpropagation adaptive learning lebih cepat mencapai konvergensi daripada algoritma backpropagation standar.

(11)

ANALYSIS OF ACCELERATED LEARNING IN BACKPROPAGATION ALGORITHM USING ADAPTIVE LEARNING RATE

ABSTRACT

Backpropagation algorithm is a multi-layer perceptron which is widely used to solve large problems, but also has limitations backpropagation algorithmis the rate of convergence is quite slow. In this study, the authors add a parameter adaptive learning rate in each iteration and momentum coefficients to calculate the weights change. From the results of the computer simulation for the comparison between the standard back propagationalgorithm with adaptive learning rate backpropagation. For backpropagation algorithm convergence speed reached 1000 epochs with MSE values produced is 0.00036 while the adaptive learning rate backpropagation algorithmis only 72 epochs with MSE values generated 0.0000043. This suggests that adaptive learning rate backpropagation algorithm reaches convergence faster than the standard backpropagation algorithm.

(12)

DAFTAR ISI

HALAMAN JUDUL i

PENGESAHAN ii

PERNYATAAN ORISINALITAS iii

PERSETUJUAN PUBLIKASI iv

PANITIA PENGUJI v

RIWAYAT HIDUP vi

KATA PENGANTAR vii

ABSTRAK ix

1.1 Latar Belakang Masalah 3

1.2 Perumusan Masalah 2

1.3 Batasan Masalah 3

1.4 Kerangka Penelitian 3

1.5 Tujuan Penelitian 3

1.6 Manfaat Penelitian 4

BAB 2 LANDASAN TEORI

2.1 Kecerdasan Buatan 5

2.2 Jaringan Syarat Tiruan 5

2.2.1 Fungsi Aktivasi 6

2.3 Backpropagation 12

2.4 Algoritma Backpropagation 13

2.4.1 Fase Propagasi Maju 14

2.4.2 Fase Propagasi Mundur 14

(13)

2.5 Syarat Parameter 18

2.6 Riset Terkait 19

2.7 Perbedaan dengan Riset lain 20

2.8 Kontribusi Riset 21

BAB 3 METODOLOGI PENELITIAN 22

3.1 Pendahuluan 22

3.2 Data Yang Digunakan 22

3.3 Rancangan Penelitian 22

3.4 Proses Penyelesaian Masalah 24

3.4.1 Perancangan Jaringan Backpropagation 24

3.4.2 Arsitektur Jaringan 24

3.4.3 Desain Tampilan Berbasis GUI 30

3.5 Proses Normalisasi 30

3.6 Komputasi Backpropagation 31

3.6.1 Pelatihan Jaringan 33

3.6.2 Pengujian 34

BAB 4 HASIL DAN PEMBAHASAN

4.1 Pendahuluan 35

4.2 Implementasi Sistem Simulasi 35

4.2.1 Pelatihan Data 36

4.2.2 Proses Pengujian Data Baru 37

4.3 Hasil Uji Coba 38

4.3.1 Hasil Normalisasi Data 38

4.3.2 Hasil Pelatihan Algoritma Backpropagation Standar 39 4.3.3 Hasil Pelatihan Algoritma Backpropagation Adaptive

Learning 40

4.4 Komposisi Parameter Adaptive Learning rate 41

4.5 Hasil Pengujian 43

(14)

BAB 5 KESIMPULAN DAN SARAN 45

5.1 Kesimpulan 45

5.2 Saran 45

DAFTAR PUSTAKA 46

(15)

DAFTAR TABEL

Hal Tabel 4.1

Tabel 4.2

Arsitektur JSTBackpropagationstandar dan adaptive learning

Tabel Dataset awal yang dinormalisasi

35

(16)

DAFTAR GAMBAR

Nomor Gambar

Judul Halaman

1.1 2.1

Kerangka Kerja Peneltian Struktur Neuron

3 6

2.2 Jaringan satu lapis 7

2.3 Jaringan lapis banyak 8

2.4 Jaringan lapisan kompetitif 9

2.5 Proses belajar terbimbing 10

2.6 Fungsi piece wise Fungsi Siqmoid

Arsitektur yang digunakan

Diagram alir algoritma backpropagation adaptive learning

Algoritma backpropagation adaptive learning rate Interface simulasi backpropagation

Algoritma proses normalisasi

26