ANALISIS MEAN SQUARE ERROR (MSE) PROSES PELATIHAN MENGGUNAKAN METODE BACKPROPAGATION DENGAN SELF ORGANIZING MAPS DAN NGUYEN WIDROW TESIS

(1)

SELF ORGANIZING MAPS DAN NGUYEN WIDROW

TESIS

RIN RIN MEILANI SALIM 137038007

PROGRAM STUDI S2 TEKNIK INFORMATIKA

FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA

MEDAN

2015

(2)

ANALISIS MEAN SQUARE ERROR (MSE) PROSES PELATIHAN MENGGUNAKAN METODE BACKPROPAGATION DENGAN

SELF ORGANIZING MAPS DAN NGUYEN WIDROW

TESIS

Diajukan untuk melengkapi tugas dan memenuhi syarat memperoleh ijazah Magister Teknik Informatika

RIN RIN MEILANI SALIM 137038007

PROGRAM STUDI S2 TEKNIK INFORMATIKA

FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA

MEDAN

2015

(3)

PERSETUJUAN

Judul : Analisis Mean Square Error (MSE) Proses Pelatihan menggunakan Metode Backpropagation dengan Self Organizing Maps dan Nguyen Widrow

Kategori : Tesis

Nama : Rin Rin Meilani Salim

Nomor Induk Mahasiswa : 137038007

Program Studi : Teknik Informatika

Fakultas : ILMU KOMPUTER DAN TEKNOLOGI INFORMASI

UNIVERSITAS SUMATERA UTARA

Komisi Pembimbing :

Pembimbing 2 Pembimbing 1

Dr. Erna Budhiarti Nababan, M.IT Prof. Dr. Muhammad Zarlis

Diketahui/disetujui oleh

Program Studi Magister (S2) Teknik Informatika Ketua,

Prof. Dr. Muhammad Zarlis NIP. 195707011986011003

(4)

iii

PERNYATAAN

ANALISIS MEAN SQUARE ERROR (MSE) PROSES PELATIHAN MENGGUNAKAN METODE BACKPROPAGATION DENGAN

SELF ORGANIZING MAPS DAN NGUYEN WIDROW

TESIS

Saya mengakui bahwa tesis ini adalah hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya.

Medan, 20-Maret-2015

Rin Rin Meilani Salim NIM. 137038007

(5)

PERNYATAAN PERSETUJUAN PUBLIKASI KARYA ILMIAH UNTUK KEPENTINGAN

AKADEMIS

Sebagai sivitas akademika Universitas Sumatera Utara, saya yang bertanda tangan di bawah ini:

Nama : Rin Rin Meilani Salim

NIM : 137038007

Program Studi : Teknik Informatika Jenis Karya Ilmiah : Tesis

Demi pengembangan ilmu pengetahuan, menyetujui untuk memberikan kepada Universitas Sumatera Utara Hak Bebas Royalti Non-Eksklusif (Non-Exclusive Royalty Free Right) atas tesis saya yang berjudul:

ANALISIS MEAN SQUARE ERROR (MSE) PROSES PELATIHAN MENGGUNAKAN METODE BACKPROPAGATION DENGAN

SELF ORGANIZING MAPS DAN NGUYEN WIDROW

Beserta perangkat yang ada (jika diperlukan). Dengan Hak Bebas Royalti Non- Eksklusif ini, Universitas Sumatera Utara berhak menyimpan, mengalih media, memformat, mengelola dalam bentuk database, merawat dan mempublikasikan tesis saya tanpa meminta izin dari saya selama tetap mencantumkan nama saya sebagai penulis dan sebagai pemegang dan/atau sebagai pemilik hak cipta.

Demikian pernyataan ini dibuat dengan sebenarnya.

Medan, 20-Maret-2015

(6)

v

Telah diuji pada

Tanggal: 20-Maret-2015

PANITIA PENGUJI TESIS

Ketua : Prof. Dr. Muhammad Zarlis

Anggota : 1. Dr. Erna Budhiarti Nababan, M.IT.

2. Prof. Dr. Herman Mawengkang 3. Dr. Rahmat W. Sembiring, M.Sc.IT.

4. Dr. Mahyudin, M.IT.

(7)

RIWAYAT HIDUP

DATA PRIBADI

Nama Lengkap (berikut gelar) : Rin Rin Meilani Salim, S.Kom.

Tempat dan Tanggal Lahir : Medan / 11 Mei 1992

Alamat Rumah : Jln. Pdam Tirtanadi No. 271-D Sunggal

Telepon/Faks/HP : -/-/081361235818

E-mail : [email protected]

Instansi Tempat Bekerja : STMIK Mikroskil

Alamat Kantor : Jln. Thamrin No. 140

DATA PENDIDIKAN

SD : Brigjen Katamso Medan TAMAT: 2003

SLTP : Brigjen Katamso Medan TAMAT: 2006

SLTA : Sultan Iskandar Muda Medan TAMAT: 2009 S-1 : Sistem Informasi STMIK Mikroskil TAMAT: 2013

S-2 : Teknik Informatika USU TAMAT: 2015

(8)

vii

KATA PENGANTAR

Puji syukur penulis panjatkan kepada Tuhan Yang Maha Esa atas semua berkat dan karunia-Nya, sehingga penulis dapat menyelesaikan tesis yang berjudul “Analisis Mean Square Error (MSE) Proses Pelatihan menggunakan Metode Backpropagation dengan Self Organizing Maps dan Nguyen Widrow” tepat pada waktunya.

Laporan tesis ini disusun sebagai syarat guna mendapatkan gelar sarjana strata dua pada Program Studi Teknik Informatika Universitas Sumatera Utara.

Penulis juga menyadari bahwa penyusunan tesis ini tidak terlepas dari pengarahan, petunjuk, bantuan, dan dukungan dari berbagai pihak. Oleh karena itu, dalam kesempatan yang baik ini, penulis tidak lupa mengucapkan rasa terima kasih dan penghargaan yang sebesar-besarnya kepada:

1. Bapak Prof. Dr. dr. Syahril Pasaribu, D.T.M.&H., M.Sc. (C.T.M.), Sp.A.(K.), selaku Rektor Universitas Sumatera Utara atas kesempatan yang telah diberikan kepada penulis sehingga dapat mengikuti dan menyelesaikan pendidikan program Magister (S2) Teknik Informatika.

2. Bapak Prof. Dr. Muhammad Zarlis, selaku Dekan Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara, Ketua Program Studi Teknik Informatika Universitas Sumatera Utara, dosen penasehat akademik, dan dosen pembimbing utama yang telah banyak meluangkan waktunya untuk memberikan pengarahan, petunjuk, bantuan, dukungan, dan motivasi dalam tesis ini.

3. Ibu Dr. Erna Budhiarti Nababan, M.IT., selaku dosen pembimbing kedua yang telah banyak meluangkan waktunya untuk memberikan masukan, pengarahan, petunjuk, bantuan, dukungan, dan motivasi dalam tesis ini.

4. Bapak Prof. Dr. Herman Mawengkang, selaku dosen penguji utama yang telah banyak meluangkan waktunya untuk memberikan masukan, pengarahan, petunjuk, dan dukungan kepada penulis.

5. Bapak Dr. Rahmat W. Sembiring, M.Sc.IT., selaku dosen penguji kedua yang banyak meluangkan waktunya untuk memberikan masukan, pengarahan, petunjuk, dukungan, dan motivasi kepada penulis.

(9)

6. Bapak Dr. Mahyudin, M.IT., selaku dosen penguji ketiga yang telah banyak meluangkan waktunya untuk memberikan masukan, pengarahan, petunjuk, dan dukungan kepada penulis.

7. Teristimewa kepada Ibunda tercinta, Liaw Moy Moy yang telah dengan penuh kasih sayang membesarkan, mendidik, memotivasi, dan memberikan dorongan moril hingga selesainya perkuliahan penulis.

8. Ketua Yayasan Bina Pertiwi Medan (STMIK Mikroskil) yang memberikan dukungan materil hingga selesainya perkuliahan penulis.

9. Seluruh dosen di Program Studi Teknik Informatika Universitas Sumatera Utara yang telah mendidik dan membimbing penulis.

10. Seluruh pegawai dan staf administrasi pada Program Studi Magister (S2) Teknik Informatika dan pada Fasilkom TI USU yang telah memberikan bantuan dan pelayanan terbaik kepada penulis selama mengikuti perkuliahan hingga selesai.

11. Seluruh keluarga dan teman-teman yang telah banyak memberikan dukungan dan semangat baik secara langsung maupun tidak kepada penulis dalam menyelesaikan tesis ini.

Penulis menyadari bahwa tesis ini masih terdapat kekurangan baik dari segi tata bahasa maupun materi yang terkandung di dalamnya. Oleh karena itu, dengan segala kerendahan hati penulis membuka diri untuk menerima segala saran dan kritik yang bersifat membangun dari semua pihak yang mengarah kepada perbaikan tesis ini.

Penulis yakin dengan adanya masukan-masukan kiranya dapat semakin memperbaiki dan menyempurnakan tesis ini.

Akhir kata, penulis berharap tesis ini dapat berguna, memberi manfaat, dan menjadi sumber informasi bagi pembaca. Sebelum dan sesudahnya penulis mengucapkan terima kasih.

Medan, 20 Maret 2015 Penulis,

(10)

ix

ABSTRAK

Backpropagation adalah salah satu metode dalam jaringan syaraf tiruan yang menggunakan pembelajaran dengan supervisi yang populer digunakan dalam memprediksi, mendiagnosis, klasifikasi, dan pengolahan data. Backpropagation memiliki keunggulan dalam kemampuannya untuk belajar, adaptasi terhadap suatu objek, dan toleransi terhadap kesalahan. Akan tetapi, backpropagation memiliki kelemahan dalam proses pembelajarannya yang membutuhkan waktu cukup lama dalam mencapai tingkat konvergensinya. Tingkat konvergensi adalah tingkat selisih dari mean square error yang mendekati nilai nol. Mean Square error adalah selisih antara nilai target output dengan nilai actual output. Salah satu cara untuk meningkatkan tingkat konvergen pada metode backpropagation adalah dengan memberikan input pada metode backpropagation menggunakan self organizing maps atau memberikan input pada metode backpropagation menggunakan Nguyen Widrow.

Selain itu, faktor yang mempengaruhi pembelajaran metode backpropagation adalah bias, laju pembelajaran (K ) dan momentum (ߤ). Analisis ini dilakukan pada data penyakit diabetes melitus. Hasil analisis menunjukkan bahwa metode self organizing maps cocok untuk mengenal suatu data yang belum diketahui target output-nya.

Metode Nguyen Widrow cocok untuk melatih atau mengenal data yang sudah diketahui target output-nya. Faktor bias dapat mempercepat untuk mendapatkan nilai keluaran yang diinginkan. Semakin tinggi nilai laju pembelajaran maka semakin kecil nilai mean square error dan semakin konvergen. Semakin tinggi nilai momentum maka semakin kecil nilai mean square error dan semakin konvergen.

Kata-kata kunci : Backpropagation, Self-Organizing-Maps, Nguyen-Widrow, Mean- Square-Error, Tingkat-Konvergensi

(11)

ANALYSIS MEAN SQUARE ERROR (MSE) ON TRAINING PROCESS USING BACKPROPAGATION METHOD

WITH SELF ORGANIZING MAPS AND NGUYEN WIDROW

ABSTRACT

Backpropagation is a method that uses a neural network with supervised learning that is popularly used in predicting, diagnosing, classification, and data processing.

Backpropagation has an advantage in its ability to learn, adapt to an object, and the tolerance for error. However, backpropagation has a weakness in the learning process that takes a long time to reach the level of convergence. Convergence rate is the rate difference of mean square error approaches zero. Mean Square Error is the difference between the target output value with the actual value output. One way to increase the level of convergent on backpropagation method is to provide input on the backpropagation method using self organizing maps or provide input on backpropagation method using Nguyen Widrow. In addition, factors that affect learning backpropagation method is bias, the learning rate (K ) DQGPRPHQWXPȝ

The analysis was performed on the data of diabetes mellitus. The analysis showed that the method of self organizing maps are suitable to recognize an unknown data that its output targets. Nguyen Widrow method is suitable for the train or get to know the data that has been known to target its output. Bias factors can accelerate to get the desired output value. The higher the value of the learning rate, the smaller the value of the mean square error and increasingly convergent. The higher the value of momentum, the smaller the value of the mean square error and increasingly convergent.

Keyword : Backpropagation, Self-Organizing-Maps, Nguyen-Widrow, Mean-Square- Error, Convergence-Rate

(12)

xi

DAFTAR ISI

HALAMAN JUDUL i

PERSETUJUAN ii

PERNYATAAN iii

PERNYATAAN PERSETUJUAN PUBLIKASI KARYA ILMIAH UNTUK

KEPENTINGAN AKADEMIS iv

PANITIA PENGUJI TESIS v

RIWAYAT HIDUP vi

KATA PENGANTAR vii

ABSTRAK ix

ABSTRACT x

DAFTAR ISI xi

DAFTAR TABEL xiv

DAFTAR GAMBAR xvi

BAB 1. PENDAHULUAN 1

1.1 Latar Belakang 1

1.2 Rumusan Masalah 2

1.3 Batasan Masalah 3

1.4 Tujuan Penelitian 3

1.5 Manfaat Penelitian 3

BAB 2. LANDASAN TEORI 4

2.1 Jaringan Syaraf Tiruan 4

2.2 Min-Max Normalization 5

2.3 Backpropagation 5

2.3.1 Bias 8

2.3.2 Laju Pembelajaran atau Learning Rate 9

2.3.3 Momentum 9

2.3.4 Mean Square Error 9

2.3.5 Konvergensi 9

2.4 Self Organizing Maps 10

(13)

2.5 Nyuyen Widrow 12

2.6 Penelitian Terkait 13

BAB 3. METODOLOGI PENELITIAN 15

3.1 Data yang digunakan 15

3.2 Arsitektur Jaringan 16

3.2.1 Arsitektur Jaringan Self Organizing Maps 16 3.2.2 Arsitektur Jaringan Backpropagation 17

3.3 Algoritma 20

3.3.1 Min-Max Normalization 20

3.3.2 Algoritma Self Organizing Maps 20

3.3.3 Agoritma Nguyen Widrow 22

3.3.4 Algoritma Backpropagation 22

3.4 Penyelesaian 24

3.4.1 Penyelesaian Metode Backpropagation dengan Self

Organizing Maps (Tanpa Bias) 25

3.4.1.1 Min-Max Normalization 25

3.4.1.2 Pelatihan dengan Self Organizing Maps 26 3.4.1.3 Inisialisasi Bobot dengan Nguyen Widrow 30 3.4.1.4 Pelatihan dengan Backpropagation 33 3.4.2 Penyelesaian Metode Backpropagation dengan Self

Organizing Maps (Bias) 38

3.4.2.2 Pelatihan dengan Self Organizing Maps 39 3.4.2.3 Inisialisasi Bobot dengan Nguyen Widrow 44 3.4.2.4 Pelatihan dengan Backpropagation 47 3.4.3 Penyelesaian Metode Backpropagation dengan Nguyen

Widrow (Tanpa Bias) 53

3.4.3.2 Inisialisasi Bobot dengan Nguyen Widrow 54 3.4.3.3 Pelatihan denga Backpropagation 57 3.4.4 Penyelesaian Metode Backpropagation dengan Nguyen

Widrow (Bias) 62

(14)

xiii

3.4.4.2 Inisialisasi Bobot dengan Nguyen Widrow 64 3.4.4.3 Pelatihan dengan Backpropagation 67

BAB 4. HASIL DAN PEMBAHASAN 73

4.1 Hasil 73

4.1.1 Pelatihan Backpropagation dengan Self Organizing

Maps 73

4.1.2 Pelatihan Backpropagation dengan Nguyen Widrow 80

4.2 Pembahasan 88

4.2.1 Grafik Pelatihan Backpropagation dengan Self

Organizing Maps 88

4.2.2 Grafik Pelatihan Backpropagation dengan Nguyen

Widrow 100

BAB 5. KESIMPULAN DAN SARAN 113

5.1 Kesimpulan 113

5.2 Saran 113

DAFTAR PUSTAKA 115

LAMPIRAN 118

(15)

DAFTAR TABEL

Tabel 2.1 Penelitian Terkait 13

Tabel 3.1 Bobot unit input layer ke output layer menggunakan self organizing

Maps 27

Tabel 3.2 Nilai X_i dataset diabetes mellitus 27

Tabel 3.3 Bobot akhir setelah pelatihan self organizing maps 29 Tabel 3.4 Hasil cluster self organizing maps (tanpa bias) 30 Tabel 3.5 Bobot unit input layer ke hidden layer (sebelum inisialisasi) 30 Tabel 3.6 Bobot unit input layer ke hidden layer (setelah inisialisasi) 33 Tabel 3.7 Bobot unit hidden layer ke output layer 33 Tabel 3.8 Bobot unit input layer ke output layer menggunakan self organizing

Maps 40

Tabel 3.9 Nilai Xi dataset diabetes mellitus 40

Tabel 3.10 Bobot akhir setelah pelatihan self organizing maps 42 Tabel 3.11 Hasil cluster self organizing maps (bias) 43 Tabel 3.12 Bobot unit input layer ke hidden layer (sebelum inisialisasi) 44 Tabel 3.13 Bobot unit input layer ke hidden layer (setelah inisialisasi) 47 Tabel 3.14 Bobot unit hidden layer ke output layer 47 Tabel 3.15 Bobot unit input layer ke hidden layer (sebelum inisialisasi) 54 Tabel 3.16 Bobot unit input layer ke hidden layer (setelah inisialisasi) 57 Tabel 3.17 Bobot unit hidden layer ke output layer 57 Tabel 3.18 Bobot unit input layer ke hidden layer (sebelum inisialisasi) 64 Tabel 3.19 Bobot unit input layer ke hidden layer (setelah inisialisasi) 67 Tabel 3.20 Bobot unit hidden layer ke output layer 67 Tabel 4.1 Hasil Pelatihan Backpropagation dengan Self Organizing Maps

(Tanpa Bias) 73

Tabel 4.2 Hasil Pelatihan Backpropagation dengan Self Organizing Maps

(Bias) 77

Tabel 4.3 Hasil Pelatihan Backpropagation dengan Nguyen Widrow

(Tanpa Bias) 81

(16)

xv

Tabel 4.4 Hasil Pelatihan Backpropagation dengan Nguyen Widrow (Bias) 84

(17)

DAFTAR GAMBAR

Gambar 2.1 Arsitektur backpropagation 7

Gambar 2.2 Arsitektur self organizing maps 11

Gambar 3.1 Arsitektur self organizing maps tanpa bias 16 Gambar 3.2 Arsitektur self organizing maps dengan bias 17

Gambar 3.3 Arsitektur backpropagation tanpa bias 18

Gambar 3.4 Arsitektur backpropagation dengan bias 19 Gambar 3.5 a) Diagram blok backpropagation dengan self organizing maps,

b) Diagram blok backpropagation dengan Nguyen Widrow 24 Gambar 4.1 Grafik data ke-1 laju pembelajaran -0.5 momentum 1 SOM

tanpa bias 88

Gambar 4.2 Grafik data ke-1 laju pembelajaran 0.2 momentum 0.8 SOM

tanpa bias 89

Gambar 4.3 Grafik data ke-1 laju pembelajaran 0.5 momentum 1 SOM

tanpa bias 89

Gambar 4.4 Grafik data ke-2 laju pembelajaran -0.5 momentum 1 SOM

tanpa bias 90

tanpa bias 91

tanpa bias 92

tanpa bias 93

dengan bias 94

(18)

xvii

dengan bias 95

dengan bias 96

dengan bias 97

dengan bias 98

dengan bias 99

Gambar 4.19 Grafik data ke-1 laju pembelajaran -0.5 momentum 1

Backpropagation tanpa bias 100

Gambar 4.20 Grafik data ke-1 laju pembelajaran 0.2 momentum 0.8

Gambar 4.21 Grafik data ke-1 laju pembelajaran 0.5 momentum 1

(19)

Backpropagation dengan bias 107

(20)

BAB 1

PENDAHULUAN

1.1. Latar Belakang

Jaringan syaraf tiruan digunakan dalam memprediksi, mendiagnosis, klasifikasi, dan pengolahan data. Metode dalam jaringan syaraf tiruan semakin berkembang dan banyak diterapkan dalam berbagai bidang sesuai dengan perkembangan jaman. Hal ini ditandai dengan beragam penelitian yang dilakukan menggunakan metode dalam jaringan syaraf tiruan. Penelitian dan pengembangan teknologi menggunakan jaringan syaraf tiruan dapat diimplementasikan pada kehidupan sehari-hari, dunia kedokteran, dan dunia bisnis (Fausset, 1994).

Backpropagation merupakan salah satu metode dalam jaringan syaraf tiruan yang populer dan memiliki keunggulan dalam kemampuannya untuk belajar, adaptasi terhadap suatu objek, dan toleransi terhadap kesalahan (Hagan et al, 2002). Tetapi backpropagation memiliki kelemahan dalam proses pembelajarannya yang membutuhkan waktu cukup lama sehingga metode ini membutuhkan waktu yang lama dalam mencapai tingkat konvergen (Gory dan Tesi, 1992). Tingkat konvergensi merupakan nilai mean square error (selisih antara actual output dan target output) mendekati nilai nol ketika algoritma mempelajari setiap pola (Hagan et al, 2002).

Faktor yang mempengaruhi pembelajaran pada backpropagation adalah input, bias, laju pembelajaran atau learning rate (K ) dan momentum (ߤ). Salah satu cara yang banyak digunakan untuk meningkatkan konvergen pada metode backpropagation adalah dengan memberikan nilai input yang baik pada metode backpropagation.

Menurut penelitian Kaur et al. (2013) bahwa pendekatan self organizing maps dapat melakukan pembelajaran sama baiknya dengan backpropagation.

Backpropagation mencapai 100% akurasi dengan 60% data pelatihan tetapi self organizing maps memerlukan 70% data pelatihan. Menurut penelitian Lubis et al.

(2005) bahwa hybrid backpropagation dengan self organizing maps menghasilkan

(21)

keakuratan yang lebih tinggi dibandingkan dengan algoritma backpropagation dan self organizing maps. Penelitian Andrian dan Wahyahdi (2014), dan Mishra et al.

(2014) menunjukkan bahwa algoritma backpropagation dengan inisialisasi bobot menggunakan metode Nguyen Widrow lebih baik dibandingkan dengan insialisasi bobot mengunakan metode acak.

Self Organizing Maps (SOM) adalah metode pelatihan dimana neuron-neuron akan menyusun dirinya sendiri berdasarkan input nilai tertentu ke dalam suatu kelompok yang dikenal dengan istilah cluster (Fausset, 1994). Nguyen Widrow adalah metode untuk menginisialisasi bobot neural network dengan tujuan untuk mempercepat pelatihan (Nguyen and Widrow, 1990). Hasil dari metode self organizing maps dan Nguyen Widrow akan dijadikan sebagai input pada metode backpropagation. Kemudian metode backpropagation akan melakukan pembelajaran dengan supervisi untuk mencapai tingkat konvergen.

Perbandingan antara metode backpropagation dengan input menggunakan self organizing maps dengan inisialisasi bobot menggunakan Nguyen Widrow dan metode backpropagation dengan inisialisasi bobot menggunakan Nguyen Widrow dalam analisis Mean Square Error (MSE) dilakukan pada dataset dalam satu objek yang sama, yaitu mendiagnosis penyakit diabetes melitus. Diabetes melitus adalah penyakit yang timbul dikarenakan tubuh tidak dapat mengatur kadar gula dalam darah akibat insulin yang dihasilkan oleh pankreas sedikit atau tidak berproduksi.

Berdasarkan uraian di atas, maka penulis tertarik untuk menganalisisnya dalam tugas akhir dengan judul Tesis "Analisis Mean Square Error (MSE) Proses Pelatihan menggunakan Metode Backpropagation dengan Self Organizing Maps dan Nguyen Widrow".

1.2. Rumusan Masalah

Adapun perumusan masalah dalam penelitian ini adalah pengaruh faktor bias, laju pembelajaran atau learning rate (K ) dan momentum (ߤ) pada pembelajaran metode backpropagation dengan self organizing maps dan Nguyen Widrow dalam mencapai tingkat konvergen.

(22)

3

1.3. Batasan Masalah

Agar analisis ini mendapatkan gambaran yang jelas, rinci, terarah dan tidak menyimpang dari latar belakang masalah yang telah diuraikan, maka batasan masalah dalam penelitian ini adalah:

1. Hanya akan membahas tingkat konvergen yang didapat dari metode backpropagation dengan self organizing maps dengan inisialisasi bobot menggunakan Nguyen Widrow dan metode backpropagation dengan inisialisasi bobot menggunakan Nguyen Widrow.

2. Dalam pengujian, hanya membahas faktor bias, laju pembelajaran atau learning rate (K ) dan momentum (ߤ) yang mempengaruhi pembelajaran metode backpropagation dalam mencapai tingkat konvergen.

1.4. Tujuan Penelitian

Adapun tujuan dari penelitian ini adalah untuk menganalisis Mean Square Error (MSE) metode backpropagation dengan input self organizing maps dan Nguyen Widrow, serta menganalisis faktor bias, laju pembelajaran atau learning rate (K ) dan momentum (ߤ) yang mempengaruhi tingkat konvergensi pada metode backpropagation.

1.5. Manfaat Penelitian

Adapun manfaat yang dapat diperoleh dari penelitian ini adalah:

1. Memberikan pengetahuan mengenai pengaruh faktor input, bias, laju pembelajaran atau learning rate (K ) dan momentum (ߤ) terhadap nilai Mean Square Error (MSE) pada metode backpropagation.

2. Menjadi referensi dalam pemilihan penerapan metode jaringan syaraf tiruan untuk penelitian-penelitian selanjutnya.

(23)

BAB 2

LANDASAN TEORI

2.1. Jaringan Syaraf Tiruan

Jaringan Syaraf Tiruan (artificial neural network) adalah sistem pemrosesan informasi yang memiliki karakteristik kemampuan yang secara umum mirip dengan jaringan saraf biologi. Sebuah jaringan syaraf terdiri dari susunan koneksi antara neuron- neuron yang disebut sebagai arsitektur, metode penentuan bobot pada koneksi yang disebut dengan proses pelatihan atau algoritma, dan aktivasi fungsi. Sebuah jaringan syaraf terdiri dari sejumlah besar elemen-elemen proses yang disebut neurons, units, cells, atau nodes. Setiap neuron terhubung dengan neuron yang lainnya yang disebut directed communication links, dengan tiap bobot diasosiasi. Bobot merepresentasikan informasi yang digunakan untuk menyelesaikan masalah. Jaringan syaraf dapat diaplikasikan ke dalam berbagai masalah, seperti storing dan recalling data atau pola, klasifikasi pola, mapping dari pola input ke pola ouput, mengelompokkan pola yang sama, atau menemukan solusi yang paling optimal (Fausset, 1994).

Jaringan syaraf tiruan telah dikembangkan sebagai turunan model matematika dari kesadaran manusia atau saraf biologis, karena berdasar pada asumsi bahwa:

a. Pemrosesan informasi terjadi pada beberapa elemen sederhana yang disebut neuron.

b. Sinyal lewat diantara neuron menciptakan jaringan koneksi.

c. Setiap koneksi penghubung memiliki bobot yang terhubung, yang dalam jaringan saraf tertentu mengalikan sinyal yang ditransmisikan.

d. Setiap neuron mempunyai fungsi aktrivasi (biasanya non linier) pada jaringan inputnya (jumlah dari bobot sinyal input) untuk menentukan sinyal outputnya.

Karakteristik dari jaringan saraf tiruan adalah :

a. Pola hubungan antar neuron ( yang menjadi arsitekturnya).

(24)

5

b. Metode penentuan bobot dalam koneksi (disebut sebagai proses latihan, pembelajaran, atau Algoritma).

c. Fungsi aktivasi.

Jaringan syaraf biologis terdiri atas sel–sel yang disebut neuron. Pada jaringan syaraf tiruan, juga terdapat istilah neuron atau sering disebut unit, sel, node. Setiap neuron terhubung dengan neuron–neuron yang lain melalui layer dengan bobot tertentu. Bobot disini melambangkan informasi yang digunakan oleh jaringan untuk menyelesaikan persoalan. Pada jaringan syaraf biologis, bobot tersebut dapat dianalogikan dengan aksi pada proses kimia yang terjadi pada synaptic gap.

Sedangkan neuron mempunyai internal state yang disebut aktivasi. Aktivasi merupakan fungsi dari input yang diterima. Suatu neuron akan mengirimkan sinyal ke neuron–neuron yang lain, tetapi pada suatu saat hanya ada satu sinyal yang dikeluarkan walaupun sinyal tersebut ditransmisikan ke beberapa neuron yang lain.

Sistem jaringan saraf banyak digunakan dalam berbagai bidang antara lain kedokteran, bisnis, keuangan, maupun elektronika termasuk pemrosesan sinyal dan sistem kontrol (Heaton, 2008).

2.2. Min-Max Normalization

Metode min-max normalization digunakan untuk memberikan data yang normal berada antara range tertentu. Misalnya, data v berada pada range 150 sampai 250, kemudian akan diakumulasi nilai ke dalam subinterval yang lebih kecil dengan range [0, 1] menggunakan rumus:

ݒ^Ԣ(݅) = (ݒ(݅) െ min༌(ݒ(݅)))/(max൫ݒ(݅)൯ െ min༌(ݒ(݅)))...(2.1) Normalisasi akan membuat data secara otomatis berada pada nilai range minimum dan maximum (Kantardzic, 2003).

2.3. Backpropagation

Backpropagation ditemukan tahun 1970 dari beberapa penelitian dan tersebar luas sebagai sebuah metode umum dari pelatihan jaringan syaraf oleh Rumelhart, Hinton dan Williams. Backpropagation merupakan metode yang baik digunakan untuk menangani masalah pengenalan pola-pola yang kompleks. Arsitektur pada jaringan backpropagation adalah setiap unit pada lapisan input akan terhubung ke lapisan

(25)

tersembunyi dan setiap unit pada lapisan tersembunyi akan terhubung ke lapisan output. Adapun lapisannya dijelaskan, yaitu:

1. Lapisan input (1 buah) : Lapisan ini terdiri dari neuron-neuron atau unit-unit input, mulai dari 1 unit input sampai n unit input.

2. Lapisan tersembunyi (minimal 1 buah) : Lapisan ini terdiri dari unit-unit tersembunyi mulai dari 1 unit tersembunyi sampai n unit tersembunyi.

3. Lapisan output (1 buah) : Lapisan ini terdiri dari unit-unit output mulai dari 1 unit output sampai n unit output.

Cara kerja jaringan Backpropagation adalah pertama sekali dilakukan inisialisasi bobot pada jaringan. Selanjutnya contoh-contoh pelatihan yang terdiri dari vektor input dan vektor output dimasukkan ke dalam jaringan. Keluaran dari jaringan adalah sebuah vektor output aktual. Kemudian vektor output aktual tersebut dibandingkan dengan vektor output target untuk mengetahui apakah keluaran sudah sesuai harapan. Error yang timbul akibat perbedaan antara output aktual dengan output target kemudian digunakan untuk meng-update bobot-bobot yang relevan dengan mempropagasikan kembali error. Setiap perubahan bobot diharapkan mengurangi besar error. Epoch (siklus setiap pola pelatihan) akan dilakukan pada pelatihan sampai kondisi tertentu terpenuhi. Oleh karena itu, ada tiga tahap yang dilakukan dalam pelatihan, yaitu tahap perambatan maju (forward), tahap perambatan balik (backward), dan tahap perubahan bobot dan bias.

(Fausset, 1994)

(26)

7

Gambar 2.1. Arsitektur backpropagation (Fausett, 1994)

Dalam penelitian Identifikasi Tanda-Tangan Menggunakan Jaringan Saraf Tiruan Perambatan-Balik (Backpropagation), disimpulkan bahwa jaringan syaraf tiruan perambatan-balik yang sudah dilatih dengan data citra tanda-tangan seseorang, dapat digunakan untuk mengenali pemilik tanda tangan tersebut, untuk mendapatkan arsitektur dan parameter jaringan saraf tiruan yang terbaik perlu memperhatikan jumlah simpul lapis tersembunyi, laju pembelajaran, momentum, toleransi galat, dan jumlah epoch, bertambahnya jumlah simpul pada lapis tersembunyi mengakibatkan jumlah epoch kadang berkurang atau bertambah sedangkan rata-rata lama waktu tiap epoch yang semakin bertambah seiring seiring dengan bertambahnya jumlah simpul, sistem akan bekerja maksimal dengan laju pembelajaran sebesar 0,3 karena pada keadaan ini jumlah epoch paling sedikit dan waktu yang dibutuhkan paling cepat saat proses pelatihan, dan semakin bertambahnya nilai momentum akan berpengaruh pada berkurangnya jumlah epoch yang menyebabkan proses pelatihan/pengujian jaringan akan semakin cepat (Hidayatno et al., 2008).

Dalam penelitian Penerapan Metode Jaringan Saraf Tiruan Backpropagation untuk Memprediksi Nilai Ujian Sekolah, disimpulkan bahwa jaringan syaraf tiruan backpropagation yang dilatih mampu memprediksi nilai ujian sekolah siswa SD dengan tingkat akurasi yang baik. Kombinasi parameter pelatihan terbaik yang

(27)

dihasilkan cukup bervariasi jika dikaitkan dengan nilai learning rate dan jumlah maksimum epoch yang dibutuhkan untuk mencapai nilai MSE terkecil. Hal tersebut menandakan bahwa tidak ada patokan/pedoman pasti untuk mencapai nilai error terkecil dalam hal penggunaan parameter pelatihan berupa jumlah maksimum epoch dan besar learning rate. Semuanya harus melalui proses trial and error lewat serangkaian percobaan. Untuk pengembangan selanjutnya dapat menggunakan parameter pelatihan yang berbeda, misalnya dengan menggunakan momentum serta jumlah lapisan tersembunyi yang lebih banyak. Jumlah data latih yang digunakan juga diperbanyak (jika memungkinkan) agar prediksi yang dihasilkan semakin akurat (Kosasi, 2014).

Dalam penelitian Prediagnosis Penyakit Hipertensi Menggunakan Jaringan Syaraf Tiruan, disimpulkan bahwa prediagnosis terhadap penyakit hipertensi dapat dilakukan dengan menggunakan algoritma backpropagation dengan tingkat keakuratan 66.67% dengan learning rate 0,1 dan 6 unit lapisan tersembunyi. Pada penelitian ini, dengan penambahan learning rate tidak selalu terjadi penurunan tingkat akurasi pada masing-masing jumlah unit lapisan tersembunyi, dengan penambahan learning rate cenderung terjadi penurunan waktu pelatihan jaringan pada masing- masing jumlah unit lapisan tersembunyi, dengan penambahan jumlah unit lapisan tersembunyi cenderung terjadi peningkatan akurasi pada masing-masing learning rate, dan dengan penambahan jumlah unit lapisan tersembunyi tidak selalu terjadi penurunan waktu pelatihan pada masing-masing learning rate (Al Alifah dan Fuad, 2014).

2.3.1. Bias

Bias sama seperti berat, yang memiliki input konstan sebesar 1. Akan tetapi bias bersifat optional, artinya dalam jaringan boleh terdapat dan tidak terdapat bias (Hagan et al., 2002). Bias memiliki kondisi seperti bobot pada jaringan yang selalu bernilai 1 (Fausset, 1994). Nilai bias merupakan nilai konstan yang dimiliki setiap neuron kecuali neuron pada lapisan input, yang digunakan untuk memperbaiki nilai keluaran jaringan agar sesuai atau mendekati nilai keluaran yang diinginkan.

(28)

9

2.3.2. Laju Pembelajaran atau Learning Rate

Learning rate adalah parameter umum dalam banyak algoritma pembelajaran, dan mempengaruhi kecepatan ANN mencapai nilai solusi minimum. Dalam backpropagation, learning rate sejalan dengan parameter step-size dari algortima gradient-descent. Jika step-size terlalu tinggi, sistem akan berosilasi (terombang- ambing) dalam mencapai solusi yang benar, atau akan menyimpang sama sekali.

Sebaliknya, jika step-size terlalu rendah sistem akan mengambil waktu konvergen yang cukup lama untuk mencapai solusi akhir (Heaton, 2008).

2.3.3. Momentum

Parameter momentum digunakan untuk mencegah sistem mencapai konvergen pada lokal minimum, Parameter momentum yang tinggi dapat membantu meningkatkan kecepatan konvergensi dari sistem. Tetapi ,mengatur parameter momentum yang terlalu tinggi beresiko melampaui nilai minimum yang menyebabkan sistem menjadi tidak stabil. Sebaliknya jika koefisien momentum terlalu rendah juga tidak dapat menghindari lokal minima dan dapat memperlambat proses pelatihan (Heaton, 2008).

2.3.4. Mean Square Error

Mean Square Error digunakan untuk menghitung nilai error set pembelajaran dengan hasil ideal yang ditentukan sebelumnya. Metode mean square error efektif dalam menghitung nilai error tanpa menghiraukan apakah nilai aktual berada di bawah atau di atas hasil yang ideal (Heaton, 2008).

Mean Square Error digunakan sebagai parameter untuk keakuratan nilai target keluaran. Semakin kecil nilai mean square error tidak menjamin semakin tinggi nilai akurasinya (Riztyan et al., 2013).

2.3.5. Konvergensi

Konvergensi dari algoritma pembelajaran Backpropagation adalah meminimalkan nilai mean square error. Konvergensi dicapai ketika mean square error adalah 0 pada akhir iterasi, meskipun hal tersebut mencapai lokal minimum (local minima), akan tetapi ini merupakan solusi yang baik untuk pembelajaran. Mean Square Error untuk jaringan multilayer jauh lebih kompleks dan memiliki banyak lokal minimum (local

(29)

minima). Akan tetapi ketika algoritma Backpropagation konvergen, tidak dapat dipastikan bahwa solusi tersebut optimal (Hagan et al., 2002).

Konvergensi ditandai dengan telah tercapainya target output yang diinginkan.

Tingkat konvergensi merupakan proses pembelajaran dan tingkat keakuratan algoritma dalam mempelajari setiap pola hingga selisih antara actual output dan target output mendekati nilai nol. Tingkat konvergensi dicapai melalui sejumlah epoch dalam pembelajaran.

2.4. Self Organizing Maps

Self Organizing Maps (SOM) menandakan kelas algoritma neural network pada kategori pembelajaran tanpa supervisi. Dalam bentuk aslinya SOM diciptakan oleh pendiri Neural Networks Research Centre, Professor Teuvo Kohonen pada tahun 1981-82, dan banyak versi, generalisasi, skema percepatan belajar, dan aplikasi SOM telah dikembangan sejak itu. Properti dari SOM membentuk proyeksi nonlinear dimensional tinggi sebuah data regular. Pengelompokkan data berupa cluster serta hubungan metrik topologi item data jelas terlihat. SOM telah menyebar ke berbagai bidang ilmu pengetahuan dan teknologi sebagai metode analisis. (Kohonen, 1990)

Pada jaringan SOM, neuron-neuron akan menyusun dirinya sendiri berdasarkan input nilai tertentu ke dalam suatu kelas yang disebut dengan istilah cluster. Dalam proses penyusunan diri, cluster yang memiliki vektor bobot paling cocok dengan pola input (memiliki jarak paling dekat) akan terpilih sebagai pemenang. Neuron yang menjadi pemenang beserta neuron-neuron tetangganya akan memperbaiki bobot-bobotnya. Apabila kita ingin membagi data-data menjadi K cluster, maka lapisan kompetitif akan terdiri atas K buah neuron (Fausset, 1994).

(30)

11

Gambar 2.2. Arsitektur self organizing maps (Budhi et al., 2008)

Dalam penelitian Deteksi Kanker Paru Berbasis Jaringan Syaraf Tiruan Self Organizing Maps (SOM), metode penelitian dilakukan dengan empat tahapan.

Pertama, pembacaan file gambar hasil foto rontgent. Kedua, ekstraksi fitur citra gambar dengan melakukan filtering dan equalisasi histogram secara adaptif. Ketiga, reduksi fitur yang dihasilkan dengan cara mereduksi citra melalui mekanisme transformasi kosinus secara diskrit. Keempat, citra paru diklasifikasikan dalam kondisi sehat atau kanker paru dengan menggunakan metoda jaringan saraf tiruan self organizing maps (SOM). Hasil penelitiannya menunjukkan bahwa akurasi data testing tercapai hingga 86,66% dengan performansi MSE berorder hingga E-7 yang berhenti pada iterasi ke-25 pada laju pembelajaran 0,01 dengan error terbobot 0,005 pada dua unit gugus terdekatnya (Ama et al., 2013).

Dalam penelitian Cluster Analysis Untuk Memprediksi Talenta Pemain Basket Menggunakan Jaringan Saraf Tiruan Self Organizing Maps (SOM) dapat disimpulkan bahwa aplikasi tersebut dapat menampilkan hasil classification melalui proses testing SOM, dimana pemain yang di tes dikelompokkan ke dalam cluster tertentu yang mempunyai kemiripan karakteristik dengannya. Dari pengujian, dapat disimpulkan bahwa kenaikan jumlah atribut/field yang dipakai sebaiknya disertai dengan kenaikan dimensi maps pada SOM saat proses training/competitive learning/clustering.

Kemudian selain bergantung pada jumlah data, lebar dimensi maps SOM, jumlah field/atribut yang digunakan, kecepatan proses training SOM (clustering) juga

(31)

dipengaruhi oleh jenis field yang dipakai, sebaran nilainya serta kombinasi dari field- field yang digunakan. Dan semakin besar dimensi maps SOM, semakin baik mutu cluster yang dihasilkan (Budhi et al., 2008).

2.5. Nguyen Widrow

Nguyen Widrow adalah metode untuk menginisialisasi bobot neural network dengan tujuan untuk mempercepat pelatihan. Dalam inisialisasi bobot, sejumlah nilai diacak untuk menetapkan bobot jaringan backpropagation. Jika bobot awal terlalu besar pada sinyal input ke setiap hidden atau output unit akan jatuh pada titik jenuh dimana turunan dari sigmoid memiliki nilai yang sangat kecil (f(net) = 0). Jika bobot terlalu kecil, net input ke hidden unit atau output unit akan mendekati nol, yang menyebabkan pembelajaran yang sangat rendah (Nguyen and Widrow, 1990).

Untuk mendapatkan hasil bobot dan bias terbaik ditetapkan untuk mengacak angka antara -0.5 dan +0.5 atau -1 dan +1. Dengan demikian bobot awal dan bias dapat dilakukan secara acak dan atas dasar penggunaan konsep ini ditingkatkan metode inisialisasi bobot (Mishra et al., 2014).

Waktu pembelajaran backpropagation lebih cepat jika inisialisasi bobot dan biasnya menggunakan nguyen widrow dibandingkan dengan inisialisasi acak. Pada inisialisasi bobot menggunakan nguyen widrow, inisialisasi acak tetap terpakai tetapi digunakan untuk menginisialisasi bobot dan bias dari unit tersembunyi ke unit output saja. Untuk bobot dan bias dari unit-unit input ke unit-unit tersembunyi diskala agar jatuh pada range tertentu. Dengan penskalaan tersebut, diharapkan kemampuan belajar dari unit-unit tersembunyi dapat meningkat (Fausset, 1994).

Menurut penelitian dalam Implementasi Algoritma Genetika pada Struktur Backpropagation Neural Network untuk Klasifikasi Kanker Payudara, penggunaan metode Nguyen Widrow untuk inisialisasi bobot awal Neural Network terbukti menghasilkan rata-rata akurasi lebih baik dari pada inisialisasi bobot awal Neural Network secara acak. Uji dilakukan pada performa dengan pembanding insialisasi awal bobot pada model Neural Network. Tujuan utama dari pengujian penelitian ini adalah membandingkan metode inisialisasi bobot awal pada Neural Network yang menghasilkan nilai rata-rata maksimum akurasi terbaik antara metode random (acak) dengan metode Nguyen-Widrow (Zamani et al., 2012).

(32)

13

Dalam penelitian A new initialization method for neural networks using sensitivity analysis, menguji mengenai metode inisialisasi yaitu inisialisasi acak dan nguyen-widrow. Selama percobaan, ketika metode yang diusulkan dibandingkan dengan inisialisasi acak, meningkatkan performansi dari algoritma pembelajaran, baik dalam kecepatan konvergensi dan error akhir. Perbedaan tidak begitu luar biasa ketika metode yang diusulkan dibandingkan dengan algoritma Nguyen-Widrow. Namun, dalam tiga dari empat percobaan the sensitivity based method memungkinkan untuk mendapatkan kesalahan yang lebih rendah dalam waktu iterasi yang lebih sedikit (Berdinas dan Romero, 2006).

2.6. Penelitian Terkait

Adapun penelitian-penelitian yang sudah dilakukan dan berkaitan dengan penelitian ini dapat dilihat pada tabel 2.1.

Tabel 2.1. Penelitian Terkait Nama

Peneliti/Tahun

Teknik yang digunakan

Keterangan Lubis, C.,

Sutedjo, E. &

Setiadi, B. / 2005

1. Backpropagation 2. Self Organizing

Maps Kohonen

Penelitian dilakukan dengan memprediksi harga saham menggunakan algoritma Backpropagation, Self Organizing Maps Kohonen, dan Hybrid Self Organizing Maps Kohonen - Backpropagation. Hasil penelitian menunjukkan algoritma hybrid lebih akurat dari algoritma Backpropagation dan algoritma Self Organizing Maps Kohonen dalam memprediksi harga saham.

Hui, S.C., Yap, M.T., and Prakash, P. / 2000

1. Kohonen

2. Backpropagation

Penelitian ini mengintegrasikan pembelajaran dengan supervisi backpropagation dengan pembelajaran tanpa supervisi jaringan Kohonen untuk memprediksi harga saham.

Kaur, A., Singh, N., Bahrdwaj, A. / 2013

1. Backpropagation 2. Self Organizing

Maps

Penelitian ini membandingkan metode pembelajaran dengan supervisi yaitu backpropagation dan metode pembelajaran tanpa supervisi yaitu self organizing maps.

(33)

Tabel 2.1. Penelitian Terkait (Lanjutan) Nama

Peneliti/Tahun

Teknik yang digunakan

Keterangan Andrian, Y., &

Wayahdi, M.

R. / 2014

1. Backpropagation 2. Nguyen-Widrow

Pada penelitian ini, prediksi curah hujan

menggunakan algoritma

Backpropagation dan proses training dilakukan dengan inisialisasi bobot random dan inisialisasi bobot nguyen- widrow. Hasilnya menunjukkan bahwa metode nguyen-widrow memiliki inisialisasi bobot yang lebih baik.

Mishra, Khushboo., Mittal, N. K.,

& Mirja, M. H.

/ 2014

1. Feed Forward Backpropagation 2. Nguyen-Widrow

Penelitian ini menggunakan multilayer feedforward berbasis algoritma inisialisasi bobot nguyen widrow untuk kompresi citra.

Perantonis, S J., Virvilis, V. / 1999

1. Multilayered perceptrons

2. Data set pima indians diabetes

Penelitian ini membahas mengenai ekstraksi input feature untuk multilayered perceptrons menggunakan supervised principal component analysis pada data set pima indians diabetes. Hasilnya feature ini mampu diterapkan untuk masalah klasifikasi yang mengarah ke peningkatan kemampuan generalisasi.

Berdasarkan tabel 2.1, dapat disimpulkan dari penelitian yang pernah dilakukan bahwa metode Backpropagation dapat memiliki pembelajaran yang lebih baik dengan input self organizing maps. Metode Backpropagation memiliki pembelajaran yang lebih baik dengan inisialisasi bobot menggunakan Nguyen Widrow. Kedua metode tersebut dapat meningkatkan pembelajaran pada metode Backpropagation.

(34)

BAB 3

METODOLOGI PENELITIAN

3.1. Data yang digunakan

Data set yang digunakan pada penelitian ini adalah data set jenis classification yang diambil dari UCI Repository, yaitu Pima Indians Diabetes. Data set ini disediakan oleh Michael Kahn, MD, Phd, Washington University, St. Louis, MO yang digunakan untuk Artificial Intelligence in Medicine (AIM) pada tahun 1994. Data set ini adalah data atas pasien-pasien perempuan yang berusia setidaknya 21 tahun keturunan pima India. Data set yang tersedia menggambarkan data penyakit diabetes melitus. Ada 9 atribut informasi dari data set, yaitu:

1. Number of times pregnant, data ini menunjukkan berapa kali jumlah hamil 2. Plasma glucose concentration a 2 hours in an oral glucose tolerance test, data

menunjukkan konsentrasi glukosa plasma

3. Diastolic blood pressure (mm Hg), data menunjukkan tekanan darah diastolik 4. Triceps skin fold thickness (mm), data ini menunjukkan ketebalan lipatan kulit 5. 2-Hour serum insulin (mu U/ml), data ini menunjukkan serum insulin dalam 2

jam

6. Body mass index (weight in kg/(height in m)^2), data ini menunjukkan indeks masa tubuh

7. Diabetes pedigree function, data ini menunjukkan silsilah diabetes 8. Age (years), data ini menunjukkan umur

9. Class variable (0 or 1), data ini menunjukkan keputusan apakah seorang pasien tersebut terkena diabetes atau tidak dimana kelas 1 termasuk positif diabetes atau terkena diabetes dan kelas 0 termasuk negatif diabetes atau tidak terkena diabetes (Kahn, 1994).

(35)

3.2. Arsitektur Jaringan

3.2.1. Arsitektur Jaringan Self Organizing Maps

Ada dua bentuk arsitektur jaringan self organizing maps yang akan dianalisis pada penelitian ini. Arsitektur pertama yaitu lapisan input yang terdiri dari 8 node dengan nilai berupa atribut informasi data set nomor 1 sampai 8 yang ditunjukkan oleh gambar 3.1. Pada lapisan output arsitektur, terdapat 2 node dimana node-node tersebut berisi hasil cluster apakah terkena penyakit diabetes melitus atau tidak terkena penyakit diabetes melitus. W adalah bobot dari input layer ke output layer.

X1

X2

X3

X4

X5

X6

X7

X8

Y1

Y2 W11

W12

W13

W14

W15

W16

W17

W18 W21

W22

W23

W24

W25

W26

W27

W28

Gambar 3.1 Arsitektur self organizing maps tanpa bias

Arsitektur kedua yaitu lapisan input terdiri dari 8 node dengan nilai berupa atribut informasi data set nomor 1 sampai 8 ditambah dengan 1 node bias yang ditunjukkan oleh gambar 3.2. Pada lapisan output arsitektur, terdapat 2 node dimana node-node tersebut berisi hasil cluster apakah terkena penyakit diabetes melitus atau

(36)

17

tidak terkena penyakit diabetes melitus. W adalah bobot dari input layer ke output layer.

X1

X2

X3

X4

X5

X6

X7

X8

1

Y1

Y2 W11

W12

W13

W14

W15

W16

W17

W10 W18

W21

W22

W23

W24

W25

W26

W27

W28

220

bias

Gambar 3.2 Arsitektur self organizing maps dengan bias

3.2.2. Arsitektur Jaringan Backpropagation

Ada dua bentuk arsitektur jaringan backpropagation yang akan dianalisis pada penelitian ini. Arsitektur pertama terbentuk dengan input node sebanyak 8 node yaitu nilai atribut informasi data set nomor 1 sampai 8. Jumlah hidden node yang akan diuji sebanyak 6 node. Output node sebanyak 1 node yaitu nilai atribut informasi dari data set nomor 9, dimana ouput node ini berfungsi untuk menampilkan hasil dari pembelajaran tersebut apakah data tersebut tergolong positif terkena penyakit diabetes

(37)

yang digambarkan dengan nilai 1 atau negatif terhadap penyakit diabetes yang digambarkan dengan nilai 0 yang ditunjukkan pada gambar 3.3.

X1

X2

X3

X4

X5

X6

X7

X8

Z1

Z2

Z3

Z4

Z5

Z6 V11

V22

V33

V44

V55

V66 V12

V13

V14

V15

V16 V21

V23

V24

V25

V26 V31

V32

V34

V35

V36 V41

V42

V43

V45

V46 V51

V52

V53

V54

V56 V65 V64 V63 V62 V61

V71

V72

V73 V74

V75

V76 V81

V82

V83

V84

V85

V86

Y W1

W2

W3

W4

W5

W6

Backward Foward

error G

Gambar 3.3 Arsitektur backpropagation tanpa bias

Arsitektur kedua terbentuk dengan input node sebanyak 9 node dengan rincian 8 node yaitu nilai atribut informasi data set nomor 1 sampai 8 ditambah dengan 1 node bias ke hidden layer. Jumlah hidden node yang akan diuji sebanyak 7 node dengan rincian 6 node ditambah dengan 1 node bias ke output layer. Output node sebanyak 1 node yaitu nilai atribut informasi dari data set nomor 9, dimana ouput

(38)

19

node ini berfungsi untuk menampilkan hasil dari pembelajaran tersebut apakah data tersebut tergolong positif terkena penyakit diabetes yang digambarkan dengan nilai 1 atau negatif terhadap penyakit diabetes yang digambarkan dengan nilai 0 yang ditunjukkan oleh gambar 3.4.

X1

X2

X3

X4

X5

X6

X7

X8

Z1

Z2

Z3

Z4

Z5

Z6 V11

V22

V33

V44

V55

V66 V12

V13

V14

V15

V16 V21

V23

V24

V25

V26 V31

V32

V34

V35

V36 V41

V42

V43

V45

V46 V51

V52

V53

V54

V56 V65 V64 V63 V62 V61

V71

V72

V73 V74

V75

V76 V81

V82

V83

V84

V85

V86

Y W1

W2

W3

W4

W5

W6

1 1

W0 V01

V02

V03

V04

V05

V06

Backward Foward

error G

bias bias

Gambar 3.4 Arsitektur backpropagation dengan bias

(39)

V adalah bobot dari input layer ke hidden layer dan W adalah bobot dari hidden layer ke output layer. Hidden node pada kedua arsitektur di atas sebanyak 6 node ditentukan berdasarkan rumus dari Heaton, 2008 dengan perhitungan:

jumlah ݄݅݀݀݁݊ ݊݋݀݁ = 2

3 × jumlah ݅݊݌ݑݐ ݊݋݀݁ + ݋ݑݐ݌ݑݐ ݊݋݀݁

jumlah ݄݅݀݀݁݊ ݊݋݀݁ = 2

3 × 8 + 1

jumlah ݄݅݀݀݁݊ ݊݋݀݁ = 6.333333 (dibulatkan menjadi 6)

Pada saat pelatihan, backpropagation akan diuji pada laju pembelajaran atau learning rate berkisar -0.5 sampai 0.5 dan momentum berkisar dari 0 sampai 1 (Fausset, 1994).

3.3. Algoritma

3.3.1. Min-Max Normalization

Dataset penyakit diabetes melitus dari UCI Repository dinormalisasi terlebih dahulu menggunakan Min Max Normalization dengan rumus:

ݒ^Ԣ(݅) = (ݒ(݅) െ min༌(ݒ(݅)))/(max൫ݒ(݅)൯ െ min༌(ݒ(݅)))...(3.1) (Kantardzic, 2003)

Dipilih min max normalization karena menurut penelitian A Study on Normalization Techniques for Privacy Preserving Data Mining, Min-Max Normalization memiliki tingkat kesalahan klasifikasi yang lebih kecil dibandingkan Z- Score dan Decimal Scaling (Saranya dan Manikandan, 2013).

3.3.2. Algoritma Self Organizing Maps

Pada prosedur kerja bagian ini, data penyakit diabetes melitus akan dilatih dengan pembelajaran tanpa supervisi menggunakan self organizing maps dengan langkah yaitu:

a. Inisialisasi bobot input (w_ij):

ݓ_݆݅ = ^ܯ݅݊ܲ^݆^{+ ܯܽݔܲ}^݆

2 ... (3.2) dengan w_ij adalah bobot antara variabel input ke-j dengan neuron pada kelas ke-i (j=1,2,..., m; i=1,2,..., K); MinP_i dan Max P_i masing-masing adalah nilai terkecil pada variabel input ke-i, dan nilai terbesar dari variabel input ke-i.

(40)

21

b. Inisialisasi bobot bias (bi):

ܾ_݅ = ݁^[1^{െln༌(1/ܭ)]}... (3.3) dengan bi adalah bobot bias ke neuron ke-i, dan K adalah jumlah klas.

c. Set parameter learning rate.

d. Set maksimum epoh (MaxEpoh).

1. Set epoh = 0;

2. Kerjakan jika epoh < MaxEpoh:

a. epoh = epoh + 1

b. Pilih data secara acak, misalkan data terpilih adalah data ke-z.

c. Cari jarak antara data ke-z dengan setiap bobot input ke-i (Di):

ܦ_݅ =ටσ ൫ݓ^݉_{݆ =1} _݆݅ െ ݌_ݖ݆൯²... (3.4) d. Hitung a: ܽ_݅ = െܦ_݅ +ܾ_݅... (3.5) e. Cari ai terbesar:

i. MaxA = max(a_i), dengan i=1,2,...,K ii. Idx = i, sedemikian hingga a_i = MaxA.

f. Set output neuron ke-i (y_i):

ݕ݅ = ൜1, i = Idx

0, i് Idx ...(3.6) g. Update bobot yang menuju ke neuron Idx:

ݓIdxെj = ݓIdxെj+ߙ൫݌ݖ݆ െ ݓIdxെj൯...(3.7) h. Update bobot bias:

i. ܿ(݅) = (1 െ ߙ)݁⁽¹െln༌(ܾ(݅)))+ߙݕ(݅) ...(3.8) ii. ܾ(݅) = ݁⁽¹െln༌(ܿ(݅)))... (3.9) (Fausset, 1994)

Output dari pembelajaran ini berupa hasil cluster, yaitu cluster terkena penyakit diabetes melitus dan cluster tidak terkena penyakit diabetes melitus.

Kemudian dilakukan inisialisasi bobot menggunakan algoritma Nguyen Widrow. Hasil dari cluster pada pembelajaran self organizing maps akan dijadikan input atau sebagai faktor pembimbing pada pembelajaran dengan supervisi pada algoritma backpropagation.

(41)

3.3.3. Algoritma Nguyen Widrow

Sebelum dilatih menggunakan pembelajaran dengan supervisi backpropagation, terlebih dahulu dilakukan inisialisasi bobot terhadap data penyakit diabetes melitus menggunakan metode Nguyen Widrow dengan langkah:

1. Inisialisasi vektor bobot dari unit-unit input ke unit-unit tersembunyi (j=1, ...., p) dengan cara:

a. Menentukan bobot-bobot antara unit input ke unit tersembunyi (V_ij):

vij(lama) = bilangan acak antara െߚ dan ߚ di mana i = 1, ..., n.

Faktor skala Nguyen Widrow (ߚ) didefinisikan sebagai:

ߚ = 0.7 (݌)^{1 ݊}^ൗ ... (3.10) di mana:

n = banyak unit input

p = banyak unit tersembunyi ߚ = faktor skala.

b. Mengitung ||v_ij||.

c. Menginisialisasi kembali v_ij: ݒ_݆݅ = ^{ߚ ή ݒ}^݆݅⁽^{݈ܽ݉ܽ )}

||ݒ_݆݅|| ...(3.11) 2. Menentukan bias antara unit input ke unit tersembunyi (j=1, ..., p): voj diset

dengan bilangan acak yang terletak pada skala antara െߚ dan ߚ.

(Fausset, 1994)

3.3.4. Algoritma Backpropagation

Pada tahap ini dilakukan proses pembelajaran dengan supervisi menggunakan metode backpropagation dengan langkah:

a. Inisialisasi bobot (ambil nilai random yang cukup kecil) b. Selama kondisi berhenti bernilai salah, kerjakan:

Tahap Perambatan Maju (foward propagation)

1. Setiap unit input (X_i, i=1,2,3,...,n) menerima sinyal x_i dan meneruskan sinyal tersebut ke semua unit pada lapisan tersembunyi.

2. Setiap unit tersembunyi (Z_i, j=1,2,3,...,p) menjumlahkan bobot sinyal input dengan persamaan berikut:

(42)

23

ݖ_݆݅݊ = ݒ0݆ +σ݊ ݔ݅

݅=1 ݒ݆݅... (3.12) dan menerapkan fungsi aktivasi untuk menghitung sinyal output-nya:

ݖ_݆ =݂൫ݖ_݅݊_݆൯...(3.13) Biasanya fungsi aktivasi yang digunakan adalah fungsi sigmoid, kemudian mengirimkan sinyal tersebut ke semua unit output.

3. Setiap unit output (Y_k, k=1,2,3,...,m) menjumlahkan bobot sinyal input

ݕ_݅݊_݇ =ݓ0݇ +σ^݌_݅=1ݖ_݅ݓ_݆݇ ... (3.14) Dan menerapkan fungsi aktivasi untuk menghitung sinyal output-nya:

ݕ݇ =݂(ݕ_݅݊݇)... (3.15) Tahap Perambatan-Balik (Backward):

1. Setiap unit output (Yk, k=1,2,3,...,m) menerima pola target yang sesuai dengan pola input pelatihan, kemudian hitung error dengan persamaan berikut.

ߜ݇ = (ݐ݇ െ ݕ݇)݂Ԣ(ݕ_݅݊݇) ... (3.16) f ' adalah turunan dari fungsi aktivasi

kemudian hitung koreksi bobot dengan persamaan berikut.

οݓ_݆݇ = ߙߜ_݇ݖ_݆... (3.17) Dan menghitung koreksi bias dengan persamaan berikut:

οݓ0݇ = ߙߜ_݇... (3.18) sekaligus mengirimkan

G

^kke unit-unit yang ada di lapisan paling kanan.

2. Setiap unit tersembunyi (Zj, j = 1, 2, 3, ..., p) menjumlahkan delta input-nya (dari unit-unit yang berada pada lapisan di kanannya):

ߜ_݆݅݊ =σ݉ ߜ݇ݓ݆݇

݇=1 ... (3.19) Untuk menghitung informasi error, kalikan nilai ini dengan turunan dari fungsi aktivasinya:

ߜ_݆ = ߜ_݅݊_݆݂Ԣ൫ݖ_݅݊_݆൯...(3.20) kemudian hitung koreksi bobot dengan persamaan berikut:

οݒ݆݇ = ߙߜ݆ݔ݅... (3.21) Setelah itu, hitung juga koreksi bias dengan persamaan berikut:

οݒ0݇ = ߙߜ݆... (3.22) Tahap Perubahan Bobot dan Bias:

1. Setiap unit output (Yk, k = 1, 2, 3, ..., m) dilakukan perubahan bobot dan bias (j = 0, 1, 2, ..., p) dengan persamaan berikut.

(43)

ݓ݆݇(ܾܽݎݑ) = ݓ݆݇(݈ܽ݉ܽ) + οݓ݆݇... (3.23) Setiap unit tersembunyi (Zj, j=1,2,3,...,p) dilakukan perubahan bobot dan bias (i=0,1,2,...,n) dengan persamaan berikut.

ݒ݆݅(ܾܽݎݑ) = ݒ݆݅(݈ܽ݉ܽ) + οݒ݆݅... (3.24) 2. Tes kondisi berhenti.

(Fausset, 1994)

Dalam penggunaan parameter momentum, maka persamaan untuk peng- update-an bobot mengalami modifikasi:

οݓ݆݇(ݐ + 1) = ߙ߲݇ݖ݆ + ߤοݓ݆݇(ݐ) ...(3.25) οݒ_݆݅(ݐ + 1) = ߙ߲_݆ݖ_݅ + ߤοݓ_݆݅(ݐ)...(3.26) (Fausset, 1994)

3.4. Penyelesaian

Berikut diagram blok penyelesaian backpropagation dengan self organizing maps dan Nguyen Widrow:

Data Set Diabetes Melitus

Min-Max Normalization

Pelatihan dengan Self Organizing Maps

Inisialisasi bobot dengan Nguyen Widrow

Pelatihan dengan Backpropagation

Data Set Diabetes Melitus