Manfaat Penelitian

BAB 1 PENDAHULUAN

1.5. Manfaat Penelitian

Penelitian ini diharapkan dengan menggunakan algoritma resilient backpropagation dengan menerapkan metode parallel processing ke dalam algoritma artificial neural network tersebut dapat membantu waktu untuk mempercepat proses pembelajaran.

BAB 2

LANDASAN TEORI

2.1. Artificial Neural Network

Artificial neural network (ANN) / jaringan saraf tiruan adalah konsep yang merefleksikan cara kerja dari jaringan saraf biologi kedalam bentuk artificial atau buatan. Tujuan dari ANN adalah untuk meniru kemampuan jaringan saraf biologi asli yaitu dalam hal pembelajaran, seperti jaringan saraf biologi salah satunya jaringan saraf manusia yang dapat belajar terhadap lingkungan sehingga dapat mengelola lingkungan berdasarkan pada pengalaman yang didapat. Tujuan dikembangkan ANN adalah mengambil kemampuan dalam melakukan pembelajaran berdasarkan pada data yang didapat dan jika diberikan data dengan kasus / lingkungan yang sama, maka jaringan saraf dapat melakukan klasifikasi yang akurat terhadap data tersebut.

2.2. Backpropagation

Backpropagation adalah jaringan neural network yang bersifat supervised. Metode pada backpropagation adalah melakukan dua teknik pembelajaran yaitu feedforward dan backward. Pada pembelajaran teknik pembelajaran feedforward pada backpropagation adalah mendapatkan nilai error output pada jaringan saraf backpropagation. Setelah didapat nilai error maka melakukan pembelajaran mundur dengan mengubah atau mengupdate nilai weight-nya. Tujuan dari kedua pembelajaran itu bertujuan agar nilai error yang dihasilkan konvergen dengan nilai 0.

Gambar 2. 1 Neural network backpropagation

Algoritma backpropagation memiliki 3 layer yaitu input layer, hidden layer, output layer, masing – masing layer terdapat neuron / node. Pada input layer tujuan node / neuron ini adalah menerima input seusai dengan banyak variabel nilai yang diinputkan. Hidden layer neuron berfungsi untuk menerima nilai dari input layer yang telah dikalikan dengan nilai weight. Pada hidden layer maka nilai input diubah menjadi nilai hidden layer dengan menggunakan function, setelah itu nilai tersebut diteruskan ke output layer. Output layer menerima nilai pada hidden layer yang telah dikalkulasikan dengan nilai weight. Pada output layer berfungsi untuk mendapatkan nilai output. Setelah mendapatkan nilai output maka dicari nilai error dengan cara membandingkan dengan nilai target. Jika nilai ouput sama dengan nilai target maka pembelajaran sudah selesai, jika tidak mendekati target maka pembelajaran akan dilanjutkan dengan melakukan teknik backward yaitu pembelajaran dari output kembali ke input dengan melakukan update weight. Setelah selesai update weight maka dilanjutkan kembali pembelajaran sampai konvergen dengan nilai target.

Langkah – langkah perhitungan dalam pelatihan backpropagation dijabarkan sebagai berikut (Prasetyo, 2014):

1. Inisialisasi bobot / weight

Pertama kali yang dilakukan adalah penentuan bobot / weight secara acak pada setiap node yang berada pada input layer, hidden layer, dan output layer.

2. Aktivasi hidden layer

Menghitung nilai total masukan pada masing neuron / node pada hidden layer

6

𝑛

_ℎ

(𝑝) = ∑ 𝑥

_𝑖

(𝑝) × 𝑤

_𝑖ℎ

(𝑝)

𝑟

𝑖=1

𝑛_ℎ(𝑝) : nilai total bobot yang masukan ke hidden neuron 𝑥_𝑖(𝑝) : nilai input

𝑤_𝑖ℎ(𝑝) : nilai weight yang menuju ke hidden layer 𝑟 : Jumlah masukan ke hidden neuron

Setelah mendapatkan nilai total masukan pada setiap hidden layer, maka dilakukan perhitungan fungsi aktivasi pada setiap neuron di hidden layer.

𝑦

_ℎ

(𝑝) = 1 1 + 𝑒

^{−𝑛ℎ(𝑝)}

𝑦_ℎ(𝑝) : nilai aktivasi hidden neuron.

3. Aktivasi output layer

Menghitung total nilai yang masuk ke output neuron

𝑛

_𝑜

(𝑝) = ∑ 𝑦

_ℎ

(𝑝) × 𝑤

_ℎ𝑜

(𝑝)

𝑚

ℎ=1

𝑛_𝑜(𝑝) : nilai total bobot yang masuk ke output neuron 𝑦_ℎ(𝑝) : nilai aktivasi dari neuron hidden layer

𝑤_ℎ𝑜(𝑝) : nilai weight yang menuju ke output layer 𝑚 : Jumlah neuron yang ada pada hidden layer

Setelah mendapatkan nilai total masukan ke neuron output layer, maka dilakukan perhitungan fungsi aktivasi pada setiap neuron di output layer

𝑦

_𝑜

(𝑝) = 1 1 + 𝑒

^{−𝑛𝑜(𝑝)}

𝑦_𝑜(𝑝) : nilai aktivasi output neuron 4. Gradien error layer output

Menghitung nilai error pada setiap neuron output layer

𝑒

_𝑜

(𝑝) = 𝑦

_𝑑𝑜

(𝑝) − 𝑦

_𝑜

(𝑝)

𝑒_𝑜(𝑝) : nilai error dari neuron output layer 𝑦_𝑑𝑜(𝑝) : nilai target neuron pada output layer 𝑦_𝑜(𝑝) : nilai aktivasi neuron pada output layer

2.1

2.2

2.3

2.4

2.5

Setelah mendapatkan nilai error neuron dari output layer, lalu dicari nilai gradien error dari neuron tersebut

𝛿

_𝑜

(𝑝) = 𝑦

_𝑜

(𝑝) × [1 − 𝑦

_𝑜

(𝑝)] × 𝑒

_𝑜

(𝑝)

𝛿_𝑜 (𝑝) : nilai gradien error

𝑦_𝑜(𝑝) : nilai aktivasi output neuron

𝑒_𝑜(𝑝) : nilai error dari neuron output layer

5. Perhitungan update weight hidden layer ke output layer Menghitung delta bobot

∆𝑤

_ℎ𝑜

(𝑝) = 𝜂 × 𝑦

_ℎ

(𝑝) × 𝛿

_𝑜

(𝑝)

∆𝑤_ℎ𝑜(𝑝) : nilai delta bobot 𝜂 : learning rate

𝑦_ℎ(𝑝) : nilai aktivasi neuron hidden layer 𝛿_𝑜 (𝑝) : nilai gradien error

Setelah didapat delta bobot kemudian melakukan update bobot weight dari hidden layer menuju ke output layer.

𝑤

_ℎ𝑜

(𝑝 + 1) = 𝑤

_ℎ𝑜

(𝑝) + ∆𝑤

_ℎ𝑜

(𝑝)

𝑤_ℎ𝑜(𝑝 + 1) : weight baru dari neuron hidden layer ke neuron output layer 𝑤_ℎ𝑜(𝑝) : weight lama dari neuron hidden layer ke neuron output layer

∆𝑤_ℎ𝑜(𝑝) : nilai delta bobot

6. Perhitungan update weight input layer ke hidden layer Menghitung gradien error pada hidden layer

𝛿

_ℎ

(𝑝) = 𝑦

_ℎ

(𝑝) × [1 − 𝑦

_ℎ

(𝑝)] × ∑ 𝛿

_𝑜

(𝑝).

𝑙

𝑜=1

𝑤

_ℎ𝑜

(𝑝)

𝛿_ℎ(𝑝) : nilai gradien error dari neuron hidden layer 𝑦_ℎ(𝑝) : nilai aktivasi pada hidden layer

𝑙 : banyak neuron output layer yang terhubung ke neuron hidden layer 𝛿_𝑜 (𝑝) : nilai gradien error neuron output layer

𝑤_ℎ𝑜(𝑝) : nilai weight lama neuron hidden layer ke neuron output layer Menghitung delta bobot dari input layer ke hidden layer

∆𝑤

_𝑖ℎ

(𝑝) = 𝜂 × 𝑥

_𝑖

(𝑝) × 𝛿

_ℎ

(𝑝)

∆𝑤_𝑖ℎ(𝑝) : nilai delta bobot untuk hidden layer ke input layer

2.6

2.7

2.8

2.9

2.10

8

𝜂 : learning rate 𝑥_𝑖(𝑝) : nilai input

𝛿_ℎ (𝑝) : nilai gradien error neuron pada hidden layer Mengupdate nilai weight input layer ke hidden layer

𝑤

_𝑖ℎ

(𝑝 + 1) = 𝑤

_𝑖ℎ

(𝑝) + ∆𝑤

_𝑖ℎ

(𝑝)

𝑤_𝑖ℎ(𝑝 + 1) : weight baru dari input layer ke hidden layer 𝑤_𝑖ℎ(𝑝) : nilai weight lama

∆𝑤_𝑖ℎ(𝑝) : delta bobot dari hidden layer ke input layer

7. Nilai iterasi (𝑝) dinaikan sebanyak 1 dan diulangi prosesnya dari langkah 2 sampai nilai error tercapai.

2.3. Resilient Backpropagation

Resilient backpropagation (RPROP) adalah algortima neural network yang bersifat supervised dan adaptive learning. RPROP merupakan perkembangan dari backpropagation. Pada resilient backpropagation parameter sudah ditetapkan jadi tidak diperlukan penentuan learning rate lagi. Kemampuan RPROP adalah untuk menghidari perubahan nilai gradien yang terlalu kecil ini bertujuan agar mempercepat laju pembelajaran RPROP dibandingkan dengan backpropagation, ini ditunjukan pada jaringan RPROP memiliki sebuah nilai delta yang mengikuti perubahan nilai weight.

Jika perubahan nilai weight kecil maka nilai delta membesar, sebaliknya ketika perubahan weight aktif maka nilai delta mengecil.

RPROP memiliki langkah yang sama dengan backpropagation yang membedakannya adalah pada waktu backwardnya yaitu pada bagian update weight.

Untuk melakukan update weight harus dilakukan pemilihan berdasarkan gradien error yang dihasilkan, lalu penentuan learning rate yang dipakai untuk melakukan update weight.

Pelatihan feedforward pada algoritma resilient propagation sama dengan pelatihan feedforward pada algoritma backpropagation, yang membedakan pada waktu melakukan update weight dengan learning rate pada pelatihan backward. Perhitungan learning rate akan dijabarkan pada langkah – langkah sebagai berikut (Riedmiller, 1994):

2.11

1. Perhitungan nilai ∆_𝑖𝑗^(𝑡)

Untuk menentukan nilai ∆_𝑖𝑗^(𝑡) ada beberapa aturan yang harus dipenuhi untuk mendapat nilai delta tersebut yaitu :

∆

_𝑖𝑗^(𝑡)

=

{

𝜂

⁺

∗ ∆

_𝑖𝑗^(𝑡−1)

, 𝑖𝑓 𝜕𝐸

^(𝑡−1)

𝜕 𝑤

_𝑖𝑗

∗ 𝜕𝐸

^(𝑡)

𝜕 𝑤

_𝑖𝑗

> 0 𝜂

⁻

∗ ∆

_𝑖𝑗^(𝑡−1)

, 𝑖𝑓 𝜕𝐸

^(𝑡−1)

𝜕 𝑤

_𝑖𝑗

∗ 𝜕𝐸

^(𝑡)

𝜕 𝑤

_𝑖𝑗

< 0

∆

_𝑖𝑗^(𝑡−1)

, 𝑒𝑙𝑠𝑒

Untuk mendapatkan

∆

_𝑖𝑗^(𝑡) untuk pertama kali pembelajaran ∆_𝑖𝑗^(𝑡−1)= ∆₀. Nilai

∆₀= 0.1 nilai pada delta 0 dapat saja ditetapkan lebih besar atau lebih kecil dari 0.1, karena nilai delta 0 tidak memiliki pengaruh besar terhadap laju proses pembelajarannya (Martin Riedmiller, 1994). Untuk pembelajaran berikutnya maka ∆_𝑖𝑗 yang terdahulu akan dikalikan dengan learning rate. Pada perkalian

∆

_𝑖𝑗^(𝑡−1) dengan learning rate ada aturan yang harus dicapai yaitu error gradien pada hasil terdahulu ^𝜕𝐸

(𝑡−1)

𝜕 𝑤𝑖𝑗 dikalikan dengan error gradien^𝜕𝐸

(𝑡)

𝜕 𝑤𝑖𝑗 . Dari hasil perkalian error tersebut maka didapatkan hasil jika hasil lebih besar dari 0 maka

∆

_𝑖𝑗^(𝑡−1) dikalikan dengan 𝜂⁺, dan jika hasil lebih kecil dari 0 maka

∆

_𝑖𝑗^(𝑡−1)

dikalikan dengan 𝜂⁻ . Nilai 𝜂⁺ dan 𝜂⁻ merupakan learning rate yang membedakan adalah pada 𝜂⁺ memiliki nilai yang lebih besar daripada 𝜂⁻. Marthin Riedmiller (1994) menetapkan nilai standar pada 𝜂⁺ = 1.2 sedangkan 𝜂⁻ = 0.5 untuk algoritma resilient propagation.

2.

Penentuan nilai

∆𝑤

_𝑖𝑗^(𝑡)

Setelah ditentukan

∆

_𝑖𝑗^(𝑡) maka akan dilanjutkan ke dalam aturan untuk menentukan fungsi operator yang akan dipakai untuk melakukan update weight dengan aturan sebagai berikut:

2.12

10 digunakan apakah akan dikurangi atau ditambah atau tidak terjadi perubahan bobot. Untuk menentukan fungsi operator yang dipakai pada

∆

_𝑖𝑗^(𝑡) maka dibandingkan nilai error gradien terhadap nol. Jika nilai error gradien lebih besar daripada nol maka

∆𝑤

_𝑖𝑗^(𝑡) akan menerima nilai

− ∆

_𝑖𝑗^(𝑡), dan jika nilai error gradien lebih kecil daripada 0 maka

∆𝑤

_𝑖𝑗^(𝑡) akan menerima

+ ∆

_𝑖𝑗^(𝑡). Setelah mendapatkan nilai delta w maka dilanjutkan ke update weightnya secara langsung.

Pada aturan pertama untuk penentuan learning rate memiliki masalah pada aturan kedua yaitu terjadi peningkatan pembelajaran yang melebih batas minimum maka dilakukan pengurangan weight secara langsung dengan weight terdahulunya.

∆𝑤

_𝑖𝑗^(𝑡)

= −∆𝑤

_𝑖𝑗^(𝑡−1)

, 𝑖𝑓 𝜕𝐸

^(𝑡−1)

𝜕 𝑤

_𝑖𝑗

∗ 𝜕𝐸

^(𝑡)

𝜕 𝑤

_𝑖𝑗

< 0

Untuk menghindari terjadi keadaan tersebut untuk terjadi kedua kalinya maka pada ^𝜕𝐸

(𝑡)

𝜕 𝑤_𝑖𝑗

= 0.

2.4. Parallel Processing

Parallel processing adalah sebuah kegiatan menjalankan beberapa proses sekaligus dalam waktu yang bersamaan. Teknik parallel processing ada 2 macam yaitu SIMD (Single Instruction Multiple Data streams) dan MIMD (Multiple Instruction Multiple Data streams).

2.13

2.14 2.14

SIMD (Single Instruction Multiple Data streams) adalah teknik parallel yang menggunakan sebuah control unit dan processor melakukan eksekusi terhadap instruksi yang sama ini ditunjukan pada Gambar 2.2.

Gambar 2. 2 Single Instruction Multiple Data streams (Sumber : El-Rewini & Abd-El-Barr, 2005)

MIMD (Multiple Instruction Multiple Data streams) adalah teknik parallel yang menggunakan multiple processor dan multiple memory yang tergabung dalam sebuah koneksi. Pada MIMD setiap processor memiliki control unit sendiri yang dapat memberikan instruksi yang berbeda. Arsitektur dari MIMD akan ditunjukan pada Gambar 2.3.

Gambar 2. 3 Multiple Instruction Multiple Data streams (Sumber : El-Rewini & Abd-El-Barr, 2005)

12

Implementasi parallel processing maka digunakan multithreading untuk mengimplementasikan parallel processing tersebut.

2.4.1. Thread & Multithreading

Thread adalah sebuah proses yang berukuran kecil yang dibuat oleh sebuah program untuk dijalankan bersamaan dengan thread – thread lainnya. Tujuan thread ini adalah agar proses – proses yang dapat dikerjakan bersamaan dapat dijalankan secara bersamaan tanpa memerlukan waktu tunggu untuk proses berikutnya. Ini dapat dicontohkan dari perangkat lunak pengolah kata yang membentuk beberapa thread untuk melakukan fungsi tampilan, proses pengetikan, dan proses pemeriksaan jumlah kata, dengan pembagian fungsi tersebut kedalam thread maka semua proses tersebut dapat dijalankan secara bersamaan tanpa terjadinya delay, sehingga dapat disebut berjalan secara parallel.

Multithreading adalah kumpulan beberapa thread yang dijalankan bersamaan pada sebuah processor. Pada multithreading ini merupakan proses eksekusi dari kumpulan thread dimana kumpulan thread tersebut diproses secara berulang – ulang dengan perpindahan dalam waktu nanosecond.

2.4.2. Parallel Arsitektur Neural Network

Parallel arsitektur neural network mengikuti penelitian dari Ganeshamoorthy &

Ranasinghe, 2008. Parallel yang digunakan adalah Hybrid partition pada metode parallel ini tidak membutuhkan siklus pembelajaran per pola hanya melakukan penyimpanan nilai - nilai weight pada masing – masing neuron hidden unit. Bentuk arsitektur dari parallel neural network tersebut ditunjukan pada Gambar 2.4.

Gambar 2. 4 Arsitektur Neural Network dengan parallel (Ganeshamoorthy &

Ranasinghe, 2008)

Gambar 2.4 adalah sebuah teknik parallel yang bernama hybrid partition yaitu membagi arsitektur proses pada neural network menjadi subproses – subproses.

Subproses tersebut dikerjakan pada waktu yang bersamaan dengan menggunakan teknik multithreading. Proses yang akan dilakukan adalah dari input layer (A) akan mengirimkan data input yang telah dikalikan dengan weight ke neuron (P1) dan nilai tersebut akan dihasilkan nilai function yang akan diteruskan ke output (B). Proses di hidden layer yaitu P1, Pk, dan Pn dijalankan bersamaan dengan memproses nilai dari A dan diteruskan ke B.

2.5. Penelitian Terdahulu

Penelitian jurnal Ganeshamoorthy & Ranasinghe (2008) pada penelitian yang dilakukan yaitu algoritma batch backpropagation dan non batch backpropagation, kedua algoritma tersebut digabungkan pada metode parallel hybrid partition, dan ditambahkan dengan batch backpropagation dengan metode fast parallel matrix multiplication. Teknik pengujian yang dipakai adalah menggunakan tiga arsitektur neural network yaitu NN1 (5-7-1), NN2 (36-72-1), dan NN3 (74-144-1). Selain pengujian menggunakan arsitektur yang berbeda – beda pengujian parallel menggunakan dua teknik yaitu teknik distributed memory implementation

14

menggunakan program MPI dan virtual shared memory implementation menggunakan program C/Linda. Hasil penelitian yang didapatkan kecepatan pembelajaran hybrid partition dengan batch backpropagation meningkat dengan seiring penambahan processor sedangkan untuk hybrid partition dengan backpropagation dan fast parallel matrix multiplication dengan batch backpropagation menunjukan dengan penambahan processor kecepatan pembelajaran berangsur – angsur meningkat tapi fast parallel matrix multiplication dengan batch backpropagation lebih unggul dibandingkan dengan hybrid partition dengan backpropagation.

Penelitian jurnal Gu, Shen, & Huang (2013) yaitu menggunakan teknik paralllel computing terhadap mode pembelajaran pada jaringan neural network. Algoritma neural network yang digunakan adalah backpropagation dan teknik parallel menggunakan framework cNeural. Teknik parallel pada cNeural akan dijelaskan pada Gambar 2.5.

Gambar 2. 5 Framework cNeural parallel computation pada algoritma neural network (Gu, Shen, & Huang, 2013)

Framework cNeural membagi dataset menjadi beberapa sub - dataset. Sub - dataset tersebut dikirim ke computer pembantu berserta dengan arsitektur neural network untuk diolah mendapatkan weight update, setelah itu delta weight yang dihasilkan dari komputer pembantu dikirim ke komputer utama untuk digabungkan dengan beberapa delta weight yang dihasilkan dari komputer pembantu lain. Proses tersebut diulangi sampai jaringan neural network dapat mengenali lingkungannya. Hasil penelitian adalah dengan menggunakan framework cNeural membantu untuk meningkatkan proses pembelajaran seiring dengan penambahan komputer pembantu untuk membantu memproses dalam pembelajaran.

Sent Data

Sent Data

Sent Data

Sent Data

16

Penelitian Riedmiller & Braun (1993) pada jurnal penelitian memperkenalkan sebuah algoritma neural network yaitu Resilient Backpropagation yang memiliki kemampuan dalam adaptive learning rate, adaptive learning rate adalah sebuah kemampuan dalam mengubah learning rate berdasarkan pada nilai error gradien yang dihasilkan. Algoritma adaptive learning rate pada resilient backpropagation dijelaskan pseudocode sebagai berikut:

1. Berikan nilai awal pada semua nilai delta = 0.1 dan nilai awal gradien error = 0.

2. Lakukan perhitungan feedforward untuk mendapatkan nilai gradien error.

3. Nilai gradien error yang telah didapatkan dikalikan dengan nilai gradien terdahulu.

4. Nilai gradien error yang telah didapat akan dibadingkan dengan beberapa rule sebagai berikut:

 Jika nilai gradien error lebih besar dari nilai 0 dilakukan hal berikut:

i. Nilai delta didapatkan dari nilai minimum antara dua nilai yaitu nilai delta terdahulu dikalikan learning rate max dengan delta max = 50.0.

ii. Setelah mendapatkan nilai delta maka dilanjutkan ke delta weight.

Pada delta weight akan menentukan nilai delta tersebut akan berbentuk sebagai nilai minus atau positif, yang berdasarkan dari nilai error gradiennya. Jika nilai error gradien lebih besar dari 0 maka nilai delta weight akan bernilai negatif sedangkan nilai gradien error lebih kecil dari 0 maka nilai delta weight bernilai positif.

iii. Setelah didapatkan nilai delta weight dilajutkan dengan melakukan udapte weight yaitu weight terdahulu dijumlah dengan delta weight.

iv. Terakhir adalah menyimpan nilai gradien error.

 Jika nilai gradien error lebih kecil dari 0 dilakukan hal berikut:

i. Nilai delta didapatkan dari nilai maksimum dari dua nilai yaitu nilai delta terdahulu dikalikan learning rate min dengan delta min = 1e^-6.

ii. Nilai weight yaiut nilai weight dikurangi dengan nilai weight terdahulunya.

iii. Nilai gradien error menyimpan nilai 0

 Jika nilai gradien error sama dengan 0 dilakukan sebagai berikut:

i. Nilai delta weight menentukan nilai delta apakah nilai tersebut menjadi minus atau positif.

ii. Update weight yaitu nilai weight ditambah dengan delta weight.

5. Setiap weight akan mengalami proses pada aturan keempat

6. Melakukan pembelajaran lagi dimulai dari aturan kedua sampai nilai error mendekati 0.

Pada setiap weight yang digunakan pada neural network dilakukan update weight berdasarkan nilai gradien error yang dihasilkan pada setiap neuron. Resilient backpropagation menetapkan beberapa parameter awal yaitu ∆₀= 0.1 ini merupakan nilai penetapan awal yang diberikan pada setiap nilai delta weight awal, nilai ∆_𝑚𝑎𝑥= 50.0 dan ∆_𝑚𝑖𝑛= 1𝑒⁻⁶ yang bertujuan untuk menghindari masalah overflow / underflow pada variabel floating, dan nilai learning rate 𝜂⁺ = 1.2 dan 𝜂⁻ = 0.5. Hasil penelitian jurnal tersebut menunjukan resilient backpropagation hanya memerlukan pembelajaran / epoch yang lebih sedikit dibandingkan dengan algoritma Backpropagation, SuperSAB, dan Quickprop.

Jurnal penelitian Prasad, Singh, & Lal (2013) melakukan klasifikasi terhadap serangan spam menggunakan algoritma neural network. Algoritma neural network yang digunakan pada jurnal penelitian ini adalah backpropagation dan resilient backpropagation. Dari hasil penelitian yang didapatkan menunjukan tingkat convergence yang lebih cepat pada algoritma resilient backpropagation daripada algoritma backpropagation. Dalam ukuran tingkat akurasi algoritma resilient backpropagation memiliki tingkat 77,76% dengan nilai threshold 0.4 (nilai threshold ini sebagai batasan nilai untuk 2 jenis email yaitu spam adalah surat elektronik yang dikirim secara terus menerus tanpa adanya konfirmasi dari penerima dan ham adalah surat elektronik yang telah di konfirmasi oleh penerima yang dikirim secara terus menerus), sedangkan pada backpropagation dengan nilai threshold 0.4 tingkat akurasi adalah 71,56%. Jumlah neuron pada hidden layer juga berpengaruh terhadap akurasi pada algoritma resilient backpropagation jumlah yang optimal tingkat akurasi yang tinggi untuk mengenal spam adalah dengan jumlah 40 neuron pada hidden layer yang akan ditunjukan pada Gambar 2.7.

18

Gambar 2. 6 Pengaruh tingkat akurasi jumlah neuron pada hidden layer pada algoritma Resilient Backpropagation (Prasad, Singh, & Lal, 2013) Ringkasan dari penelitian terdahulu dapat dilihat pada Tabel 2.1

Tabel 2. 1 Penelitian yang sudah pernah dilakukan No. Nama Peneliti Teknik yang Dipakai Keterangan 1 Ganeshamoorthy

& Ranasinghe, 2008

Batch

Backrpopagation &

Metode Parallel Hybrid partition

Penelitian membandingkan beberapa metode parallel hybrid partition yang diterapkan kedalam algoritma Batch Backpropagation. Hasil yang didapat adalah parallel hybrid partition dengan algoritma Backrpopagation memiliki kemampuan dalam mengurangi waktu yang diperlukan pada waktu pembelajaran

2 Gu, Shen, &

Huang, 2013

Backpropagation Penelitian ini memperkenalkan sebuah sistem parallel untuk neural network yang disebut dengan cNeural yaitu sebuah sistem untuk melakukan komputasi secara parallel pada neural networks

Tabel 2. 2 Penelitian yang sudah pernah dilakukan (lanjutan) No. Nama Peneliti Teknik yang Dipakai Keterangan

3 Riedmiller &

Braun, 1993

Resilient

Backpropagation

Jurnal ini memperkenalkan algoritma Resilient Backpropagation dengan kemampuan memilih learning rate berdasarkan nilai error gradien.

Jurnal ini melakukan perbandingan kedua jenis

algoritma yaitu

Backpropagation standar dan Resilient Backropagation terhadap pengenalan kasus spam. Hasil yang didapatkan adalah kecepatan pembelajaran dalam mencapai nilai nol atau konvergen pada algoritma Resilient Backpropagation dibandingkan Backpropagation.

2.6. Perbedaan Penelitian Sekarang Dengan Penelitian Terdahulu

Pada penelitian yang akan dilakukan pada tesis memiliki perbedaan terhadap penelitian terdahulu yaitu pada penelitian tesis ini menggunakan algoritma resilient backpropagation sebagai algoritma dasar untuk dijadikan sebagai bentuk parallel processing. Pada parallel processing menggunakan hybrid partition yaitu yang dijelaskan pada jurnal Ganeshamoorthy & Ranasinghe (2008) yaitu memecahkan arsitektur dari jaringan neural network menjadi bagian – bagian kecil yang dapat dijalankan pada waktu bersamaan pada bagian hidden layer. Perbedaan penelitian ini terhadap penelitian jurnal Ganeshamoorthy & Ranasinghe (2008) adalah algoritma yang digunakan yaitu pada penelitian jurnal terdahulu menggunakan algoritma backpropagation dan batch backpropagation, sedangkan dengan penelitian ini akan digunakan algoritma resilient backpropagation. Pada penelitian yang dilakukan oleh Gu, Shen, & Huang (2013) memiliki perbedaan dari algoritma yang digunakan dan teknik parallel yang digunakan yaitu melakukan distribusi sub - dataset dan arsitektur neural network kepada processor pembantu untuk dilakukan kalkulasi dan setelah itu

20

hasil delta weight yang dihasilkan dari masing – masing processor pembantu akan dikumpulkan untuk dijumlah semua terlebih dahulu dan dilakukan update weight, sedangkan penelian yang akan dilakukan menggunakan teknik parallel hybrid partition adalah membagi kerja komputasi yang terletak pada bagian hidden layer agar dapat dikerjakan pada waktu yang bersamaan. Jurnal penelitian lain yaitu Riedmiller & Braun (1993) dan Prasad, Singh, & Lal (2013) adalah sebagai jurnal tambahan yang menunjukan kemampuan kecepatan pembelajaran pada algoritma resilient backpropagation.

BAB 3

METODOLOGI PENELITIAN

3.1 Pendahuluan

Algoritma Resilient Backpropagation (RPROP) dibagi menjadi dua bagian proses yaitu forward pass dan backward pass. Forward pass berfungsi untuk mendapatkan nilai error dari algoritma artificial neural network, dimana nilai error tersebut harus konvergen nilai nol yaitu nilai error mendekati nilai nol. Backward pass berfungsi untuk melakukan update pada nilai weight agar nilai yang dihasilkan pada waktu proses forward pass berikutnya menghasilkan nilai error yang konvergen terhadap nilai nol.

Kedua bagian ini merupakan bagian terpenting pada algoritma RPROP karena merupakan bagian untuk melakukan pembelajaran terhadap algoritma RPROP yang bertujuan untuk mengenali lingkungan yang akan diproses.

Proses algoritma RPROP pada kedua bagian tersebut dapat dioptimalkan pada waktu training, dengan cara melakukan komputasi parallel pada algoritma RPROP.

Pada proses RPROP dibagi menjadi beberapa sub-proses, dan sub-proses tersebut dijalankan pada waktu yang bersamaan. Penelitian yang dilakukan adalah menganalisa waktu pada pembelajaran dengan cara membuat tiga model komputasi parallel algoritma RPROP yang dijalankan pada sebuah komputer menggunakan multithreading.

Multithreading adalah teknik untuk menjalankan beberapa proses secara bersamaan dengan menggunakan satu buah processor.

Pada bab ini metodologi dibagi menjadi beberapa bagian yaitu tahapan – tahapan penelitian yang berisikan tahapan yang dilakukan pada penelitian ini, dataset adalah menjelaskan dataset yang digunakan pada penelitian ini, perancangan algoritma RPROP parallel processing, dan yang terakhir cara melakukan analisis data yang dihasilkan.

22

3.2 Tahapan – Tahapan Penelitian

Tahapan – tahapan penelitian bertujuan penelitian yang dilaksanakan tidak keluar dari jalur yang ditentukan. Tahapan penelitian yang dilakukan dijabarkan pada Gambar3.1.

Dataset yang Digunakan

Perancangan Arsitektur Resilient

Backpropagation Parallel Berdasarkan

Thread

Training Algoritma Resilient Backpropagation

Parallel

CPU Time Pembelajaran

Berdasarkan Pengunaan Thread

Gambar 3. 1 Diagram Tahapan – Tahapan Penelitian 3.3 Data yang Digunakan

Dataset adalah kumpulan data yang digunakan untuk pembelajaran dan ujicoba pada artificial neural network. Dataset yang digunakan berasal dari UCI Machine Learning

Dataset adalah kumpulan data yang digunakan untuk pembelajaran dan ujicoba pada artificial neural network. Dataset yang digunakan berasal dari UCI Machine Learning