1. Backpropagation (BP)
Beberapa alternatif spesifikasi untuk memperoleh rancangan arsitektur jaringan dengan kinerja sistem yang terbaik disajikan pada Tabel 14. Hal-hal yang perlu dilakukan untuk memperoleh rancangan arsitektur jaringan BP dengan kinerja sistem yang terbaik adalah :
a) Penentuan Fungsi Aktivasi
Beberapa alternatif fungsi aktivasi Jaringan Syaraf Tiruan yang dicobakan dalam penelitian ini adalah :
Fungsi sigmoid bipolar (tansig)
Fungsi sigmoid bipolar memiliki output dengan range nilai antara 1 sampai -1. Fungsi sigmoid bipolar dirumuskan :
( )
xxe
e
x
f
y
− −+
−
=
=
1
1
Fungsi sigmoid biner (logsig)
Fungsi ini memiliki output dengan range nilai range antara 0 sampai 1. Fungsi sigmoid biner dirumuskan sebagai :
( )
xe
x
f
y
−σ+
=
=
1
1
Fungsi linear atau identitas (purelin)
Fungsi ini memiliki nilai output yang sama dengan nilai
Tabel 14. Beberapa Alternatif Rancangan Arsitektur Jaringan BP
SPESIFIKASI YANG DICOBAKAN KARAKTERISTIK
KE-1 KE-2 KE-3 Jumlah neuron pada input layer 35 35 35 Jumlah neuron pada output layer 3 3 3
tansig logsig Fungsi Aktivasi purelin Fungsi aktivasi terbaik pada spesifikasi 1 Fungsi aktivasi terbaik pada spesifikasi 1 traingd traingdm traingdx Training trainlm Algoritma training terbaik pada spesifikasi 1 Fungsi training terbaik pada spesifikasi 1 0.0005 0.02 0.05 0.1 0.2 0.5 Momentum 0.9 Nilai momentum terbaik pada spesifikasi 1 Nilai momentum terbaik pada spesifikasi 1 Epoch 1000 1000 1000 Show 100 100 100 0.01 0.001 Goal error 0.0001 Toleransi goal error terbaik pada spesifikasi 1 Toleransi goal error terbaik pada spesifikasi 1
Jumlah hidden layer 1 2 3
20 20 - 35 35 35 50 50 50 Jumlah neuron pada layer hidden 1
65 65 65 5
10 15
15 25 20
Jumlah neuron pada layer hidden 2 -
25 35
10 Jumlah neuron pada layer hidden 3 - -
15 b) Penentuan Algoritma Training
Proses pelatihan jaringan BP standar seringkali terlalu lambat. Beberapa alternatif yang dicobakan untuk mempercepat proses belajar jaringan adalah :
• Metode penurunan gradien (traingd)
Traingd merupakan fungsi pelatihan jaringan yang memperbaharui bobot dan nilai bias sesuai dengan penurunan
bobot dan bias dimana perubahannya sebanding dengan penurunan error jaringan pada bobot dan bias. Ini dilaksanakan untuk memperkecil error jaringan.
• Metode penurunan gradien dengan penambahan momentum (traingdm)
Metode penurunan gradien, sangat lambat dalam kecepatan proses iterasi. Dengan penambahan momentum, perubahan bobot tidak hanya didasarkan atas error yang terjadi pada epoh saat itu, tetapi juga memperhitungkan perubahan bobot pada epoh sebelumnya. Faktor momentum (besarnya efek perubahan bobot terdahulu) dapat diatur antara nilai 0 sampai 1. Faktor momentumnya = 0 berarti perubahan bobot hanya dilakukan berdasarkan error saat ini (penurunan gradien murni). • Metode penurunan gradien dengan momentum dan learning
rate adaptif (traingdx)
Traingdx merupakan fungsi pelatihan jaringan yang memperbaharui bobot dan nilai bias sesuai dengan penurunan
gradien momentum dan learning rate adaptif. Learning rate
merupakan parameter pelatihan yang mengendalikan perubahan nilai bobot dan bias selama pelatihan.
• Metode Levenberg-Marquadt (trainlm)
Trainlm merupakan fungsi pelatihan jaringan yang memperbaharui bobot dan nilai bias sesuai dengan optimasi
Levenberg-Marquadt. Levenberg-Marquadt merupakan suatu algoritma yang melatih suatu jaringan syaraf 10 sampai 100x lebih cepat dibandingkan dengan menggunakan metode penurunan gradien.
c) Penentuan Nilai Momentum
Penambahan momentum dapat menghindari perubahan bobot yang mencolok akibat adanya data yang sangat berbeda dengan yang lain. Momentum adalah perubahan bobot yang didasarkan atas arah gradien pola terakhir dan pola sebelumnya yang dimasukkan. Nilai momentum yang baik ditentukan dengan cara trial
Beberapa alternatif nilai momentum yang dicobakan pada penelitian ini adalah 0.0005, 0.02, 0.05, 0.1, 0.2, 0.5 dan 0.9.
d) Penentuan Iterasi Proses Pelatihan
Pada proses pelatihan jaringan BP biasanya memerlukan banyak epoh (iterasi). Satu epoh adalah satu siklus yang melibatkan seluruh pola data pelatihan. Jumlah maksimum iterasi yang dicobakan pada metode pembelajaran BP untuk proses pelatihan ditetapkan 1000 epoh. Jumlah ini diperkirakan cukup untuk memperoleh kinerja yang diinginkan. Frekuensi perubahan error
(MSE) ditampilkan setiap 100 epoh. e) Penentuan Target (Goal) Toleransi Error
Goal error yang dicobakan adalah 0.01, 0.001 dan 0.0001. Nilai tersebut merupakan batas toleransi nilai error yang diinginkan agar iterasi dihentikan. Iterasi akan berhenti jika nilai error lebih kecil dari batas yang ditentukan atau jumlah epoh telah mencapai batas yang ditentukan.
f) Penentuan Arsitektur Hidden Layer
Penentuan arsitektur hidden layer terdiri dari dua bagian, yaitu penentuan jumlah layer dan ukuran layer (jumlah neuron dalam hidden layer). Menurut Mesker dalam Septiani (2005) jumlah
neuron yang optimal dalam hidden layer tidak dapat dinyatakan dengan pasti akan tetapi ditentukan dengan cara trial and error dan sangat tergantung pada pengalaman desainer dalam beraplikasi dengan Artificial Neural Network.
Trial dan error dilakukan pada beberapa alternatif jumlah hidden layer dan jumlah neuron dalam hidden layer kemudian dipilih alternatif yang memiliki kinerja yang terbaik. Pada spesifikasi 1 maka akan dicobakan arsitektur 1 hidden layer dengan beberapa alternatif jumlah neuronnya, yaitu 20, 35, 50 dan 65. Dari beberapa alternatif tersebut dipilih mana yang terbaik setelah itu dibandingkan dengan spesifikasi 2 dan 3. Pada spesifikasi 2 dan 3 akan dicobakan arsitektur dengan 2 dan 3 hidden layer dengan beberapa alternatif jumlah neuron tiap-tiap hidden layernya. Hasil dari spesifikasi 2 dan 3 akan dibandingkan dengan spesifikasi 1.
Arsitektur hidden layer dengan kinerja terbaik akan dipilih untuk rancangan arsitektur BP.
2. Learning Vector Quantization (LVQ)
Beberapa alternatif spesifikasi untuk memperoleh rancangan arsitektur dengan kinerja sistem yang terbaik disajikan pada Tabel 15. Tabel 15. Beberapa Alternatif Rancangan Arsitektur untuk Jaringan LVQ
KARAKTERISTIK SPESIFIKASI YANG DICOBAKAN
Jumlah neuron pada input layer 35 Jumlah neuron pada output layer 3
Epoh 1000 Show 50 0.01 0.001 Goal error 0.0001 learnlv1 Training learnlv2 0.1 0.3 0.6 Learning rate (α) 0.9 10 25 50 Jumlah neuron pada competitive layer
75
Berdasarkan Tabel 15 maka hal-hal yang perlu dilakukan untuk memperoleh rancangan arsitektur jaringan LVQ dengan kinerja sistem yang terbaik adalah :
a) Penentuan Iterasi Proses Pelatihan
Jumlah maksimum iterasi yang dicobakan pada metode pembelajaran LVQ untuk proses pelatihan ditetapkan 1000 epoh. Jumlah ini diperkirakan cukup untuk memperoleh kinerja yang diinginkan. Frekuensi perubahan error (MSE) ditampilkan setiap 100 epoh.
b) Penentuan Target (Goal) Toleransi Error
Goalerror yang dicobakan adalah 0.01, 0.001 dan 0.0001. Nilai tersebut merupakan batas toleransi nilai error yang diinginkan agar
iterasi dihentikan. Iterasi akan berhenti jika nilai error lebih kecil dari batas yang ditentukan atau jumlah epoh telah mencapai batas yang ditentukan.
c) Penentuan Algoritma Training
Fungsi pembelajaran yang dicobakan pada jaringan LVQ terdiri atas 2 yaitu fungsi pembelajaran bobot jaringan LVQ1 (learnlv1) dan LVQ2 (learnlv2). Pembelajaran bobot jaringan LVQ1 merupakan pembelajaran LVQ pada lapisan yang kompetitif didasarkan pada satu set pasangan input / target. dapat diterapkan setelah menerapkan. Aturan pelajaran LVQ2 dapat meningkatkan hasil dari pembelajaran pertama.
d) Penentuan Nilai Learning Rate
Learning rate merupakan parameter pelatihan yang mengendalikan perubahan nilai bobot dan bias selama pelatihan. Semakin besar nilai learning rate akan berimplikasi pada semakin besarnya langkah pelatihan. Jika learning rate diset terlalu besar maka algoritma akan menjadi tidak stabil tetapi jika learning rate diset terlalu kecil maka algoritma akan sangat lama mencapai konvergen. Nilai learning rate yang baik ditentukan dengan cara trial dan error. Parameter nilai learning rate bernilai antara 0 sampai 1. Beberapa alternatif nilai learning rate yang dicobakan pada penelitian ini adalah 0.1, 0.3, 0.6 dan 0.9.
e) Penentuan Jumlah Neuron Competitive Layer
Trial dan error dilakukan pada beberapa alternatif jumlah neuron dalam competitive layer kemudian dipilih alternatif yang memiliki kinerja yang terbaik.
