Gravitational Search Algorithm
dengan Operator
Disruption
sebagai Optimasi pada
Artificial Neural
Network
untuk Klasifikasi Data
Abstrak—Klasifikasi data merupakan proses pelabelan pada suatu dataset berdasarkankan pembelajaran pada dataset sebelumnya. Salah satu teknik untuk menyelesaikan permasalahan ini adalah Artificial Neural Network (ANN).
Gravitational Search Algorithm (GSA) merupakan algoritma heuristik baru yang diinspirasi dari hukum gravitasi dan hukum perpindahan benda menuju pada posisi seimbang. Sebagai algoritma heuristik, GSA memiliki kemampuan yang bagus dalam pencarian global. Namun jika konvergensi terlalu dini terjadi, algoritma ini kehilangan kemampuannya dalam pencarian. Untuk memperbaiki kemampuan GSA, maka ditambahkan sebuah operator baru yakni Disruption untuk lebih mengeksplorasi solusi. Dengan kemampuannya dalam optimasi, GSA dengan operator Disruption diusulkan sebagai algoritma pembelajaran pada ANN. GSA digunakan untuk menentukan bobot dan bias pada ANN untuk permasalahan klasifikasi. Hasil yang diperoleh menunjukkan bahwa akurasi yang ditunjukkan oleh GSA dengan operator Disruption lebih baik dari pada GSA dan Genetic Algorithm (GA).
Keywords—ANN, Klasifikasi, Disruption, GSA
I. PENDAHULUAN
Data Mining (DM) adalah suatu disiplin ilmu yang melakukan pendekatan dalam analisis data dan penemuan informasi pada dataset yang kompleks [1]. DM membutuhkan nama/label dalam mendeskripsikan analisis komputasi. Klasifikasi data merupakan proses pelabelan pada suatu dataset berdasarkan pembelajaran pada dataset sebelumnya [2]. Salah satu teknik untuk menyelesaikan permasalahan ini adalah Artificial Neural Network (ANN). ANN adalah algoritma yang diinspirasi dari sistem syaraf manusia, dimana sistem syaraf manusia terdiri dari beberapa neuron yang menerima rangsangan dari luar tubuh untuk diteruskan menuju otak melalui dendrit. Algoritma ini merupakan algoritma
supervised learning yang yang banyak digunakan dalam memecahkan permasalahan linear maupun non linear [3].
Gravitational Search Algorithm (GSA) merupakan algoritma heuristik baru yang diinspirasi dari hukum gravitasi dan hukum perpindahan benda menuju pada posisi seimbang. Hukum gravitasi menyatakan bahwa setiap partikel yang memiliki massa saling menarik satu sama lain. Hal ini menyebabkan adanya perpindahan partikel menuju partikel
lain yang memiliki massa lebih besar. [4]. Sebagai algoritma heuristik, GSA memiliki kemampuan yang bagus dalam pencarian global. Namun jika konvergensi terlalu dini terjadi, algoritma ini kehilangan kemampuannya dalam pencarian[5]. Untuk memperbaiki kemampuan GSA ditambahkan sebuah operator baru yakni ―disruption” untuk lebih mengeksplorasi solusi. Operator ini diinspirasi dari ilmu astronomi yakni fenomena terjadinya guncangan pada sekumpulan partikel yang ada dibawah pengaruh gaya gravitasi. Disrupsi gravitasi terjadi secara tiba-tiba pada sekumpulan partikel yang berada dalam medan gravitasi. Dalam [5] dinyatakan bahwa GSA dengan operator disruption atau yang disebut Integrated Gravitational Search Algorithm (IGSA) mampu memberi hasil yang lebih baik dalam 23 masalah non linear.
Dengan kemampuannya dalam optimasi, GSA dengan operator disruption diusulkan sebagai algoritma pembelajaran pada ANN. GSA digunakan untuk menentukan bobot dan bias pada ANN untuk permasalahan klasifikasi. Diharapkan hasil yang diperoleh memberikan akurasi lebih baik dari pada GSA, dan Genetic Algorithm (GA).
II. METODE
A. Artificial Neural Network
ANN terinspirasi dari susunan sel syaraf (neuron) manusia. ANN merupakan algoritma supervised learning yang memetakan data input terhadap target output. ANN mampu memodelkan permasalahan non linier kompleks yang sulit dipecahkan dengan menggunakan persamaan matematis biasa. Struktur ANN terdiri dari lapisan input, lapisan hidden, dan lapisan output. Masing-masing node antar lapisan dihubungkan dengan bobot dan dipengaruhi oleh bias.
Terdapat banyak macam struktur ANN. Salah satunya adalah ANN double layer dimana terdapat satu hidden layer
Gambar 1. Struktur Neural NetworkDouble Layer
B. Gravitational Search Algorithm
GSA adalah algoritma heuristik yang ditemukan oleh Rashedi (2009). Algoritma ini diinspirasi dari fenomena alam yakni hukum gravitasi dan tarik menarik massa. Hukum gravitasi menyatakan bahwa setiap partikel yang memiliki massa menarik satu sama lain dengan gaya gravitasi sehingga menyebabkan perpindahan partikel menuju massa yang lebih besar. Fenomena gravitasi yang menyebabkan perpindahan suatu benda menuju keseimbangan telah diadopsi menjadi sebuah algoritma yang disebut dengan GSA. Dalam GSA, posisi partikel yang memiliki massa merepresentasikan solusi permasalahan[4].
Gravitasi adalah kecenderungan sebuah benda untuk melakukan tarik-menarik dengan benda lain yang memiliki massa. Gaya ini adalah salah satu interaksi dasar di alam selain gaya elektromagnetik, gaya nuklir lemah, dan gaya nuklir kuat. Dalam hukum gravitasi Newton, setiap partikel menarik partikel lain dengan gaya gravitasi dan percepatan partikel ditentukan oleh gaya dan massa partikel tersebut [4]. Konsep gaya tarik menarik antar benda dapat dilihat pada Gambar 2.
Gambar 2. Konsep gaya tarik menarik antar partikel
Dari Gambar 2 dapat dilihat bahwa tarikan oleh massa yang lebih besar mampu mendominasi resultan gaya yang dialami sebuah benda (F1 sebagai resultan gaya yang dialami
M1 menuju M3 dimana M3 adalah massa yang paling besar). Semakin besar massa yang ditarik maka semakin besar gaya yang dibutuhkan. Di sisi lain, jika kedua benda dipisahkan semakin jauh, maka gaya yang ditimbulkan semakin kecil.
Hukum gravitasi menyatakan bahwa setiap partikel yang memiliki massa saling menarik satu sama lain dengan gaya gravitasi sehingga menyebabkan perpindahan menuju massa yang lebih besar[4].
Langkah pertama dalam GSA adalah inisialisasi N solusi (agen) awal dengan m dimensi secara random. Posisi agen direpresentasikan sebagai berikut[4]:
dimana i= 1, 2, …, N dan adalah posisi agen ke-i dimensi ke-d. Untuk setiap iterasi, total gaya interaksi setiap agen F
dengan agen yang lain dihitung dengan persamaan (1) dan (2):
dimana adalah konstanta gravitasi pada saat t, Mi(t) adalah massa agen i, merupakan jarak euclid antar agen yang dihitung dengan persamaan (3):
Update nilai G(t) yang berubah pada setiap iterasi yang dihitung dengan persamaan (4):
dimana adalah konstanta gravitasi pada interval kuantum kosmik pada saat t0.
Untuk menghitung massa Mi(t) tiap agen dihitung melalui persamaan (5) dan (6):
Agen best dan worst dipilih berdasarkan nilai fitness. dimana jika fungsi minimasi, best(t) dan worst(t) ditentukan sebagai berikut:
Namun, jika fungsi maksimasi ditentukan sebagai berikut:
Output
Input
Hidden layer
Output layer Input
layer
Input
Input
Langkah selanjutnya adalah menghitung kecepatan dan percepatan yang dialami oleh agen dengan persamaan (11) dan (12).
Langkah terakhir adalah update posisi agen menggunakan persamaan (13).
Prosedur ini diulang sampai batas iterasimaksimum atau telah memenuhi kriteria tertentu [5]. Gambar 3 menunjukkan diagram alir GSA.
Gambar 3. Diagram Alir GSA
C. Integrated Gravitational Search Algorithm
Sebagai algoritma heuristik, GSA memiliki kemampuan yang bagus dalam pencarian global. Namun jika konvergensi terlalu dini terjadi, algoritma ini kehilangan kemampuannya dalam pencarian[5]. Untuk memperbaiki kemampuan GSA, ditambahkan sebuah operator baru yakni disruption untuk lebih mengeksplorasi solusi.
Disrupsi gaya gravitasi yang diinspirasi dari ilmu astronomi merupakan fenomena terjadinya guncangan pada sekumpulan partikel yang ada dibawah pengaruh gaya gravitasi. Disrupsi terjadi secara tiba-tiba pada sekumpulan partikel yang berada dalam medan gravitasi. Hal ini terjadi ketika gaya gravitasi tidak mampu memberikan keseimbangan. Konsep astronomi tentang gaya gravitasi menyatakan bahwa ketika sekumpulan
partikel memiliki total massa (m) terlalu mendekati objek yang sangat besar (M), sekumpulan cenderung terpisah [6].
Fenomena disrupsi dalam komputasi disimulasikan dengan solusi terbaik (partikel dengan massa yang paling besar) yang menjadi pusat partikel massa pada medan gravitasi. Dibawah pengaruh gaya gravitasi tersebut, solusi-solusi yang lain berpotensial untuk terguncang atau tersebar dalam ruang keadaan. Untuk menjaga diversitas dan bertambahnya kompleksitas, disruption dibatasi dengan persamaan (14).
dimana adalah jarak euclid antara partikel i dengan sekitarnya sedangkan adalah jarak euclid antara partikel
i dengan best. Disrupsi terjadi ketika rasio jarak antara partikel
i dengan partikel disekitarnya ( dan jarak antara partikel i
dengan best ( kurang dari suatu ambang batas. Berdasarkan konsep pencarian, dua solusi yang terlalu mirip tidak berguna dalam populasi. Oleh karena itu jika jarak tersebut terlalu dekat, operator disruption dijalankan. Gambar 4 menunjukkan diagram alir IGSA:
Gambar 4. Diagram Alir IGSA
Simulasi komputasi fenomena disruption dapat dilihat sebagai berikut [5]:
Bangkitkan Populasi
Update kecepatan dan posisi
Terminate ?
Solusi terbaik Disruption
Evaluasi
Update G, best, worst
Hitung M dan a Bangkitkan Populasi
Evaluasi
Update kecepatan dan posisi
Terminate ?
Solusi terbaik Update G, best, worst
(a)Hitung rasio jarak antara partikel i dengan partikel disekitarnya ( dan jarak antara partikel i dengan best
( menggunakan persamaan (14).
(b)Update posisi setiap partikel menggunakan persamaan berikut
Operator disruption akan mengeksplorasi dan mengeksploitasi solusi tergantung pada nilai D. Jika nilai
sangat besar maka solusi akan dieksplorasi sedangkan
jika nilai kecil dilakukan eksploitasi [5].
III. IGSASEBAGAI OPTIMASI PADA ANN
IGSA pada ANN digunakan sebagai metode pembelajaran untuk menemukan bobot dan bias yang optimal. Langkah pertama adalah melakukan preprocessing data dan membagi data menjadi data latih dan data uji. Data tersebut kemudian dinormalisasi sehingga bernilai pada interval [0,1]. Parameter yang digunakan dalam ANN-IGSA adalah G, α, jumlah agen, dan maxEpoh. Dalam paper ini, struktur jaringan yang digunakan adalah ANN double layer dengan jumlah node input sebanyak fitur data. Struktur jaringan ANN yang digunakan dapat dilihat pada Gambar 5.
Gambar 5. Struktur Jaringan
Langkah selanjutnya adalah membangkitkan agen yang merupakan kombinasi bobot dan bias. Node i di lapisan input
Jika adalah output dari perhitungan sebagai berikut:
dimana k=1,2,…, m.
Sedangkan fungsi fitness yang digunakan adalah meminimumkan nilai Minimum Square Error (MSE) yang
Pada paper ini digunakan ANN dengan struktur jaringan n
-s-1, dengan n adalah jumlah node input dan s adalah jumlah node pada hidden layer demana s = 3,4, dan 5. Untuk mengetahui performa IGSA sebagai algoritma pembelajaran pada ANN, NN-IGSA diterapkan pada masalah klasifikasi dataset Iris, Breast Cancer, dan Wine. Parameter yang digunakan adalah G = 100, α = 20, jumlah agen = 10, dan maxEpoh= 100.
Nilai batas C yang digunakan berdasarkan pada persamaan (18) sedangkan G(t) dihitung dengan persamaan (19)
dengan nilai = 100 [5].
Performa IGSA akan dibandingkan dengan ANN-GSA dan ANN-GA. Parameter yang digunakan pada ANN-GA adalah jumlah kromosom = 10, pc = 0.6, pm= 0.1, dan maxEpoh = 100.
A. Data Uji Coba.
Data yang digunakan dalam penelitian ini adalah dataset yang diambil dari UCI Machine Learning Repository. Dataset yang mengandung missing value dilakukan preprocessing
dengan menghapus instance dengan missing value.
Karakteristik dataset Iris, Breast Cancer, dan Wine dapat dilihat pada Tabel I [7].
TABEL I. KARAKTERISTIK DATASET
Dataset Karakterisrik
1) Uji coba klasifikasi dataset Iris dilakukan sebanyak 10 kali replika dengan parameter yang telah ditentukan. Hasil uji coba klasifikasi pada dataset Iris menggunakan metode IGSA dibandingkan dengan menggunakan metode ANN-GSA, dan ANN-GA dapat dilihat pada Tabel II.
TABEL II. HASIL UJI COBA DATASET IRIS MSE paling kecil dari 10 replikasi diperoleh menggunakan metode ANN-IGSA pada setiap neuron hidden yang berbeda. Nilai simpangan baku dari replikasi tersebut juga relatif kecil, sehingga nilai 10 MSE yang dihasilkan memiliki keragaman
yang kecil. Akan tetapi ada kalanya nilai MSE didapatkan menggunakan ANN-GA lebih rendah yakni pada uji coba menggunakan struktur jaringan 4-5-1. Namun jika dilihat secara rata-rata ANN-GSA memiliki performa yang bagus pada masing-masing neuron hidden dan menghasilkan MSE terkecil pada struktur 4-3-1 dan 4-4-1.
2) Uji coba klasifikasi dataset Wine juga dilakukan sebanyak 10 kali replika dengan parameter yang telah ditentukan. Hasil uji coba klasifikasi pada dataset Wine menggunakan metode ANN-IGSA dibandingkan dengan menggunakan metode ANN-GSA, dan ANN-GA dapat dilihat pada Tabel III. MSE paling kecil dari 10 replikasi diperoleh menggunakan metode ANN-IGSA pada setiap neuron hidden yang berbeda. Nilai simpangan baku dari replikasi tersebut juga relatif kecil, sehingga nilai 10 MSE yang dihasilkan memiliki keragaman yang kecil. Selain itu ANN-IGSA juga menghasilkan MSE terkecil pada masing-masing neuron hidden. Hal ini menunjukkan bahwa ANN-IGSA memberika performa yang bagus jika dibandingkan dengan yang lain.
3) Uji coba klasifikasi dataset Breast Cancer dilakukan sebanyak 10 kali replika dengan parameter yang telah ditentukan. Hasil uji coba klasifikasi pada dataset Breast Cancer menggunakan metode ANN-IGSA dibandingkan dengan menggunakan metode ANN-GSA, dan ANN-GA dapat dilihat pada Tabel IV.
yang kecil. Selain itu ANN-IGSA juga menghasilkan MSE terkecil pada masing-masing neuron hidden. Hal ini menunjukkan bahwa ANN-IGSA memberika performa yang bagus jika dibandingkan dengan yang lain.
TABEL IV. HASIL UJI COBA DATASET BREAST CANCER
Neuron
Hidden Metode
Mean Square Error
Mean St. Dev Best
3
ANN – IGSA 0.027289 0.003166 0.023810
ANN – GSA 0.044322 0.026184 0.027473
ANN - GA 0.029487 0.001351 0.027473
4
ANN – IGSA 0.025641 0.001726 0.023810
ANN – GSA 0.030952 0.007743 0.025641
ANN - GA 0.027106 0.000772 0.025641
5
ANN – IGSA 0.026373 0.002149 0.023810
ANN – GSA 0.027289 0.002356 0.025641
ANN - GA 0.027289 0.000579 0.025641
DAFTAR PUSTAKA
[1] Yeh, W. ―Novel swarm optimization for mining classification rules on thyroid gland data‖, Information Sciences, Vol. 197, pp. 65–76, February 2012
[2] Mastrogiannis, N., Boutsinasa, B., Giannikos, I., ―A method for improving the accuracy of data mining classification algorithms‖, Computers & Operations Research, Vol. 36, pp. 2829–2839, October 2009
[3] Dias, F., Antunes, A., Mota A., ―Artificial neural networks: a review of commercial hardware‖, Engineering Applications of Artificial Intelligence, Vol. 17, December 2004, pp. 945–952
[4] Rashedi, E., Nezamabadi-pour, H., Saryazdi, S., ―GSA:A Gra vitational Search Algorithm”, Information Science, Vol. 179, pp. 2232–2248, March 2009
[5] Sarafrazi S., Nezamabadi-pour∗ H., Saryazdi S. ―Disruption: A new operator in gravitational search algorithm‖, Scientia Iranica D, Vol. 18(3), pp. 539–548, February 2011
[6] Harwit, M. The Astrophysical Concepts, 3rd ed., NewYork (1998) [7] http://archive.ics.uci.edu/ml/datasets.html
