TESIS. Oleh: Bain Khusnul Khotimah Nrp w w w. i t s. a c. i d

(1)

OPTIMASI PARAMETER PADA KLASIFIKASI FUZZY

ARTMAP BERBOBOT BERBASIS ALGORITMA GENETIKA

w w w . i t s . a c . i d

Magister

Magister TeknikTeknik InformatikaInformatika Institut

Institut TeknologiTeknologi SepuluhSepuluh NopemberNopember (ITS)(ITS)

Oleh

Oleh:: Bain

Bain KhusnulKhusnul KhotimahKhotimah Nrp

Nrp. 5108201004. 5108201004

Dosen

Dosen Pembimbing Pembimbing : : Dr. Dr. Agus Agus Zainal Zainal ArifinArifin, , S.KomS.Kom., ., M.KomM.Kom.. Anny Yuniarti, S.Kom., M.Comp. Sc.

Anny Yuniarti, S.Kom., M.Comp. Sc.

(2)

Latar Belakang



_{Klasifikasi merupakan kegiatan untuk menggolongkan}

sebuah obyek ke kategori atau kelas tertentu



_{Pengelompokan berdasarkan nilai attribut-attribut}

atau fitur-fiturnya (Pang Ning Tang, 2005).



_{Algoritma pembelajaran untuk membangun model}

klasifikasi: Adaptive Resonance Theory (ART)

(3)

Latar Belakang

(Grossberg, 1976)

-

: Neurol network Back Propagation menghasilkan

model yang berasal dari hidden neuron dan fungsi

aktivasi yang membutuhkan epoch untuk titik

equilibrium, jumlah hidden neurons dan weight

bersifat tetap dan perlu retraining sehingga

stability

dilemma

(Grossberg, 1987)

+: ART:ART-1 dan ART-2 dapat mengatasi stability

dilemma

(4)

Latar Belakang

(Grosberg, 1992):Algoritma Fuzzy ARTMAP

+:Klasifikasi pada incremental supervised

learning dari pola berlabel

-:hal ini menimbulkan ketidakadilan terhadap

node yang memiliki jumlah pattern lebih

(5)

Latar Belakang

(Baraldi, 2002)



_{Symmetric Fuzzy ART untuk menjaga keseimbangan}

fungsi match dan aktifasi yang selalu bertambah sehingga

lebih toleran dalam mencari kedekatan antara cluster

node output dengan pola



_{Mempunyai fungsi aktifasi dan match terpengaruh jumlah}

data di dalam node sehingga dipengaruhi size dari cluster

node

-: semakin besar ukuran cluster maka jarak class didalam

cluter semakin jauh

(6)

Latar Belakang

(Darlis,2009): Algoritma

Fuzzy ARTMAP Berbobot



Mengkombinasikan

antara

Fuzzy ARTMAP dan

symmetric Fuzzy

ART ditambah

dengan

pembobotan

node cluster berdasarkan

jumlah

pola

dan

size node cluster tersebut



Proses

pembobotan

dilakukan

dengan

sistem

bobot

dalam

algoritma

sistem

koloni

semut

berbasis

feromon



Pembobotan

digunakan

menyesuaikan

size cluster node output yang

memiliki

jumlah

pattern lebih

banyak

-: optimization problem dipengaruhi

oleh

inisialisasi

parameter pada

saat

training sehingga

mempengaruhi

kinerja

classifier

(7)

Kontribusi

Penelitian



Melakukan optimasi parameter pada klasifikasi fuzzy

ARTMAP berbobot berbasis algoritma genetika,

parameter yang dipilih dengan menentukan:



Pi=PheromonIntensity digunakan untuk pembobotan pada

node cluster berdasarkan jumlah pola



Li=LikenessIntensity untuk menentukan kesimetrisan size node

cluster yang terbentuk berdasarkan jumlah pola



vigilance

_{untuk menentukan tingkat resonansi pada saat}

(8)

Rumusan Masalah



Bagaimana cara mengoptimasi parameter dengan

menentukan parameter terbaik dengan algoritma

genetika pada klasifikasi fuzzy ARTMAP berbobot



Bagaimana mengukur kinerja klasifikasi GA-FAMB

dibandingkan dengan klasifikasi GS-FAMB (Grid

search –FAMB) menggunakan uji t berpasangan

pada ten fold cross validation.

Tujuan



Mendapatkan parameter yang optimal untuk

meningkatkan akurasi pada klasifikasi FAMB.



Mempermudah pencarian parameter pada

klasifikasi yang dapat diaplikasikan diberbagai

bidang datamining.

(9)

ALgoritma FAMB

1. Menghitung tingkat kesimetrisan fungsi aktifasi dan match

2. Menghitung fungsi aktifasi dan match masing-masing node

3. Mengurutkan fungsi aktifasi dan match berdasarkan nilai

terbesar

2

1

1 )

,

(

)

,

(

j j j

w

x

w

x

M

w

x

T







(10)

ALgoritma FAMB



Update node Size Cluster

- Menghitung ratio perbandingan node lama dengan node baru

- Menghitung evaporate

- Pembobotan Pheromon intensity



_{Menghitung fungsi aktifasi dan match masing-masing node}



_{Mengurutkan fungsi aktifasi dan match berdasarkan nilai}

(11)

Desain sistem untuk Estimasi parameter pada klasifikasi

(12)

Preprocessing



_{Normalisasi ke nilai maksimum dan minimum}

atribut:

Val

v

t

min

max

min





(13)

Langkah-langkah pada GA



_{Inisialisasi parameter ρ, Li dan Pi}



Desain kromosom :



_{pengubahan ghenotype menjadi phenotype}

xd

p

_p p_l p

1

2 min

max

min







(14)

Fitness Function



Kromosom pada individu mewakili parameter fungsi fuzzy

ARTMAP untuk menghasilkan nilai fitness [Whitley, 1993]



Nilai fitness dihitung pada setiap populasi kromosom dan

diambil nilai fitness tertinggi pada setiap populasi. Fitness

yang digunakan adalah akurasi FAMB.

(15)

Optimasi Parameter dengan

Menggunakan GA

(16)

Operasi algoritma genetika



Dilakukan seleksi beberapa individu dengan metode

roda roullete.



Dilakukan crossover 1-point pada individu yang

sudah terseleksi.



Dilakukan mutasi untuk menghindari konvergensi

prematur.



_{Nilai individu terbaik diperoleh pada saat fitness berada}

posisi optimal pada kondisi konvergen (stabil)



_{Untuk menjaga agar individu bernilai fitness tertinggi}

(17)

(18)

(19)

Algoritma Grid Search

1. Coba berbagai nilai parameter pada

rentang tertentu

2. Untuk setiap parameter hitung

performansi FAMB dengan

pembagian data proporsional

3. Pilih nilai terbaik, jika belum ketemu

4. Lakukan pencarian ulang pada grid

(20)

Skenario 1



_{Metode Ten Fold Cross Validation}



_{Uji t-berpasangan (Pang ning Tang, 2005),}

(Huang, 2006)

Tujuan



_{Mengetahui metode manakah yang memiliki}

kinerja lebih baik untuk set data tertentu pada

nilai parameter terbaik pada metode GA-FAMB

vs GS-FAMB.

(21)

Skenario 2



_{Data UCI repository dibagi menjadi 2 :}

50% data testing dan 50% data testing.



_{Algoritma dilakukan pengujian sebanyak 10 kali}

dengan menggunakan parameter pada algoritma

genetika dan algoritma grid search yang sama

Tujuan



_{Untuk mengetahui tingkat kestabilan baik metode GA-}

FAMB maupun GS-FAMB, dengan membandingkan

rata-rata nilai akurasi yang diperoleh

(22)

HASIL UJI COBA SKENARIO 1

Hasil pembelajaran metode GA-FAMB vs GS-FAMB

menggunakan ten fold cross validation

wine sonar WBCD Ionosphere GS 90.4 71.9 95.0 89.8 GA 93.9 76.4 97.5 93.7 0.0 20.0 40.0 60.0 80.0 100.0 120.0 Ak u ra si ( % )

(23)

Rekapitulasi hasil uji t berpasangan ten fold validation

untuk data set UCI repository



_{(GA-FAMB ) - (GS-FAMB ) memiliki mean selisih akurasi}

positif untuk seluruh dataset pada tingkat kepercayaan

95%, kecuali WBCD pada 98%.



_{Secara umum metode GA-FAMB memiliki akurasi yang lebih}

baik dari metode GS-FAMB pada parameter optimal. Hal ini

menegaskan bahwa metode GA-FAMB lebih baik dari metode

GS-FAMB.

(24)

Grafik hasil keseluruhan pembelajaran akurasi metode GA-FAMB

GA (%maks) GA (%min) Wine 100 88.89 Sonar 90.48 63.64 WBCD 98.55 97.01 Ionosphere 100 91.18 60 65 70 75 80 85 90 95 100 1 2 3 4 5 6 7 8 9 10 Ak ur as i ( % ) Fold

(25)

Grafik hasil keseluruhan pembelajaran akurasi metode

GS-FAMB

GS (%maks) GS (%min) Wine 94.44 83.33 Sonar 81.82 61.90 WBCD 97.10 89.71 Ionosphere 94.44 83.33 60 65 70 75 80 85 90 95 100 1 2 3 4 5 6 7 8 9 10 Ak ur as i ( %) Fold

(26)

Analisa Hasil Optimasi Parameter Menggunakan GA



_{Uji coba dilakukan hingga mencapai nilai fitness tertinggi dan}

nilai sama untuk setiap iterasi (konvergen).



_{Setiap uji coba mencapai kondisi konvergen yang tidak sama}



_{Data set dengan attribut dan jumlah fitur besar cenderung}

(27)

Hasil pembelajaran menggunakan algoritma genetika optimasi fold 1

Nilai fitness dihitung pada setiap populasi kromosom dan diambil nilai

fitness tertinggi pada setiap populasi (Witley, 1993).

Sonar 92 93 94 95 96 97 98 99 100 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 F itn e s s te r b a ik Generasi

(28)

HASIL UJI COBA SKENARIO 2

Hasil perbandingan pembelajaran metode GA-

FAMB vs GS-FAMB untuk uji 10 x

Nilai akurasi digunakan untuk mencari nilai peak yang diambil

dari rata-rata akurasi.

Hal ini disebabkan dalam setiap uji coba 10 kali hasilnya

berbeda-beda.

(29)

Grafik hasil keseluruhan pembelajaran akurasi metode

GA-FAMB dengan uji coba 10 x

0 10 20 30 40 50 60 70 80 90 100 1 2 3 4 5 6 7 8 9 10 Ak ur as i ( % ) Uji

ke-wine sonar WBCD ionosphere

GA (%maks) GA ( %min)

Wine 96.67 91.11

Sonar 75.24 65.71

WBCD 97.95 96.49

(30)

Grafik hasil keseluruhan pembelajaran akurasi

metode GS-FAMB dengan uji coba 10 x

0 10 20 30 40 50 60 70 80 90 100 1 2 3 4 5 6 7 8 9 10 Ak ur as i ( % ) Uji

ke-wine sonar WBCD ionosphere

GS (maks) GS (min)

Wine 94.74 88.89

Sonar 90.48 63.64

WBCD 97.95 94.74

(31)

Perbandingan Jumlah Iterasi pada keempat set data

metode optimasi algoritma genetika

(32)

Hasil pembelajaran menggunakan algoritma genetika

untuk uji coba 10 x

98 98.5 99 99.5 100 1 3 5 7 9 1113151719212325272931333537394143454749 F itn e s s te r b a ik Generasi

uji ke-1 uji ke-2 uji ke-3 uji ke-4 uji ke-5 uji ke-6 uji ke-7 uji ke-8 uji ke-9 uji ke-10

90 91 92 93 94 95 96 97 98 99 100 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 F it n e ss T e rb a ik Generasi

Uji ke-1 Uji ke-2 Uji ke-3 Uji ke-4 Uji ke-5 Uji ke-6 Uji ke-7 Uji ke-8 Uji ke-9 Uji ke-10

(33)

Hasil pembelajaran menggunakan algoritma genetika

untuk uji coba 10 x

97 97.5 98 98.5 99 99.5 100 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 Fi tn e ss Te rb a ik Generasi

Uji ke-1 Uji ke-2 Uji ke-3 uji ke-4 Uji ke-5 Uji ke-6 Uji ke-7 Uji ke-8 Uji ke-9 Uji ke-10

91 92 93 94 95 96 97 98 99 100 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 F it n e ss T e rb a ik Generasi

Uji ke-1 Uji ke-2 Uji ke-3 Uji ke-4 Uji ke-5 Uji ke-6 Uji ke-7 Uji ke-8 Uji ke-9 Uji ke-10

WBCD

(34)

Kesimpulan



_{Algoritma genetika mampu mendapatkan nilai parameter}

optimal secara otomatis dengan hasil yang lebih tinggi untuk

set data wine sebesar 93.88%, sonar sebesar 76.35% , WBCD

sebesar 97.51%, ionosphere sebesar 93.74% dibandingkan

algoritma grid search untuk set data wine sebesar 90.41%,

sonar sebesar 71.86% , WBCD sebesar 95.03%, ionosphere

sebesar 89.80%.



_{Dari hasil uji t-test berpasangan, algoritma genetika}

menunjukkan bahwa nilai akurasi, sensitifitas dan spesifisitas

rata-rata terbukti nilainya lebih besar dan rata-rata selisih

akurasinya signifikan pada tingkat kepercayaan 95%

dibandingkan pada algoritma grid search.

(35)

DAFTAR PUSTAKA

 A. Baraldi and Ethem Alpaydm, (1998) “Simplified ART- A new class of ART

 algorithms,” International Computer Science Institute, Berkeley, CA, TR-98-004.

 A. Baraldi, E. Alpaydin (2002) "Constructive Feedforward ART Clustering

Network -Part I," IEEE Transactions on Neural Networks, 13(3), 645-661.

 A. Baraldi, E. Alpaydin (2002) "Constructive Feedforward ART Clustering

Network -Part II," IEEE Transactions on Neural Networks, 13(3), 662-677.

 Cormen, H.Thomas, at all (1990), ”Introduction to Algorithms”.The Massuchus Institute to Technology Amerika Utara.

 G. Carpenter, S. Grossberg, N. Markuzon, J. Reynolds, D. Rosen, (1992) “Fuzzy ARTMAP: A Neural Network Architecture for Incremental Supervised Learning of Analog Multidimensional Maps,” IEEE Trans. Neural Networks, vol. 3, pp. 698-713.

(36)

DAFTAR PUSTAKA

 G. Carpenter, S. Grossberg, and D. Rosen, (1991) “Fuzzy ART: Fast Stable Learning and Categorization of Analog Patterns by an Adaptive Resonance System,” Neural Networks, vol. 4, pp. 759-771.

 G.A. Carpenter, S. Grossberg, N. Markuzon, John H, Reynolds, and David B. Rosen, (1992) "Fuzzy Artmap: An Adaptive Resonance Architecture For Incremental Learning of Analog Maps," Proc. of the international joint

conference on neural networks, Baltimore.

 Goldberg, David E (1989), Genetic Algorithms in Search, Optimization and

Machine Learning, Kluwer Academic Publishers, Boston, MA.

 Gen, Mitsuo and Runwei, Cheng, 1997. Genetic Algorithms and Engineering Design. New York: John Wiley & Sons, Inc.

 Herumurti, Darlis (2009), ”Klasifikasi Individu Penderita Osteoporosis dengan Menggunakan Fuzzy ARTMAP Berbobot”. Tesis, Jurusan

(37)

DAFTAR PUSTAKA

 G. Carpenter, S. Grossberg, and D. Rosen, (1991) “Fuzzy ART: Fast Stable Learning and Categorization of Analog Patterns by an Adaptive Resonance System,” Neural Networks, vol. 4, pp. 759-771.

 G.A. Carpenter, S. Grossberg, N. Markuzon, John H, Reynolds, and David B. Rosen, (1992) "Fuzzy Artmap: An Adaptive Resonance Architecture For Incremental Learning of Analog Maps," Proc. of the international joint

conference on neural networks, Baltimore.

 Goldberg, David E (1989), Genetic Algorithms in Search, Optimization and

Machine Learning, Kluwer Academic Publishers, Boston, MA.

 Gen, Mitsuo and Runwei, Cheng, 1997. Genetic Algorithms and Engineering Design. New York: John Wiley & Sons, Inc.

 Herumurti, Darlis (2009), ”Klasifikasi Individu Penderita Osteoporosis dengan Menggunakan Fuzzy ARTMAP Berbobot”. Tesis, Jurusan

(38)