PRESENTASI TUGAS AKHIR IMPLEMENTASI PENGGABUNGAN ALGORITMA SUPPORT VECTOR MACHINE DAN SIMULATED ANNEALING PADA PERMASALAHAN KLASIFIKASI POLA

(1)

Minggu, 06 Juli 2014 11

IMPLEMENTASI PENGGABUNGAN ALGORITMA SUPPORT

VECTOR MACHINE DAN SIMULATED ANNEALING PADA

PERMASALAHAN KLASIFIKASI POLA

PRESENTASI TUGAS AKHIR

Penyusun Tugas Akhir :

Astris Dyah Perwita

(NRP : 5110.100.178)

Dosen Pembimbing I

Dr.Chastine Fatichah, S.Kom., M.Kom.

Dosen Pembimbing II

(2)

UJI KINERJA PENGGABUNGAN ALGORITMA SUPPORT

VECTOR MACHINE DAN SIMULATED ANNEALING PADA

PERMASALAHAN KLASIFIKASI POLA

PRESENTASI TUGAS AKHIR

Penyusun Tugas Akhir :

Astris Dyah Perwita

(NRP : 5110.100.178)

(3)

Minggu, 06 Juli 2014 Tugas Akhir – CI1599 3

Agenda

Pendahuluan Perancangan Perangkat lunak Kesimpulan dan Saran Uji Coba dan Analisis Hasil

(4)

Pendahuluan

Kelebihan SVM:

• Error klasifikasi yang relatif kecil

• Cocok untuk permasalahan berdimensi tinggi

• Memiliki landasan teori yang dapat dianalisis dengan jelas

• Dapat diimplementasikan relatif mudah

Kekurangan SVM:

• Sulit dipakai dalam permasalahan

Kelebihan SA:

• Dapat mengatasi model permasalahan nonlinier

• Dapat mengatasi data yang memiliki banyak batasan

• Fleksibel, tidak bergantung pada ketentuan atau model tertentu

Kekurangan SA:

• Kualitas ditentukan oleh presisi

nilai-Permasalahan Pola

Klasifikasi

Metode Klasifikasi SVM

Latar

(5)

Pendahuluan

Support Vector Machine

Simulated Annealing

Menghasilkan metode klasifikasi yang:

• Memiliki nilai error dari klasifikasi yang relatif kecil

• Cocok untuk permasalahan berdimensi tinggi

• Dapat diimplementasikan dengan mudah

• Memiliki kualitas klasifikasi dari SVM yang baik karena

parameter dioptimasi dengan SA

• SA bekerja maksimum karena variabel pada prosesnya

telah disesuaikan dengan SVM

Latar

(6)

Pendahuluan

Tujuan

Implementasi

algoritma

Simulated

Annealing untuk

mengoptimasi

parameter SVM

yaitu

C

dan σ.

Implementasi

algoritma

Simulated

Annealing pada

SVM dengan

kernel yang

telah

dimodifikasi.

Melakukan uji

coba dan

analisis kinerja

dari algoritma

yang telah

diimplementasi-kan.

Latar

(7)

Pendahuluan

Batasan Masalah

• Dataset

yang digunakan adalah Hepatitis dan

Breast Cancer dari UC Irvine Machine Learning

Repository (UCI).

• Implementasi dilakukan pada Matlab 2008a

• Parameter yang dioptimasi parameter

C

dan

σ

.

• Kernel

yang digunakan adalah

kernel

RBF

Latar

(8)

Agenda

Perancangan

Perangkat lunak

Pendahuluan

Uji coba dan analisis hasil

(9)

Perancangan Perangkat Lunak

Data

Metode

Gambaran Aplikasi

Hasil Aplikasi

(10)

Perancangan Perangkat Lunak

Data

Data hepatitis

• 21 fitur

• Class: Die & Live

• Total data: 155

• Data yang memiliki

missing

value:

75 • Data yang digunakan: 80

Data Breast Cancer

• 10 fitur

• Class: Benign & Malignant

• Total data: 699

• Data yang memiliki

missing

value:

16

(11)

Perancangan Perangkat Lunak

Data

Nomor Atribut Keterangan 1 Class Die, Live

2 Age 10, 20, 30, 40, 50, 60, 70, 80

3 Sex Male, Female

4 Steroid No, Yes

5 Antivirals No, Yes

6 Fatique No, Yes

7 Malaise No, Yes

8 Anorexia No, Yes

9 Liver Big No, Yes

10 Liver Firm No, Yes

11 Spleen Palpable

No, Yes

12 Spiders No, Yes

13 Ascites No, Yes

14 Varices No, Yes

15 Bilirubin 0.39, 0.80, 1.20, 2.00, 3.00, 4.00 16 Alk Phosphate 33, 80, 120,160, 200, 150 17 Sgot 13, 100, 200, 300, 400, 500 18 Albumin 2.1, 3.0, 3.8, 4.5, 5.0, 6.0 19 Protime 10, 20, 30, 40, 50, 60, 70, 80, 90

20 Histology No, Yes

Nomor Atribut Keterangan 1 Sample Code Number Id number

2 Clump Thickness 1 – 10

3 Uniformity of Cell Size 1 – 10

4 Uniformity of Cell Shape

1 – 10

5 Marginal Adhesion 1 – 10

6 Single Ephitelial Cell Size 1 – 10 7 Bare Nuclei 1 – 10 8 Bland Chromatin 1 – 10 9 Normal Nucleoli 1 – 10 10 Mitoses 1 – 10

11 Class 2 untuk Benign, 4 untuk Malignant

(12)

Perancangan Perangkat Lunak

Support Vector Machine

Metode

• Support Vector Machine diperkenalkan oleh Vladimir N.

Vapnik pada tahun 1992

• Prinsip dasar SVM adalah linear classifier. Kemudian

konsep ini dikembangkan dengan

kernel trick

sehingga

dapat bekerja pada permasalahan berdimensi tinggi.

• Konsep SVM adalah pengambilan keputusan berdasarkan

(13)

.:WEIGHTED KERNEL:.

• Pembobotan pada data dilakukan untuk memberikan

penekanan sesuai dengan tingkat kandungan informasi

pada suatu data.

• Pembobotan dilakukan pada fungsi kernel RBF yang

dimodifikasi :

Tugas Akhir – CI1599 13

















_



₂ 2

2 )

(

exp

)

,

(



j i j i SW

x

S

x

K

(1)

(14)

Perancangan Perangkat Lunak

Simulated Annealing

Metode

• Simulated Annealing adalah metode metaheuristik

yang mengadaptasi konsep metalurgi besi yang

dipanaskan pada suhu tertentu.

• Simulated

Annealing

merupakan

metode

pencarian nilai optimal global yang dilakukan

secara bertahap sesuai dengan prinsip hubungan

antara suhu dengan energi yang dibutuhkan besi.

(15)

Perancangan Perangkat Lunak

Gambaran Aplikasi

Simulated Annealing

Penentuan Parameter Akurasi terbaik dengan parameter optimal

SVM

Cross

Validation

Pelatihan

Pengujian

Akurasi

Kernel dan pembobotan Konfigurasi Penentu Optimasi Fungsi Objektif Representasi Solusi

(16)

Perancangan Perangkat Lunak

Simulated Annealing (Bag. Pertama)

Inisialisasi kondisi

awal dan iterasi

Estimasi parameter

dengan nilai random

Aplikasi

parameter

pada SVM

• Parameter C

Merupakan parameter untuk mengkondisikan nilai soft margin

pada SVM

(17)

Perancangan Perangkat Lunak

SVM

Cross Validation Membagi dataset menjadi n bagian untuk pelatihan dan pengujian Parameter dari SA Dataset Pelatihan • Membutuhkan:

data latih, jenis

kernel, & parameter C

• Menghasilkan α Kernel

Membutuhkan: nilai data dan fitur, jenis kernel, parameter

σ

, dan pembobotan Pengujian • Kembalikan nilai akurasi terbaik dari n-folds cross validation ke SA • Membutuhkan:

data latih, data uji, jenis kernel, pembobotan, dan α

• Menghasilkan

(18)

Perancangan Perangkat Lunak

Simulated Annealing (Bag. Kedua)

Nilai

akurasi

SVM

Akurasi lebih baik? Hitung nilai probabilitas

(Probabilitas Boltzman)

Simpan nilai akurasi dan konfigurasi parameter tidak tidak Ya Ya Nilai random > probabilitas ? Estimasi parameter dengan nilai random

(19)

Perancangan Perangkat Lunak

Hasil Program

Hasil Aplikasi

Iterasi

Nilai

parameter C

Nilai

parameter σ

Folds

Akurasi

terbaik SVM

Keputusan SA

(20)

Agenda

Uji Coba dan Analisis Hasil Pendahuluan Perancangan Perangkat Lunak

(21)

Uji Coba

Uji Coba Awal

Percobaan dilakukan pada data Hepatitis dan Breast Cancer dengan

menggunakan parameter yang dianggap paling optimal oleh

literatur utama.

C = 16,6

σ = 0,31342

Percobaan dilakukan dengan variasi 5-folds cross validation dan 10

(22)

Uji Coba Awal

Validasi ke Data Latih Data Uji Akurasi 1 63 17 96,25

2 64 16 96,25

3 64 16 96,25

4 64 16 97,50

5 65 15 97,50

Validasi ke Data Latih Data Uji Akurasi 1 72 8 98,75 2 72 8 98,75 3 72 8 98,75 4 73 7 98,75

Validasi Ke Data Latih Data Uji Akurasi 1 546 137 98,98

2 546 137 99,41

3 547 136 99,12

4 547 136 99,27

5 546 137 99,27

Validasi Ke Data Latih Data Uji Akurasi 1 615 68 99,71

2 615 68 98,98

3 615 68 99,71

4 615 68 99,71

Tabel Hasil Percobaan Awal pada Data Hepatitis 5 Folds Cross Validation

Tabel Hasil Percobaan Awal pada Data Breast Cancer 5 Folds Cross Validation

Tabel Hasil Percobaan Awal pada Data Breast Cancer 10 Folds Cross Validation Tabel Hasil Percobaan Awal pada Data

(23)

Uji Coba

Analisis Hasil Uji Coba SVM-SA

Percobaan C σ Folds Akurasi 1 32 0,1179 5 97,5 2 32 0,1 5 97,5 3 32 0,36 5 97,5 4 32 0,1 5 97,5 5 32 0,1467 5 97,5 6 32 0,2392 10 98,75 7 32 0,1 10 98,75 8 32 0,1 10 98,75 9 32 0,1 10 98,75 10 32 0,3782 10 98,75

Folds Akurasi terbaik percobaan awal

5 97.5

10 98.75

Percobaan C Folds Akurasi

1 0,9 0,4 5 99,41

2 1,5 0,4 10 100

5 99.41

10 99.71 Tabel Hasil Percobaan SVM-SA pada Data

Hepatitis Tabel Hasil Percobaan SVM-SA pada Data Breast Cancer

Tabel Hasil Percobaan Awal pada Data Breast Cancer

Tabel Hasil Percobaan Awal pada Data Hepatitis

Hasil akurasi pada data Hepatitis sama

akurat dibandingkan dengan percobaan awal.

Namun ada beberapa parameter yang dapat

menghasilkan akurasi terbaik.

•Akurasi maksimum untuk 5 folds cross validation

data Breast Cancer sama dengan uji coba awal namun didapatkan dari pasangan parameter yang berbeda.

• Akurasi yang dihasilkan 10 folds cross validation

(24)

Uji Coba

Analisis Hasil Uji Coba SVM-SA

Grafik A. Hasil Percobaan SVM-SA 5 folds Cross Validation

0-0,5

• Pada grafik, tampak bahwa

wilayah

puncak

yang

merupakan representasi dari

akurasi yang baik berada di

wilayah parameter

σ

yang

sempit (antara 0–0,5) untuk

berbagai

variasi

nilai

parameter C. Hal ini sesuai

dengan hasil akurasi pada

tabel

hasil

akurasi

baik

(25)

Uji Coba

Analisis Hasil Uji Coba SVM-SA

• Pada grafik 5 folds cross validation, hanya

beberapa pasangan parameter saja yang

bisa mencapai titik puncak atau akurasi

terbaik.

• Parameter yang menghasilkan akurasi

terbaik berada pada wilayah parameter C

= 0,9 dan

σ

= 0,4

• Pada uji coba ini terdapat 8 dari 100

pasangan parameter yang menghasilkan

akurasi di atas rata-rata.

• Uji coba 10 folds cross validation

menunjukkan bahwa akurasi yang tinggi

dapat dicapai dengan parameter kernel

RBF atau parameter

σ

antara 0-0,5 dan

parameter C antara 0-15.

• Pada uji coba ini, 43 dari 80 pasangan

parameter menghasilkan akurasi di atas

rata-rata.

Grafik C. Hasil Percobaan SVM-SA 5 folds Cross Validation

(26)

Uji Coba

SVM-SA-Pembobotan Kernel

Tabel Hasil Percobaan SVM-SA-Pembobotan Kernel Pada Data Hepatitis

1 32 1,1989 5 97,50 2 32 0,7975 5 97,50 3 32 0,1 5 97,50 4 32 0,5028 5 97,50 5 32 0,3810 5 97,50 6 31,2915 2,1294 10 100 7 32 2,7103 10 98,75 8 32 0,1 10 98,75 9 32 1,6308 10 98,75 10 32 0,2758 10 98,75

Percobaan Folds Akurasi terbaik

1 4,2 0,1 5 96,49

2 7,921 0,3544 10 98,54

Percobaan Folds Akurasi terbaik

Awal 5 _99,41

Awal 10 _99,71

SVM – SA 5 _99,41 SVM - SA 10 ₁₀₀ Tabel Hasil Percobaan SVM-SA-Pembobotan

Kernel pada Data Breast Cancer

Tabel Hasil Uji Coba Data Breast Cancer

Tabel Hasil Uji Coba Data Hepatitis

• Hasil

akurasi

percobaan

pada

data

(27)

Uji Coba

Analisis Hasil SVM-SA-Pembobotan Kernel

• Jangkauan parameter

kernel

RBF yang

menghasilkan akurasi

maksimum menjadi

antara 0 sampai 1,5

dengan berbagai nilai

parameter

C

dari

sebelumnya yang

berkisar antara antara

0–0,5

Grafik hasil percobaan SVM-SA 5 folds CV

0-1,5

(28)

Uji Coba

Analisis Hasil SVM-SA-Pembobotan Kernel

• Jangkauan

dari

pasangan

parameter

yang

dapat

menghasilkan akurasi tinggi

ada

pada

jangkauan

parameter σ antara 0-0,5 dan

C antara 0-6

• Dengan

parameter

yang

terbatas,

sistem

dapat

menghasilkan akurasi yang

tinggi.

Hal

ini

dibuktikan

dengan 56 dari 85 pasangan

(29)

Agenda

Kesimpulan dan Saran Pendahuluan Uji Coba dan Analisis Hasil Perancangan Perangkat Lunak

(30)

Kesimpulan dan Saran

Kesimpulan

• Algoritma Simulated Annealing (SA) dapat

diimplementasikan untuk mengoptimasi parameter SVM

• Metode pembobotan

kernel

Gradient Descent dapat

diaplikasikan pada SVM untuk memperbaiki hasil

klasifikasi.

• Sistem SVM dengan optimasi parameter menggunakan SA

lebih akurat hingga 1,25% lebih baik daripada tanpa

menggunakan optimasi parameter SA pada dataset

Hepatitis.

(31)

Kesimpulan dan Saran

Saran

• Membuat antarmuka yang baik sehingga dapat

dioperasikan dengan mudah oleh pengguna.

(32)

(33)

Perancangan Perangkat Lunak

Pembobotan Kernel Gradient Descent

Algoritma optimasi untuk menemukan local minimum dari sejumlah jangkauan nilai dari suatu fungsi dengan menggunakan langkah yang proporsional

Membutuhkan e sebagai searching speed dan n sebagai batas iterasi

Diterapkan pada kernel untuk mendapatkan nilai margin yang paling maksimum sehingga akurasi lebih baik

(34)

(35)

Perancangan Perangkat Lunak

Support Vector Machine

Vladimir N. Vapnik

(1992)

Pengambilan keputusan

berdasarkan bidang-bidang terbatas

0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 1.5 2 2.5 3 3.5 4 4.5 5 Traning Dataset 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 1.5 2 2.5 3 3.5 4 4.5 5 Decision Boundary

Pengelompokan class dengan

decision boundary

(36)

Perancangan Perangkat Lunak

Optimal Separating Hyperplane

Hyperplane ideal = margin

maksimal untuk memisahkan data

Margin maksimal  nilai ||w|| minimal

Hyperplane dinotasikan

dengan

Jarak antara hyperplane

dengan support vector

Optimasi dengan Lagrange Multiplier

𝑤 ∙ 𝑥 − 𝑏 = 0

𝛾 =

1 | 𝑤 |

(37)

Kernel Trick

Data tidak dapat dipisahkan

dengan batas linear

Transformasi data ke ruang-ruang

baru untuk membentuk batas linier

Disesuaikan dengan kondisi data.

Mengandalkan dot product data.

Dapat digantikan oleh

fungsi kernel

RBF Kernel

Kernel Trick - Metode untuk

menghitung kesamaan

dari ruang yang ditransformasi

menggunakan atribut set awal

dan nilai

dot product

dari data

_{Optimasi variabel σ untuk}

memaksimalkan kinerja fungsi

kernel

(38)

Kernel Trick

Klasifikasidengan kernel trick:

𝑓 ∅ 𝑥

= 𝑤. ∅ 𝑥 + b

𝑓 ∅ 𝑥

=

𝑖=1,𝑥_𝑖∈𝑆𝑉 𝑙

𝛼

_𝑖

𝑦

_𝑖

∅ 𝑥 . ∅(𝑥

_𝑖

) + 𝑏

𝑓 ∅ 𝑥

=

𝑖=1,𝑥_𝑖∈𝑆𝑉 𝑙

𝛼

_𝑖

𝑦

_𝑖

𝐾 𝑥. 𝑥

_𝑖

+ 𝑏

Nama Kernel

Inner Product Kernel

Polinomial

(𝑥

𝑇

𝑥

𝑖

+ 1)

𝑝

dengan nilai p

ditentukanolehpengguna

Radial-basis

function

𝑒𝑥𝑝 −

| 𝑥−𝑥′ |₂2

2𝜎2

dengan nilai σ

(39)

Diagram Alir Perangkat Lunak

Inisialisasi State dan Max-Score

Pilih nilai random untuk parameter

Bagi data menjadi k-bagian

SVM dengan pembobotan

kernel

Semua bagian terpilih menjadi data test? Dataset

Pilih satu bagian untuk menjadi testing NewScore = CVScore NewScore >Pre-Score PreScore =

NewScore PreScore >= MaxScore Kurangi Iterasi dan jangkauan

nilai

Kembalikan parameter terbaik dan Score terbaik

Cross Validation

Tidak

Ya

(40)

Simulated Annealing

Probability Boltzman

𝑃 = 𝑒𝑥𝑝

−∆𝐸

𝑘

_𝑏

𝑇

= 𝑒

−∆𝐸 𝑘_𝑏𝑇

Digunakan sebagai penentu diterimanya solusi dari fungsi objektif.

Persamaan ini menandakan hubungan antara T (Temperatur/suhu)

dengan E (energi). Pada permasalahan SVM – SA, E adalah fungsi

SVM dengan hasil akurasi dari klasifikasi.

(41)

Simulated Annealing

• Kelebihan:

•

dapat mengatasi model permasalahan nonlinier yang

memiliki tingkat tinggi, data yang kacau, data memiliki

banyak

noise

, dan data yang memiliki banyak batasan

•

Fleksibel sehingga banyak digunakan untuk

menyelesaikan banyak permasalahan

• Kekurangan

•

Perlu banyak penyesuaian

•

Nilai atas variabel menentukan kualitas optimasi

(42)

Uji Coba

Uji Coba Awal Data Hepatitis

Validasi ke Data Latih Data Uji Akurasi 1 63 17 96,25 2 64 16 96,25 3 64 16 96,25 4 64 16 97,50 5 65 15 97,50 K = 5; C = 16,6; σ = 0.31342

Validasi ke Data Latih Data Uji Akurasi 1 72 8 98,75 2 72 8 98,75 3 72 8 98,75 4 73 7 98,75 5 72 8 98,75

Percobaan dilakukan pada

data hepatitis dengan

menggunakan parameter yang

dianggap paling optimal oleh

literatur utama.

C = 16,6

σ = 0,31342

Percobaan dilakukan dengan

variasi 5-folds cross validation

dan 10 folds cross validation

(43)

Uji Coba

Uji Coba Awal

Validasi Ke Data Latih Data Uji Akurasi 1 546 137 98,98 2 546 137 99,41 3 547 136 99,12 4 547 136 99,27 5 546 137 99,27 K = 5, C = 10, σ = 0,4

Validasi Ke Data Latih Data Uji Akurasi 1 615 68 99,71 2 615 68 98,98 3 615 68 99,71 4 615 68 99,71 5 615 68 99,56 6 614 69 99,27 7 615 68 99,27 8 615 68 99,41 9 614 69 99,71 10 614 69 99,56 K = 10; C = 10; σ = 0,4

Percobaan dilakukan pada

data Breast Cancer dengan

menggunakan parameter yang

tetap

C = 10

σ = 0,4

Percobaan dilakukan dengan

variasi 5-folds cross validation

dan 10 folds cross validation

(44)

Uji Coba

SVM-SA

Nomor C σ Folds Akurasi

1 32 0,1179 5 97,5 2 32 0,1 5 97,5 3 32 0,36 5 97,5 4 32 0,1 5 97,5 5 32 0,1467 5 97,5 6 32 0,2392 10 98,75 7 32 0,1 10 98,75 8 32 0,1 10 98,75 9 32 0,1 10 98,75 10 32 0,3782 10 98,75

• Percobaan data hepatitis

• parameter hasil optimasi SA

• Percobaan

dilakukan

dengan

variasi 5-folds cross validation dan

10 folds cross validation,

• Masing-masing minimal 5 kali

percobaan

5 97.5

Hasil akurasi untuk percobaan ini sama

akurat dibandingkan dengan percobaan

(45)

Uji Coba

Analisis Hasil Uji Coba SVM-SA

• Pada grafik, tampak bahwa

wilayah

puncak

yang

merupakan representasi dari

akurasi yang baik berada di

wilayah parameter

σ

yang

sempit (antara 0–0,5) untuk

berbagai

variasi

nilai

parameter C. Hal ini sesuai

dengan hasil akurasi pada

tabel

hasil

akurasi

baik

dengan

5 folds

cross

validation maupun 10 folds

cross validation.

0-0,5

(46)

Uji Coba

SVM-SA-Pembobotan Kernel

1 32 1,1989 5 97,50 2 32 0,7975 5 97,50 3 32 0,1 5 97,50 4 32 0,5028 5 97,50 5 32 0,3810 5 97,50 6 31,2915 2,1294 10 100 7 32 2,7103 10 98,75 8 32 0,1 10 98,75 9 32 1,6308 10 98,75 10 32 0,2758 10 98,75

• Percobaan data hepatitis

• Parameter hasil optimasi SA

• Implementasi pembobotan kernel

Gradient Descent

• Percobaan dilakukan dengan variasi

5-folds cross validation dan 10

folds cross validation,

• Masing-masing minimal 5 kali

percobaan

Percobaan Folds Akurasi terbaik

Awal 5 97.5

(47)

Uji Coba

SVM-SA

1 0,9 0,4 5 99,41

2 1,5 0,4 10 100

Percobaan dilakukan pada

data Breast Cancer dengan

menggunakan parameter hasil

optimasi SA

Percobaan dilakukan dengan

variasi 5-folds cross validation

dan 10 folds cross validation,

masing-masing minimal 1 kali

percobaan

5

_99.41

10

_99.71

• Akurasi maksimum untuk 5 folds cross validation sama dengan uji coba awal

namun didapatkan dari pasangan parameter yang berbeda.

• Akurasi yang dihasilkan 10 folds cross validation 0,29% lebih baik daripada

(48)

Uji Coba

SVM-SA-Pembobotan Kernel

1 4,2 0,1 5 96,49

2 7,921 0,3544 10 98,54

Percobaan dilakukan pada

data Breast Cancer dengan

menggunakan parameter hasil

optimasi SA

Percobaan dilakukan dengan

variasi 5-folds cross validation

dan 10 folds cross validation,

masing-masing minimal 1 kali

Percobaan

Percobaan Folds Akurasi terbaik

Awal 5 _99,41

Awal 10 _99,71

SVM – SA 5 _99,41 SVM - SA 10 ₁₀₀