ANALISIS AKURASI LEARNING VECTOR QUANTIZATION (LVQ) DAN PARTICLE SWARM OPTIMIZATION (PSO)
PADA KLASIFIKASI DATA
TESIS
AWALUDDIN DONGORAN 137038017
PROGRAM MAGISTER S2 TEKNIK INFORMATIKA
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA
MEDAN
2017
ANALISIS AKURASI LEARNING VECTOR QUANTIZATION (LVQ) DAN
PARTICLE SWARM OPTIMIZATION (PSO)PADA KLASIFIKASI DATA
TESIS
Diajukan untuk melengkapi tugas dan memenuhi syarat memperoleh ijazah Magister Teknik Informatika
AWALUDDIN DONGORAN 137038017
PROGRAM MAGISTER S2 TEKNIK INFORMATIKA
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA
MEDAN
2017
PERSETUJUAN
Judul Tesis : ANALISIS AKURASI LEARNING VECTOR
QUANTIZATION (LVQ) DAN PARTICLE SWARM OPTIMIZATION (PSO) PADA KLASIFIKASI DATA Kategori : TESIS
Nama Mahasiswa : AWALUDDIN DONGORAN
NIM : 137038017
Program Studi : MAGISTER TEKNIK INFORMATIKA
Fakultas : ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA
Komisi Pembimbing
Pembimbing 2, Pembimbing 1,
Dr. Zakarias Situmorang Prof. Dr. Muhammad Zarlis, M.Sc
Diketahui/disetujui oleh
Program Studi S2 Teknik Informatika Ketua,
Prof. Dr. Muhammad Zarlis, M.Sc NIP: 19570701 198601 1 003
PERNYATAAN
ANALISIS AKURASI LEARNING VECTOR QUANTIZATION (LVQ) DAN PARTICLE SWARM OPTIMIZATION (PSO)
PADA KLASIFIKASI DATA
TESIS
Saya mengakui bahwa tesis ini adalah hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya.
Medan, 3 Agustus 2017
Awaluddin Dongoran NIM. 1370380 17
PERNYATAAN PERSETUJUAN PUBLIKASI KARYA ILMIAH UNTUK KEPENTINGAN
AKADEMIS
Sebagai sivitas akademika Universitas Sumatera Utara, saya yang bertanda tangan dibawah ini:
Nama : Awaluddin Dongoran
NIM : 1370380 17
Program Studi : Magister Teknik Informatika Jenis Karya Ilmiah : Tesis
Demi pengembangan ilmu pengetahuan, menyetujui untuk memberikan kepada Universitas Sumatera Utara Hak Bebas Royalti Non-Eksklusif (Non-Exclusive Royalty Free Right) atas tesis saya yang berjudul:
ANALISIS AKURASI LEARNING VECTOR QUANTIZATION (LVQ) DAN PARTICLE SWARM OPTIMIZATION (PSO)
PADA KLASIFIKASI DATA
Beserta perangkat yang ada (jika diperlukan). Dengan Hak Bebas Royalti Non- Eksklusif ini, Universitas Sumatera Utara berhak menyimpan, mengalih media, memformat, mengelola dalam bentuk database, merawat dan mempublikasikan tesis saya tanpa meminta izin dari saya selama tetap mencantumkan nama saya sebagai penulis dan sebagai pemegang dan/atau sebagai pemilik hak cipta.
Demikian pernyataan ini dibuat dengan sebenarnya.
Medan, 3 Agustus 2017
Awaluddin Dongoran
NIM. 1370380 17
Telah diuji pada
Tanggal: 3 Agustus 2017
PANITIA PENGUJI TESIS
Ketua : Prof. Dr. Muhammad Zarlis, M.Sc Anggota : 1. Prof. Dr. Herman Mawengkang
2. Dr. Zakarias Situmorang 3. Dr. Syahril Efendi
RIWAYAT HIDUP
DATA PRIBADI
Nama Lengkap : Awaluddin Dongoran Tempat dan Tanggal Lahir : Sigambal, 09 Januari 1981
Alamat Rumah : Jln. Persatuan, gg.Iklas, No.12 C Sei Agul Medan Telepon/Fax/HP : 081360616688
Email : awaluddin.dongoran@gmail.com Instansi Tempat Bekerja : STMIK LOGIKA Medan
Alamat Kantor : Jln. Kol. Yos Sudarso Medan
DATA PENDIDIKAN
SD : SDN 112150 Rantauprapat TAHUN : 1994
SMP : SMP Negeri 2 Rantau Selatan TAHUN : 1997 SMA : SMA Negeri 5 Plus Rantauprapat TAHUN : 2000 S1 : Teknik Informatika STMIK Mikroskil Medan TAHUN : 2011 S2 : Teknik Informatika Universitas Sumatera Utara TAHUN : 2017
UCAPAN TERIMA KASIH
Puji syukur kepada Allah SWT memberikan anugrah yang luar biasa sehingga penulis dapat menyelesaikan tesis dengan judul: ANALISIS AKURASI LEARNING VECTOR QUANTIZATION (LVQ) DAN PARTICLE SWARM OPTIMIZATION (PSO) PADA KLASIFIKASI DATA.
Penulis menyampaikan terima kasih yang sebesar-besarnya kepada :
1. Bapak Prof.Dr Runtung Sitepu SH, M.Hum selaku Rektor Universitas Sumatera Utara.
2. Bapak Prof. Dr. Opim Salim Sitompul, M.Sc, selaku Dekan Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara.
3. Bapak Prof. Dr. Muhammad Zarlis, Ketua Program Studi Pascasarjana Teknik Informatika Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara Medan, sekaligus pembimbing I yang telah memberikan saran dan kritik dalam menyelesaikan tesis ini.
4. Bapak Dr. Zakarias Situmorang, selaku pembanding II yang telah banyak memberikan saran, masukan dan kritik dalam menyelesaikan tesis ini.
5. Bapak Prof. Dr. Herman Mawengkang, Pembanding I yang telah banyak memberikan bimbingan dan arahan dalam menyelesaikan tesis ini.
6. Bapak Dr. Syahril Effendi, Pembanding II yang telah banyak memberikan bimbingan dan arahan dalam menyelesaikan tesis ini
6. Bapak/Ibu Dosen Program Studi Pascasarjana Teknik Informatika Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara yang telah memberikan ilmunya selama masa perkuliahan.
7. Segenap sivitas akademika Program Studi Pascasarjana Teknik Informatika Sumatera Utara.
Ucapan terimakasih juga penulis sampaikan kepada :
1. Kedua Orangtua penulis Ayahanda Lindung Dongoran dan Ibunda Hafsah Sirega tercinta yang telah memberikan kasih sayangnya, doa yang tak pernah putus serta dorongan moril maupun materil kepada saya sehingga dapat menyelesaikan tesis ini dengan baik.
2. Istri tercinta Seri Rahmadani Harahap yang senantiasa memberi motivasi dan doa kepada penulis sehingga terselesaikannya tesis ini.
3. Kakak, Abang dan Adik kandung penulis yang telah banyak memberikan dorongan dan bantuan kepada saya sehingga dapat menyelesaikan tesis ini.
4. Edrian Hadinata, M.Kom ,terima kasih teman, engkau telah membawa pencerahan dalam penyelesaian tesis ini.
5. Teman seperjuangan dan rekan-rekan mahasiswa Program Studi Pascasarjana Teknik Informatika Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara khususnya angkatan reguler tahun 2013, dan semua pihak yang tidak dapat penulis sebutkan satu persatu pada tesis ini. Semoga Allah SWT Tuhan Semesta Alam membalas segala kebaikan dan bantuan yang telah diberikan.
Medan,3 Agustus 2017
Penulis,
Awaluddin Dongoran
137038017
viii
ABSTRAK
LVQ (Learning Vector Quantization) merupakan model jaringan saraf tiruan yang belajar secara otomatis pada lapisan kompetitif untuk mengklasifikasikan vektor input ke dalam kelasnya. Kelas yang dihasilkan tersebut tergantung pada jarak vektor input, diambil dari jarak minimum-nya, selanjutnya akan dijadikan sebagai vektor bobot dan vektor input baru. Apabila ditemukan dua vektor yang hampir sama maka lapisan kompetitif tersebut akan mengklasifikasikan vektor input ke dalam kelas yang sama.
Dalam penelitian ini, model PSO (Partikel Swarm Optimization) juga digunakan untuk klasifikasi data. PSO, secara iteratif akan melakukan training untuk menyesuaikan posisi partikel (protoype), setelah ditemukan prototype yang optimal, model ini akan digunakan mengenali data input baru untuk memprediksi kelas mana yang sesuai dengan data input tersebut. Algoritma PSO akan menempatkan prototype pada dalam ruang input untuk dipetakan ke dalam masing-masing kelas. Kemudian LVQ1 digunakan untuk menyesuaikan posisi prototype sehingga meminimalisir error.
Hasil pengenalan pola, dalam hal ini nilai akurasi dari masing-msaing model yaitu LVQ dan PSO Klasifikasi akan dinalisis dan dibandingkan satu sama lain pada dataset Iris yang diperoleh dari UCI Repository. Akurasi yang diperoleh dengan algoritma LVQ 98,00% dan dengan algoritma PSO 99,33% untuk dataset iris.
Kata Kunci : LVQ, PSO ,Klasifikasi, Pengenalan Pola.
ANALYSIS ACCURACY OF DATA CLASSIFICATION BASED ON PARTICLE SWARM OPTIMIZATION (PSO) AND
LEARNING VECTOR QUANTIZATION (LVQ)
ABSTRACT
LVQ (Learning Vector Quantization) is an artificial neural network model that automatically learns on a competitive layer to classify input vectors into its class. The resulting class depends on the distance of the input vector, taken from its minimum distance, then it will be used as the weight vector and the new input vector. when two identical vectors are found, the competitive layer will classify the input vectors into the same class. PSO (Particle Swarm Optimization) model is also used for data classification. PSO, iteratively will do the training to adjust the position of the particle (protoype), after found the optimal prototype, this model will be used to recognize the new input data to predict which class corresponds to the input data. The PSO algorithm will place the prototype into the input space for mapping into each class.
Then LVQ1 is used to adjust the position of the prototype so as to minimize the error.
The pattern recognition results, in this case, the accuracy values of each model, LVQ and PSO, will be analyzed and compared to each other on the Wine and Iris dataset obtained from UCI Repository.
Keyword: Neural Network, LVQ, PSO, Classification
DAFTAR ISI
Hal.
HALAMAN JUDUL ………. i
PERSETUJUAN ……… ii
PERNYATAAN ORISINALITAS ……… iii
PERSETUJUAN PUBLIKASI ………. iv
PANITIA PENGUJI ……… v
RIWAYAT HIDUP ……….. vi
UCAPAN TERIMA KASIH .………..……. vii
ABSTRAK ……… ix
ABSTRACT ………. x
DAFTAR ISI ………... xi
DAFTAR GAMBAR ... xii
DAFTAR TABEL ………. xii
BAB 1 PENDAHULUAN 1.1. Latar Belakang Masalah ……… 1
1.2. Rumusan Masalah ……… 2
1.3. Batasan Masalah ………. 2
1.4. Tujuan Penelitian ……… 2
1.5. Manfaat Penelitian ……….. 3
BAB 2 LANDASAN TEORI 2.1. Particle Swarm Optimization (PSO)……… 4
2.2. Algoritma PSO ………... 5
2.3. Classifier ... ……….……... 7
2.4. Jaringan Saraf Tiruan...……… 7
2.5. Learning Vector Quantization (LVQ) ……….… 8
2.5.1. Algoritma LVQ1 ……… 9
2.5.2. Algoritma LVQ2.1 ……… 10
2.5.3. LVQ3…... ……… 11
2.5.4. Optimized-Learning Rate LVQ1 (OLVQ1) ……… 11
2.6. Akurasi…... ……… 11
BAB 3 METODOLOGI PENELITIAN 3.1. Pendahuluan ……….. 12
3.2 Dataset...……….………. 13
3.3. Pembelajaran LVQ...……….………. 14
3.4. Klasifikasi Particel Swarm...……… 18
3.5. Algoritma Klasifikasi PS... ..………..…… 19
3.6. Akurasi...……….………..……… 21
BAB 4 HASIL DAN PEMBAHASAN 4.1. Pendahuluian ……… 22
4.2. Hasil Pembelajaran LVQ...……….………… 22
4.3. Hasil Pembelajaran PSO…... 24
4.4. Pembahasan …... ………..……… 27
BAB 5 KESIMPULAN DAN SARAN 5.1. Kesimpulan……….. …....………... 29
5.2. Saran ... 29
DAFTAR PUSTAKA ……….……… 30
DAFTAR GAMBAR
Hal.
Gambar 3.1 Diagram Blok Penelitian... ……… 14
vii
DAFTAR TABEL
Hal.
Tabel 3.1. Deskripsi Statistik Dataset Iris...……….. 13
Tabel 3.2. Data Latih... ………. 15
Tabel 3.3. Vektor Bobot Awal...……… 16
Tabel 3.4. Bobot Baru ke-1... ……….. 17
Tabel 3.5. Bobot Baru ke-2...………. 17
Tabel 3.6. Bobot Baru ke-147... ………. 18
Tabel 4.1. Data Latih...……… 22
Tabel 4.2. Bobot dengan neuron=3... ……….. 23
Tabel 4.3. Bobot dengan neuron=4……… 23
Tabel 4.4. Akurasi dengan menaikkan nilai neuron...……… 23
Tabel 4.5. Akurasi dengan mengubah nilai alpha ……… 23
Tabel 4.6. Akurasi dengan mengubah nilai iterasi ……… 24
Tabel 4.7. Inisialisasi 5 Random Partikel ……… 24
Tabel 4.8. Inisialisasi 5 Random Velocity ……… 25
Tabel 4.9. Data latih...……… 25
Tabel 4.10. Fitness Iterasi Pertama..……… 26
Tabel 4.11. Pbest dan Gbest...……… 26
Tabel 4.12. Akurasi dengan mengubah nilai Iterasi ……… 27
Tabel 4.13. Akurasi dengan mengubah nilai Partikel ……… 27
Tabel 4.14. Akurasi dengan mengubah nilai omega……… 27 viii
BAB 1 PENDAHULUAN
1.1. Latar Belakang Masalah
Ada banyak metode Jaringan Saraf Tiruan (JST) yang sering digunakan dalam pengambilan keputusan baik supervised learning method maupun unsupervised learning method, salah satunya adalah Learning Vector Quantization (LVQ). LVQ disebut sebagai Competitive Learning Neural Network dimana proses training-nya berdasarkan kompetisi yakni yang menang akan dipakai / dikelompok ke input data.
[Mehmed Kantardzic 2003]. LVQ dibangun dan diterapkan biasanya pada proses klasifikasi ataupun pada kluster. Kluster adalah menemukan kriteria pembagi untuk membagi sekelompok data dan memasukkan data kedalam kluster yang tepat. Secara lebih ringkas metode kluster adalah metode pengelompokan berdasarkan kedekatan dari karakteristik tertentu. [Ripley 1996].
Klasifikasi data adalah salah satu tugas terpenting dalam data mining, yang diterapkan pada database untuk memberi label dan menggambarkan karakteristik objek masukan baru yang labelnya tidak diketahui. Umumnya, tugas ini membutuhkan model classifier, yang didapat dari contoh objek dari database, yang labelnya diketahui. Proses membangun model seperti itu disebut pembelajaran atau pelatihan dan mengacu pada penyesuaian parameter algoritma sehingga dapat memaksimalkan kemampuan generalisasinya. Proses training pada LVQ sangat baik dalam membangun kluster berdasarkan kompetisi, dimana selama training, unit yang memiliki bobot vektor terdekat ke input pattern dinyatakan sebagai pemenang.
Pada penelitian (D. W. van der Merwe dan P. Engelbrecht, 2003), berjudul Data clustering using particle swarm optimization, memperoleh hasil cukup bagus dalam clustering data iris dengan error 0,774 oleh PSO dan K-means 0,649 dan 0,633 untuk algoritma Hibrid.
2
Penelitian (Mahamed G.H Omran et al, 2007) berjudul Dynamic Clustering using Particle Swarm Optimization with Application in Unsupervised Image classification, mendapatkan hasil yang cukup bagus dalam pengenal pola unsupervised pada citra.
Penelitian (Basu et al, 2010) pada Use of Artificial Neural Network in Pattern Network, meskipun ada beberapa kelebihan dan kekurangan pada penerapan kecerdasan buatan dalam pengenalan pola, selalu diperoleh hasil yang lebih baik dari pada tanpa menggunakan jaringan syaraf tiruan.
Berdasarkan uraian di atas, Penulis melakukan penelitian dengan meganalisis akurasi klasifikasi data menggunakan LVQ dan PSO yang berjudul Analsis Akurasi Learning Vector Quantization (LVQ) dan Particle Swarm Optimization (PSO) pada Klasifikasi Data. Pada penelitian ini, masing-masing metode akan melakukan latihan dalama mengklasifikasikan data, kemudian akan dianalisis tingkat akurasi yang dihasilkan.
1.2. Rumusan Masalah
Berdasarkan latar belakang yang dijelaskan, maka permasalahan yang di analisis adalah:
1. Model Pelatihan PSO dalam pengklasifikasian data.
2. Model pelatihan jaringan saraf tiruan LVQ untuk klasifikasi data.
3. Menganalisis akurasi pengenalan pola pada jaringan saraf tiruan
1.3. Batasan Masalah
Dalam penelitian ini terdapat beberapa batasan pembahasan yang dilakukan, antara lain:
1. Teknik dan metode yang menjadi fokus penelitian adalah Particle Swarm Optimization (PSO) dan Learning Vector Quantization (LVQ).
2. Ukuran kemiripan menggunakan Euclidean distance dalam klasifikasi.
1.4. Tujuan Penelitian
3
Tujuan penelitian ini adalah mengetahui sejauh mana tingkat akurasi pengenalan pola (klasifikasi data) dari masing-masing metode LVQ dan PSO dan faktor-faktor apa saja yang memberikan pengaruh pada perubahan tingkat akurasi tersebut.
1.5. Manfaat Penelitian
Manfaat yang didapat dari penelitian ini adalah ditemukannya faktor dalam model LVQ dan model PSO yang memberikan pengaruh terhadap perubahan akurasi pengenalan pola pada proses klasifikasi data.
5
BAB 2
TINJAUAN PUSTAKA
2.1. Particle Swarm Optimization (PSO)
Particle swarm merupakan teknik optimasi berdasarkan populasi yang dibangun oleh James Kennedy dan Russ Eberhart di tahun 1995, yang terinspirasi dari perilaku sekawanan burung atau ikan. Setiap solusi dalam ruang jawab optimasi berbasis particle swarm akan disebut ”partikel”. Semua partikel akan dievaluasi oleh fungsi kecocokan untuk dioptimalkan, dan memiliki velocity yang akan mengarahkan pergerakan partikel.
James Kenedy dan Russel Ebenhart memperkenalkan Particle Swarm Optimization (PSO) pada sebuah paper dengan judul yang sama pada tahun 1995,dengan paper kedua berjudul A new Optimizer Using Particle Swarm Theory juga pada tahun yang sama dengan menggunakan C.W. Reynolds’ 1987 (Flocks, herds, and schools : a distributed behavioral model), perintis algoritma untuk animasi flock-like (kawanan burung) sebagai referensi, Reynold menggunakan jarak antara individu-individu di dalam kawanan untuk mempengaruhi arah gerak dari masig- masing individu. Algoritma tersebut kemudian menjadi komponen utama dalam algoritma PSO. Walaupun Kennedy dan Eberhart memulai model dengan kawanan burung, ternyata dalam pengembangannya model algoritma ini lebih mirip dengan model kawanan lebah yang didefinisikan oleh M. M. Millonas pada papernya dengan judul Swarms, Phase Transition ,and Collective Inteligence (1994). Milonas mendefinisikan lima prinsip kecerdasan kawanan lebah yaitu proximity (kemampuan kawanan untuk membentuk ruang dan komputasi waktu yang sederhana), quality (kemampuan kawanan untuk merespon perubahan kualitas lingkungan), diverse response (kecenderungan kawanan untuk menghindari komputasional saluran yang panjang), stability (momentum pada kawanan seperti daya tahan kawanan ketika bereaksi pada perubahan-perubahan kecil atau temporal, dan adaptability (sebagai sebuah counter untuk prinsip stability, kawanan harus dapat berubah ketika merespon perubahan lingkungan).
6
Menurut Kennedy dan Ebenhart, algoritma PSO memiliki prinsip-prinsip yang sama. Metode ini menggunakan sekumpulan partikel yang bekerjasama, dimana masing-masing partikel merepresentasikan satu kandidat solusi, untuk mengeksplorasi solusi-solusi yang memungkinkan bagi permasalahan optimasi. Masing-masing partikel diinisialisasi secara acak, kemudian partikel-partikel tersebut diperbolehkan untuk “terbang”. Pada setiap langkah optimasi, masing-masing partikel akan mengevaluasi kemampuannya dan kemampuan partikel-partikel disekitarnya. Masing- masing partikel dapat menyimpan solusi yang menghasilkan kemampuan terbaik sebagai salah satu kandidat solusi terbaik untuk semua partikel disekitarnya.
2.2. Algoritma PSO
Pada versi yang paling mendasar, optimasi berbasis particle swarm dimulai dengan menginisialisasi populasi partikel-partikel secara acak lalu kemudian mencari yang paling optimal. Partikel ini merupakan representasi dari calon solusi untuk permasalahan. Setiap partikel tersebut memiliki kemampuan sebagai berikut:
• kemampuan untuk bertukar informasi satu sama lain.
• kemampuan untuk mengingat posisi sebelumnya masing-masing.
• kemampuan untuk menggunakan informasi untuk mengambil keputusan.
Metode ini akan terus melakukan iterasi sampai kondisi yang diharapkan tercapai (kondisi optimal). Pada tiap iterasi, tiap partikel diperbaharui oleh dua nilai, yang merupakan nilai terbaik. Yang pertama adalah nilai terbaik yang telah dicapai tiap-tiap partikel, disebut sebagai pbest. Nilai yang lain adalah nilai terbaik secara keseluruhan yang dimiliki oleh partikel manapun dalam populasi, nilai ini disebut gbest.
Setelah mendapatkan dua nilai terbaik tersebut, partikel memperbaharui velocity dan posisinya masing-masing dengan persamaan berikut:
𝑣! 𝑡 = 𝑣! 𝑡 − 1 + 𝑐!𝑟! 𝑥!"− 𝑥! + 𝑐!𝑟! 𝑥!− 𝑥! 2.1 𝑥! 𝑡 = 𝑥! 𝑡 − 1 + 𝑣! 𝑡 (2.2)
7
Dimana:
𝑖 = Indeks Partikel
𝑣!= Velocity Partikel ke-i 𝑥!= Posisi Partikel ke-i
𝑥!"= Posisi terbaik dari semua partikel (gbest) 𝑥!"= Posisi terbaik dari partikel ke-i (pbest) 𝑐!,!= Learning rate
𝑟!,!= Bilangan acak U[0,1]
Dapat dilihat pada persamaan pembaharuan velocity, terdapat 3 term yang membentuk velocity. Yang pertama adalah inertia term, 𝑣! 𝑡 − 1 . Term ini memaksa partikel untuk bergerak ke arah yang sama dengan arah pada pergerakan (iterasi) sebelumnya. Yang kedua adalah cognitive term, 𝑐!𝑟! 𝑥!" − 𝑥! . Term ini memaksa paticle untuk kembali kepada posisi terbaik nya. Yang ketiga adalah social term, 𝑐!𝑟! 𝑥!"− 𝑥! . Term ini memaksa partikel untuk bergerak ke posisi terbaik dari semua partikel.
Studi lebih lanjut mengenai optimasi berbasis particle swarm di tahun 1999 menambahkan inertia (𝜔) dalam persamaan pembaharuan velocity. Persamaan ini kemudian menjadi algoritma optimasi berbasis particle swarm yang paling umum digunakan:
𝑣! 𝑡 = 𝜔𝑣! 𝑡 − 1 + 𝑐!𝑟! 𝑥!"− 𝑥! + 𝑐!𝑟! 𝑥!"− 𝑥! (2.3)
namun sistem ini bisa membuat partikel menjadi tidak stabil, disebabkan kecepatan nya yang tidak terkontrol. Teknik standard yang digunakan untuk menangani hal ini adalah membatasi velocity, 𝑣! ∈ −𝑉!"#, +𝑉!!" .
Studi yang dilakukan Clerc dan Kennedy di tahun 2002 memberikan persamaan yang dimodifikasi menjadi:
𝑣! 𝑡 = 𝑘(𝑣! 𝑡 − 1 + 𝑐!𝑟! 𝑥!"− 𝑥! + 𝑐!𝑟! 𝑥!"− 𝑥! ) (2.4)
8
Dimana k (koefisien constriction) merupakan sebuah konstanta, yang jika dipilih dengan benar akan menjanjikan kestabilan dari optimasi berbasis particle swarm tanpa perlu membatasi velocity.
Langkah-langkah untuk prosedur optimasi berbasis particle swarm adalah sebagai berikut:
1. bentuk populasi awal dari partikel
2. hitung nilai fitness tiap partikel, jika lebih baik dari nilai fitness selama proses berjalan, set nilai tersebut sebagai pbest.
3. pilih partikel dengan nilai fitness terbaik, set nilai partikel ini sebagai gbest.
4. untuk setiap partikel:
a. hitung velocity berdasarkan fungsi update velocity
b. perbaharui posisi partikel berdasarkan fungsi update posisi
5. berhenti jika kondisi yang diharapkan tercapai. Jika belum, kembali ke langkah 2
2.3 Classifier
Dalam permasalahan klasifikasi, classfier bisa dideskripsikan sebagai suatu objek pemroses pembelajaran yang dapat digunakan untuk memetakan suatu ruang (baik itu bersifat diskrit atau kontinyu ) ke dalam set label yang bersifat diskrit. Dalam pengenalan pola ruang ciri didefinisikan sebagai suatu ruang abstrak dimana masing- masing sampel pola direpresentasikan sebagai sebuah poin dalam ruang n- dimensional.
Classifier digunakan untuk mengidentifikasi objek berdasarkan perhitungan tertentu dari suatu data, dimana setelah melewati tahap pembelajaran dapat menghasilkan identifikasi yang sifatnya paling mirip atau dapat juga menghasilkan distribusi peluang untuk semua kemungkinan identifikasi. Sistem pada classifier dapat dilihat sebagai sebuah sistem keputusan yang akan menerima sebuah nilai dari beberapa karakteristik dan ciri dari suatu objek sebagai input untuk kemudian diproses dan menghasilkan output diskrit berdasarkan set labelnya.
9
2.4 Jaringan saraf tiruan
Jaringan syaraf tiruan (JST) adalah jaringan dari sekelompok unit pemroses kecil (neuron) yang dimodelkan berdasarkan jaringan saraf manusia. Jaringan saraf tiruan tersusun atas elemen-elemen sederhana yang beroperasi secara parallel. Fungsi alami dari jaringan ini ditentukan oleh hubungan antar elemen. Jaringan saraf tiruan dapat dilatih untuk memecahkan suatu fungsi tertentu dengan mengatur nilai bobot koneksi antar neuron. Secara umum JST dilatih sehingga masukan yang diberikan dapat sama dengan target yang diinginkan atau jika tidak bisa sama, selisih (error) antara masukan dengan target diharapkan dapat mencapai nilai tertentu.
Pelatihan dengan menggunakan pasangan masukan atau target disebut dengan teknik pembelajaran terawasi (Supervised Learning). Walaupun kebanyakan jaringan saraf tiruan dijalankan dengan teknik pembelajaran terawasi, namun kebanyakan jaringan saraf tiruan juga dapat dijalankan dengan teknik lain, yaitu Pembelajaran Tak Terawasi (Unsupervised Learning). Karena pada tugas akhir ini digunakan teknik pembelajaran terawasi, maka pembahasan jaringan saraf tiruan pada bab ini difokuskan pada jaringan saraf tiruan dengan teknik pembelajaran terawasi.
Jaringan Saraf Tiruan (JST) merupakan sistem pemrosesan data/informasi meniru sistem jaringan saraf makhluk hidup (biological neural network) yang dikembangkan menjadi model matematik berdasarkan asumsi-asumsi bahwa:
a. Pemrosesan informasi terjadi pada setiap elemen yang disebut sebagai neuron.
b. Sinyal-sinyal akan dilewatkan diantara neuron yang disebut sebagai Connection Link.
c. Setiap Connection Link memiliki bobot (weight) yang bersesuaian.
d. Masing-masing neuron diuji menggunakan fungsi aktivasi setiap elemen inputnya untuk menentukan sinyal outputnya.
Jaringan saraf tiruan (JST) terdiri dari sejumlah elemen sebagai pemroses data yang disebut sebagai neuron, unit, cell atau nodes. Masing-masing neuron terkoneksi satu sama lain oleh sebuah link yang memiliki weight di setiap link nya. Weight merupakan informasi yang akan digunakan jaringan untuk menyelesaikan setiap masalah (problem) yang ada.
10
2.5. Learning Vector Quantization (LVQ)
Learning Vector Quantization (LVQ) adalah sebuah metode klasifikasi dimana setiap unit output mempresentasikan sebuah kelas. LVQ digunakan untuk pengelompokkan dimana jumlah kelompok sudah ditentukan arsitekturnya (target/kelas sudah ditentukan).
LVQ salah satu jaringan syaraf tiruan yang merupakan algoritma pembelajaran kompetitif terawasi versi dari algoritma Kohonen Self-Organizing Map (SOM).
Tujuan dari algoritma ini adalah untuk mendekati distribusi kelas vektor untuk meminimalkan kesalahan dalam pengklasifikasian.
Algoritma diusulkan oleh Kohonen pada tahun 1986 sebagai perbaikan dari Vector Quantization. Model pembelajaran LVQ dilatih secara signifikan agar lebih cepat dibandingkan algoritma lain seperti Back Propagation Neural Network. Hal ini dapat meringkas atau mengurangi dataset besar untuk sejumlah kecil vektor.
LVQ melakukan pembelajaran pada lapisan kompetitif yang terawasi. Lapisan kompetitif akan secara otomatis belajar untuk mengklasifikasikan vector-vector input.
Kelas-kelas yang didapat sebagai hasil dari lapisan kompetitif ini hanya tergantung pada jarak antara vector-vector input. Jika vektor input mendekati sama maka lapisan kompetitif akan mengklasifikasikan kedua vektor input tersebut kedalam kelas yang sama.
Dalam pengenalan wajah, sistem sudah mengetahui bentuk atau fitur wajah tertentu, dan LVQ digunakan untuk mengenali dengan mengklasifikasi fitur wajah tersebut (identifikasi/verifikasi). Nilai vektor reference mirip dengan input vektor x menjadi wc. wc dan x akan berada pada kelas yang sama. Persamaannya sebagai berikut:
wc (t + 1) = wc(t) + α(x(t) − wc(t)) (2.5)
Ketika wc dan x berada pada kelas yang berbeda, maka persamaannya seperti berikut:
wc (t + 1) = wc(t) − α(x(t) − wc(t)) (2.6)
maka wc akan dihapus dari x. Dimana , t adalah waktu dan α adalah learning coefficient yang nilainya : 0 < α < 1.
11
2.5.1. Algoritma LVQ1
Algorima LVQ memiliki banyak varians. Standar LVQ disebut juga dengan algoritma LVQ1. Karakteristik dari LVQ1 adalah bahwa codevector (prototype) atau sering disebut dengan bobot ditempatkan ke dalam ruang input untuk mendekati berbagai domain vektor input melalui kuantisasi nilai bobot masing-masing. Biasanya beberapa vektor codebook ditugasi ke masing-masing kelas dari vektor input x. Kemudian vektor input x ditentukan apakah masuk kedalam kelas yang sama dengan bobot (codebook vector) atau tidak. Untuk menentukan seberapa besar kedekatan antara vektor input dengan vektor bobot, diperoleh dari mengukur jarak terdekat dengan formula yang biasa disebut Euclidean Distance.
𝛿 = !!!! 𝑥!− 𝜔! ! (2.7)
Misalkan 𝑥!(𝑡) adalah input dan 𝜔!(𝑡) merupakan bobot pada waktu tertentu, maka vektor bobot akan diupdate seperti persamaan 2.5 jika keduanya berada pada kelas yang sama, dan sebaliknya persamaan 2.6 jika keduanya berada pada kelas berbeda.
Nilai alpa bisa konstan atau berkurang (decremental). Biasanya nilai alpa dimulai dari 0.1 untuk mendapatkan perubahan vektor bobot yang bisa diamati.
2.5.2. Algoritma LVQ2.1
Jenis LVQ berikutnya adalah LVQ2.1 yang tugasnya sama dengan LVQ1 yaitu untuk mengambil keputusan dalam mengklasifikasikan data. Bedanya dengan LVQ1 adalag bahwa LVQ2.1 diinisialisasi dengan dua vektor bobot, katakanlah 𝜔! dan 𝜔! yang memiliki nilai kedekatan yang sangat kecil dengan input x. Bobot yang satu diupdate jika berada dalam kelas yang sama dan bobot satu lagi diupdate jika berada pada kelas yang berbeda. Kedua bobot diupdate secara bersamaan (simultan). Input x akan diletakkan pada sebuah area yang disebut dengan “window” w yang berada ditengah- tengah 𝜔! dan 𝜔! . Diasumsikan 𝛿! dan 𝛿! adalah Ecluidean Distance input x ke 𝜔! dan 𝜔!.
12
min !!!
! , !!!
! > 𝑠, 𝑑𝑖𝑚𝑎𝑛𝑎 𝑠 = !!!!!! (2.8) W adalah lebar window, yang nilainya berada diantara 0,2 sampai 0,3.
𝜔! 𝑡 + 1 = 𝜔! 𝑡 − 𝛼[𝑥 𝑡 − 𝜔! 𝑡 ] (2.9) 𝜔! 𝑡 + 1 = 𝜔! 𝑡 + 𝛼[𝑥 𝑡 − 𝜔! 𝑡 ] (2.10)
Persamaan 2.9 jika bobot dan input berada dalam kelas yang berbeda, dan persamaan 2.10 jika bobot dan input berada dalam kelas yang sama.
2.5.3. LVQ3
LVQ3 merupakan modifikasi dari LVQ2.1, dimana kedua vektor bobot diupdate secara bersamaan dan nilai x ditentkan oleh besar ukuran window w. Formula untuk window w pada LVQ3 sedikit berbeda.
𝜔! 𝑡 + 1 = 𝜔! 𝑡 + 1 + 𝜀. 𝛼(𝑡)[𝑥 𝑡 − 𝜔! 𝑡 ] (2.11)
Untuk k dalam {i,j}, jika x, 𝜔!, 𝜔! berada dalam kelas yang sama. Dalam beberapa percobaan nilai efsilon berkisar antara 0.1 dan 0.5.
2.5.4. Optimized-Learning Rate LVQ1 (OLVQ1)
Pada algoritma OLVQ1 ini, learning rate alpa diberikan pada tiap-tiap bobot 𝝎𝒊. Persamaan 2.12 Jika x diklasifikasikan dengan benar.
𝜔! 𝑡 + 1 = 𝜔! 𝑡 + 1 + 𝛼(𝑡)[𝑥 𝑡 − 𝜔! 𝑡 ] (2.12) 𝜔! 𝑡 + 1 = 𝜔! 𝑡 + 1 − 𝛼(𝑡)[𝑥 𝑡 − 𝜔! 𝑡 ] (2.13)
Sedangkan persamaan 2.13 jika x diklasifikasikan dengan salah.
2.6. Akurasi
Training sample diasumsikan sebagai distribusi dari testing sampel termasuk distribusi dari data baru (unclassifies sample) yang ingin diduga kelas labelnya. Untuk mendapat akurasi yang baik saat mengklasifikasi testing data, training set harus
13
merepresentasikan keadaan data tes. Jika tidak, maka akurasi biasanya rendah.
(Figliola, 2011).
Dari proses pengenalan pola jaringan syaraf tiruan Learning Vector Quantization (LVQ) menggunakan algoritma genetika, dapat dianalisa dengan persamaan berikut :
% 𝑎𝑘𝑢𝑟𝑎𝑠𝑖 = !"! !"#$ !"#$ !"#$%&'" !"#$%
!"! !"#$ !"#$ !"#$" ×100% (2.14)
BAB 3
METODOLOGI PENELITIAN
3.1. Pendahuluan
Pengenalan pola (pattern recognition) adalah proses klasifikasi dari suatu objek atau pola menjadi beberapa kategori atau kelas, yang mana bertujuan untuk memberikan informasi. Pola merupakan bentuk atau model yang dapat dipakai untuk membuat atau menghasilkan suatu bagian dari sesuatu yang ingin dikenal. Salah satu pendekatan pengenalan pola adalah dengan menggunakan jaringan syaraf tiruan, yang mana jaringan syaraf tiruan memiliki cara kerja yang menyerupai cara kerja otak manusia.
Salah satu metode jaringan syaraf tiruan adalah Learning Vector Quantiztion (LVQ), yang metode pelatihannya pada lapisan kompietitf terawasi yang akan belajar secara otamatis. Untuk meningkatkan akurasi pembelajaran pada LVQ perlu dilakukan optimalisasi pada LVQ sebelum dilakukan pengujian.
Algoritma optimasi yang digunakan pada penelitian ini adalah algoritma Paticle Swarm Optimization (PSO). Algoritma PSO, pada dasarnya mencari sebuah solusi optimal yang direpresentasikan dalam sekumpulan partikel. Pada penelitian ini, PSO akan melakukan pelatihan pada jaringan saraf tiruan LVQ sehingga mampu meningkatkan akurasi dalam pengklasifikasikan data. Proses klasifikasi data masuk kedalam domain supervised learning, dimana input dan target diketahui. Sehingga dataset yang digunakan untuk eksperimen ini adalah dataset yang sudah pernah diklasifikasikan oleh peneliti sebelumnya. Gambar 3.1a merupakan alur pengklasifikasian data menggunakan PSO dan gambar 3.1b merupakan pengklasifikasian data menggunakan LVQ.
13
3.2. DataSet
Dataset yang digunakan dalam penelitian ini adalah data Iris Plants Database. Dataset dapat dilihat di repositori UCI Machine Learning pada website https://archive.ics.uci.edu/ml/machine-learning/databases/iris/iris.names.
Jumlah atribut 4 atribut numerik, dan 1 atribut polinominal (atribut label/kelas).
Adapun atribut-atribut pada dataset iris, sebagai berikut:
1. Sepal length dalam centimeter 2. Sepal width dalam centimeter 3. Petal length dalam centimeter 4. Petal width dalam centimeter 5. Kelas:
- Iris Setosa - Iris Versicolor - Iris Virginica
Tabel 3.1 Deskripsi Statistik Dataset Iris
Atribut Min Max Mean SD Class Correlation Sepal length 4.3 7.9 5.84 0.83 0.7826
Sepal Width 2.0 4.4 3.05 0.43 -0.4194 Petal Length 1.0 6.9 3.76 1.76 0.9490 Petal Width 0.1 2.5 1.20 0.76 0.9565
Banyak data (jumlah instance) dataset iris adalah 150.
14
Gambar 3.1. Diagram Blok Penelitian
3.3. Pembelajaran LVQ
Algoritma LVQ adalah langkah-langkah yang dilakukan untuk proses pembelajaran sehingga menghasilkan keluaran berupa vektor bobot yang akan diuji untuk pengenalan pola.
a. Tetapakan: bobot (W), maksimum epoch (maxEpoch), error minimum yang diharapkan (Eps), Learning rate (𝛼).
b. Masukan:
1. Input : x(m,n) 2. Target: (1,n)
c. Tetapkan kondisi Awal:
1. Epoch: 0
Dataset
Clustering Prototype (unsupervised)
Dataset
Penyesuaian Posisi prototype
Training LVQ
Testing LVQ
Analisis Akurasi
Hasil (Klasifikasi) Klasifikasi oleh Partcles
Swarm
Hasil (Klasifikasi)
A B
15
2. Eps: misalnya (0,01)
d. Tentukan jika: epoch < maxEpoch atau ( e < Eps ) 1. Epoch = Epoch + 1
2. Kerjakan untuk i = 1 sampai n
a. Tentukan j sedemikian hingga 𝑥 − 𝑤! minimum (sebut sebagai 𝐶!) b. Perbaiki 𝑤! dengan ketentuan:
- Jika T = 𝐶!, maka
𝑤! 𝑡 + 1 = 𝑤!+ 𝛼(𝑥 − 𝑤!) (3.1) - Jika T ≠ 𝐶!, maka
𝑤! 𝑡 + 1 = 𝑤!− 𝛼 𝑥 − 𝑤! (3.2) 3. Kurangi nilai 𝛼
Tahap pertama algoritma pembelajaran LVQ yaitu menentukan bobot awal (initial vector references). Bobot awal pada pembelajaran LVQ diambil secara random dari dataset yang akan dilatihkan. Bobot awal mewakili tiap kelas yang menjadi target pembelajaran. Dataset klasifikasi terdiri dari 3 (tiga) buah kelas. Vektor bobot (referensi awal) diambil secara random dari datalatih. Tiap-tiap kelas terdiri satu instans bobot yang mewakili yang ada pada tabel 3.3, kemudian sisanya dijadikan data latih. Dengan kata lain, dari 150 instan diambil 3 instan untuk bobot referensi maka jumlah data latih sebanyak 147 instan seperti yang terlihat pada tabel 3.2.
Tabel 3.2 Data Latih No Sepal
Length Sepal
Width Petal
Length Sepal
Length Kelas 1 5,1 3,5 1,4 0,2 Iris-setosa
2 4,9 3 1,4 0,2 Iris-setosa
... ... ... ... ... ...
... 7 3,2 4,7 1,4 Iris-versicolor ... .... .... ... ... ...
147 5,8 2,7 5,1 1,9 Iris-virginica
16
Tabel 3.3 Vektor bobot awal No Atr1 Atr2 Atr3 Atr4 Kelas
1 5,1 3,5 1,4 0,2 Iris-setosa 2 7 3,2 4,7 1,4 Iris-versicolor 3 6,3 3,3 6 2,5 Iris-virginica
Berikut ini disajikan contoh pembelajaran yang dilakukan oleh LVQ.
Misalkan besar alpha 𝛼 = 0,05, dan penurunannya 0,1, sehingga update apha tiap iterasi seperti pada persamaan 3.1.
𝛼 𝑡 = 𝛼 𝑡 − 1 − 0,1 ∗ 𝛼(𝑡 − 1) (3.3) Epoch = 1 :
Untuk data latih ke -1 sampai data latih ke-147
Hitung jarak (Euclidean distance) 𝐶! dengan persamaan 3.1 berikut ini.
𝐶 = !!!! 𝑥!− 𝜔! ! (3.4)
Data ke-1 :
𝐶! = 4,9 − 5,1 !+ 3 − 3,5 !+ 1,4 − 1,4 !+ 0,2 − 0,2 ! = 0,538 𝐶! = 4,9 − 7 !+ 3 − 3,2 !+ 1,4 − 4,7 ! + 0,2 − 1,4 ! = 4,096 𝐶! = 4,9 − 6,3 !+ 3 − 3,3 !+ 1,4 − 6 ! + 0,2 − 2,5 ! = 5,338 Dari perhitungan jarak diatas, maka yang memiliki jarak terkecil adalah 𝐶!. Kemudian 𝐶! akan diupdate dengan ketentuan, jika 𝐶! dan T berada pada kelas yang sama maka diudate dengan persamaan 3.1.
𝑤!! 𝑡 + 1 = 5,1 + 0,05 4,9 − 5,1 = 5,09 𝑤!" 𝑡 + 1 = 3,5 + 0,05 3 − 3,5 = 3,475 𝑤!" 𝑡 + 1 = 1,4 + 0,05 1,4 − 1,4 = 1,4 𝑤!" 𝑡 + 1 = 0,2 + 0,05 0,2 − 0,2 = 0,2
4,9 3 1,4 0,2 Iris-setosa
17
Sehingga bobot baru yang terbentuk ada pada tabel 3.4.
Tabel 3.4 Bobot baru ke-1
W Atr1 Atr2 Atr3 Atr4 Kelas 1 5,09 3,475 1,4 0,2 Iris-setosa 2 7 3,2 4,7 1,4 Iris-versicolor 3 6,3 3,3 6 2,5 Iris-virginica
Untuk perhitungan jarak data berikutnya, data ke-2, bobot pada tabel 3.4
digunakan sebagai
referensinya.
Data ke-2:
𝐶! = 4,7 − 5,09 !+ 3,2 − 3,475 !+ 1,3 − 1,4 !+ 0,2 − 0,2 !
= 0,4875
𝐶! = 4,7 − 7 !+ 3,2 − 3,2 !+ 1,3 − 4,7 !+ 0,2 − 1,4 ! = 0,509 𝐶! = 4,7 − 6,3 ! + 3,2 − 3,3 !+ 1,3 − 6 !+ 0,2 − 2,5 ! = 5,472 Dari perhitungan jarak diatas, maka yang memiliki jarak terkecil adalah 𝐶!. Kemudian 𝐶! akan diupdate dengan ketentuan, jika 𝐶! dan T berada pada kelas yang sama maka diudate dengan persamaan 3.1.
𝑤!! 𝑡 + 1 = 5,09 + 0,05 4,7 − 5,09 = 5,07 𝑤!" 𝑡 + 1 = 3,475 + 0,05 3,2 − 3,475 = 3,461
𝑤!" 𝑡 + 1 = 1,4 + 0,05 1,3 − 1,4 = 1,395 𝑤!" 𝑡 + 1 = 0,2 + 0,05 0,2 − 0,2 = 0,2 Sehingga bobot baru yang terbentuk ada pada tabel 3.5.
Tabel 3.5 Bobot baru ke-2
W Atr1 Atr2 Atr3 Atr4 Kelas 1 5,07 3,461 1,395 0,2 Iris-setosa 2 7 3,2 4,7 1,4 Iris-versicolor 3 6,3 3,3 6 2,5 Iris-virginica
4,7 3,2 1,3 0,2 Iris-setosa
18
Dan seterusnya sampai pada data ke-147, bobot baru yang terbentuk ada pada tabel 3.6.
Tabel 3.6 Bobot baru ke-147 W Atr1 Atr2 Atr3 Atr4 Kelas
1 4,861 3,138 1,613 0,290 Iris-setosa 2 5,226 3,651 1,477 0,256 Iris-versicolor 3 6,548 2,965 5,385 1,986 Iris-virginica
Sampai pada data ke-147 berakhir, maka berakhir pula epoch ke-1. Kemudian learning rate alpa di update menggunakan persamaan 3.3.
𝛼 𝑡 = 2 = 0,05 − 0,1 0,05 = 0,005
Selanjutnya dilakukan epoch ke -2 (atau t = 2) dengan nilai alpa 0,005
Sama seperti perhitungan pada iterasi ke-1 (epoch ke-1), hitung nilai jarak tiap data dengan referensi vektor bobot yang digunakan adalah vektor bobot perhitungan terakhir yakni data ke-147, kemudian cari jarak minimum, lalu lakukan update dengan ketentuan persamaan 3.1 atau 3.2.
3.4 Klasifikasi Particle Swarm (PS).
Pada penelitian ini, penulis melakukan klasifikasi data berdasarkan partikel swarm yang diadaptasi menggunakan algoritma PSO. Particle Swarm akan menyesuaikan posisi prototipe yang dihasilkan oleh algoritma. Proses pembelajaran PS terdiri dari memilih posisi partikel (prototype) yang bagus secara iteratif. Setelah proses pembelajaran selesai akan dihasilkan prototype (partikel) yang digunakan untuk memprediksi kelas mana yang sesuai untuk masing-masing data input (object input) yang berasal dari dataset.
Pada proses kluster particel berinteraksi satu dengan lainnya dan lingkungannya. Kriteria konvergensi dari algoritma ditentukan oleh stabilitas path dari tiap particle dan jumlah particle yang diinisialiasasi secara empirik. Dimensi particle diberikan sesuai dimensi data input, dimana masing-masing posisi vektor adalah atribut data input. Fungsi evaluasi tidak dijabarkan secara eksplisit, tetapi kualitas
19
particle diukur dengan menggunakan Euclidean Distance untuk mengetahui similaritas antara particle dengan input. Pada algoritma ini partikel yang diupdate tergantung pada data input, hanya pemenang yang memiliki kemiripan dengan data input yang diupdate menggunakan persamaan.
3.5 Algortima Klasifikasi PS
Ada dua langkah penting dalam algoritma klasifikasi PSO:
1. Menempatkan posisi partikel kedalam input space yang merepresentasikan kluster data.
2. LVQ1 melakukan penyesuai kelas sehingga error dalam klasifikasi kecil.
Setiap objek j dalam dataset, ada partikel i yang memiliki similaritas tinggi dengan objek j, atau dengan kata lain objek j dan partikel i berada dalam kelas yang sama, Partikel tersebut kemudian diupdate menggunakan berikut ini.
𝑥
!𝑡 + 1 = 𝑥
!𝑡 + 𝑣
!𝑡 + 1 (3.5)
Jika objek j dan partikel i tidak berada dalam kelas yang sama, update partikel tersebut menggunakan persamaan berikut ini.𝑥
!𝑡 + 1 = 𝑥
!𝑡 − 𝑣
!𝑡 + 1 (3.6)
Sedangkan untuk update kecepatan 𝑣!(𝑡 + 1) digunakan persamaa berikut ini.
𝑣! 𝑡 + 1 = 𝜔 ∗ 𝑣! 𝑡 + 𝑐! 𝑃!!− 𝑥!(𝑡) + 𝑐! 𝑔! 𝑡 − 𝑥! 𝑡
+ 𝑐! 𝑦!− 𝑥! 𝑡 (3.7) 𝜔 disebut sebagai moment inertia, yang bertanggung jawab mengontrol konvergensi algoritma. 𝜑! 𝑃!!− 𝑥!(𝑡) disebut sebagai cognitive term, yang berkaitan dengan pengalaman masing-masing partikel. Personal best position (𝑃!!) yaitu jarak terkecil antara objek input (𝑦!) dengan partikel pemenang (𝑥!). 𝜑! 𝑔! 𝑡 − 𝑥! 𝑡 disebut sebagai social term yaitu berkaitan dengan partikel 𝑔! 𝑡 yang terdekat dengan objek input (𝑦!) sejauh ini. 𝜑!(𝑦!− 𝑥! 𝑡 ) disebut sebagai self-organizing term.
20
Berikut ini Algoritma PS klasifikasi yang digunakan.
1. Lakukan kluster terhadap dataset. Dalam hal ini digunakan 3 kluster, karena dataset terdiri dari 3 kelas. Pilih 3 titik centroi cluster sebagai target dari masing-masing partikel untuk menyesuaikan kecepatan dan posisinya.
2. Tetapkan kondisi awal: nilai 𝜔 (learning rate), maksimum epoch (maxEpoch), nilai Vmax (kecepatan maksimum),𝑐! dan 𝑐!, Kecepatan awal (𝑣 0 , Pbest 𝑃!!, dan Gbest 𝐺!
3. Inisialisasi posisi partikel dengan cara random (dari nilai minimum ke maksimum posisi partikel) masing-masing dimensi.
4. Hitung jarak tiap partikel 𝑥! dengan target (titik centroid, 𝑦!) masing-masing kluster.
5. Pilih jarak terkecil dari tiap partikel ke titik centroid masing-masing kluster.
a. Jika 𝛿 𝑥!, 𝑦! < 𝛿 𝑃!!, 𝑦! maka 𝑃!! = 𝑥! b. Jika 𝛿 𝑥!, 𝑦! < 𝛿(𝐺!, 𝑦!) maka 𝐺!=𝑥!
6. Update kecepatan masing-masing partikel sesuai Pbest dan Gbest nya menggunakan persamaan 3.7.
7. Update Posisi patikel dengan ketentuan
a. Jika 𝑙𝑎𝑏𝑒𝑙 𝑥! = 𝑙𝑎𝑏𝑒𝑙 (𝑦!) update dengan persamaan 3.5.
b. Jika 𝑙𝑎𝑏𝑒𝑙 𝑥! ≠ 𝑙𝑎𝑏𝑒𝑙 (𝑦!) update dengan persamaan 3.6.
8. Update learning rate (𝜔) misalnya dengan 𝜔 𝑡 + 1 = 0.95 ∗ 𝜔 𝑡
9. Ulangi langkah ke- 4 sampai langkah ke-8, sampai kriteria berhenti terpenuhi, bisa dengan maksimum Epoch atau dengan maksimumError, dibandingkan dengan nilai learning rate-nya.
Dari proses pelatihan yang dilakukan menggunakan Partikel Swarm, maka akan diperoleh nilai-nilai yang akan dijadikan acuan pada pengujian data. Nilai-nilai tersebut adalah, seperti 𝜔 (learning rate), Pbest 𝑃!!, Gbest (𝐺!) dan maksimum Epoch yang ideal.
Misal, data latih yang digunakan adalah dataset iris pada tabel 3.2 dan partikel diinisialisasi dengan cara random dari
21
3.6 Akurasi
Perhitungan akurasi (ketepatan) dalam memprediksi kelas mana yang sesuai untuk data uji yang dilakukan, maka sejumlah dataset uji diambil sampelnya kemudian dilakukan perhitunga jarak terdekat menggunakan Euclidean Distance.
Nilai akurasi didapat dari persamaan 3.8.
𝑎𝑘𝑢𝑟𝑎𝑠𝑖 =𝑗𝑢𝑚𝑙𝑎ℎ 𝑝𝑟𝑒𝑑𝑖𝑘𝑠𝑖 𝑏𝑒𝑛𝑎𝑟
𝑗𝑢𝑚𝑙𝑎ℎ 𝑝𝑒𝑛𝑔𝑢𝑗𝑖𝑎𝑛 𝑥100% (3.8) Vektor bobot yang dipakai sebagai referensi pada pengujian algoritma LVQ berasal dari vektor bobot yang terpilih sebagai bobot yang paling ideal (convergen).
Sedangkan pada algoritma PSO, Pbest dan Gbest menjadi acuan perhitungan jarak Euclidean Distance-nya.
BAB 4
HASIL DAN PEMBAHASAN
4.1. Pendahuluan
Dalam tahapan ini penulis akan memaparkan hasil dan pembahasan penelitian ini tentang analisis akurasi pembelajaran LVQ dan analisis akurasi pembelajaran PSO terhadap data uji untuk proses klasifikasi data. Penyajian hasil pengujian akan ditampilkan dalam bentuk table dan grafik.
4.2. Hasil Pembelajaran LVQ
Untuk melakukan pembelajaran pada pengenalan pola data iris, terlebih dahulu memenentukan bobot vektor awal (w), iterasi maksimum (epoch maksimum), error minimum (eps), dan learning rate (α). Pengujian berhenti apabila learning rate (α) mencapai nilai yang cukup kecil. Hasil dari pelatihan ini berupa vektor bobot (prototype) yang akan dipakai untuk pengujian.
Tabel 4.1 Data Latih
No Atr1 Atr2 Atr3 Atr4 Kelas 1 5.1 3.5 1.4 0.2 Iris-setosa 2 4.9 3.0 1.4 0.2 Iris-setosa .. .. ... ... ... ...
150 ... ... ... ... ...
Parameter input pembelajaran LVQ yang diinisialisasi sangat menentukan hasil akhir dari vektor bobot untuk pengujian. Tabel 4.2 merupakan hasil dari pelatihan dimana nilai epoch = 50, alpa = 0,02 dan jumlah neuron = 3.
23
Tabel 4.2 Bobot dengan neuron = 3
Atr1 Atr2 Atr3 Atr4 Kelas
5.0047 3.4158 1.4646 0.2446 Iris-Setosa 5.8870 2.76352 4.0881 1.21105 Iris-Versicolor 6.70078 3.01831 5.7072 2.09942 Iris-Virginica
Jika jumlah neuron di naikkan menjadi 4, maka bobot yang dihasilkan akan berbeda.
Tabel 4.3 Bobot dengan neuron = 4 Atr1 Atr2 Atr3 Atr4 Kelas 5.250 3.667 1.505 0.288 Iris-Setosa 4.717 3.117 1.412 0.191 Iris-Setosa 5.887 2.764 4.088 1.211 Iris-Versicolor 6.701 3.018 5.707 2.099 Iris-Virginica
Dengan perbedaan jumlah neuron tentu akan mempengaruhi nilai akurasi pada klasifikasi data. Berikut ini disajikan beberapa tingkat akurasi yang dihasilkan dengan berbagai variasi parameter masukan pada LVQ.
Tabel 4.4 Akurasi dengan menaikkan nilai neuron
Iterasi Alpha Neuron Akurasi
Setosa Versicolor Virginica Total
50 0,02 3 100% 88,6% 91,67% 93,33%
50 0,02 6 100% 97,96% 96,08% 98,00%
50 0,02 9 100% 97,92% 94,23% 97,33%
Tabel 4.5 Akurasi dengan mengubah nilai alpha
Iterasi Alpha Neuron Akurasi
Setosa Versicolor Virginica Total
50 0,01 6 100% 97,87% 92,45% 96,67%
50 0,02 6 100% 97,96% 96,08% 98,00%
50 0,03 6 100% 97,92% 96,08% 98,00%
50 0,005 6 100% 97,92% 94,23% 97,33%
24
Tabel 4.6 Akurasi dengan mengubah nilai iterasi
Iterasi Alpha Neuron Akurasi
Setosa Versicolor Virginica Total
10 0,02 6 100% 97,87% 92,45% 96,67%
20-40 0,02 6 100% 97,92% 94,23% 97,33%
50-380 0,02 6 100% 97,92% 96,08% 98,00%
390 0,02 6 100% 90,74% 97,83% 96,00%
500 0,02 6 100% 90,74% 97,83% 96,00%
4.3. Hasil Pembelajaran PSO
Dengan menggunakan dataset yang sama, maka hasil yang didapatkan dalam klasifikasi data oleh PSO dengan analisis akurasi seperti yang disajikan pada tabel 4.7. Proses klasifikasi data menggunakan Partikel Swarm (PS) merupakan modifikasi dari algoritma PSO standar. Klasifikasi model PSO hampir mirip dengan layer kompetitif nya LVQ, dimana yang menjadi pemenang yang akan diupdate.
Perbedaannya hanya pada proses update. Pada PSO ada dua proses update yaitu pada kecepatan dan pada posisi partikel. Untuk melakukan prediksi terhadap data klasifikasi oleh PSO terlebih diinisialisai beberapa parameter, seperti 𝜔 = 1, bobot Pbest, Gbest, jumlah partikel, dan jumlah iterasi (epoch).
Misalkan partikel diinisialisasi sebanyak 5 dan kecepatan diinisialiasasi sebanyak 5 juga secara Random, seperti pada tabel 4.7 dan 4.8
Tabel 4.7 Inisialiasi 5 Random Partikel Partikel atr1 atr2 atr3 atr4
1 0,83 0,19 0,25 0,81 2 0,21 0,48 0,49 0,99 3 0,42 0,25 0,04 0,10 4 0,70 0,76 0,33 0,18 5 0,87 0,67 0,09 0,07
25
Tabel 4.8 Inisialiasi 5 Random Velocity
Tabel 4.9 Data Latih No Sepal
Length Sepal
Width Petal
Length Sepal
Length Kelas 1 5,1 3,5 1,4 0,2 Iris-setosa
2 4,9 3 1,4 0,2 Iris-setosa
3 4,7 3,2 1,3 0,2 Iris-setosa 4 4,6 3,1 1,5 0,2 Iris-setosa
5 5 3,6 1,4 0,2 Iris-setosa
6 5,4 3,9 1,7 0,4 Iris-setosa 7 4,6 3,4 1,4 0,3 Iris-setosa 8 7 3,2 4,7 1,4 Iris-versicolor 9 6,4 3,2 4,5 1,5 Iris-versicolor 10 6,9 3,1 4,9 1,5 Iris-versicolor 11 5,5 2,3 4 1,3 Iris-versicolor 12 6,5 2,8 4,6 1,5 Iris-versicolor 13 5,7 2,8 4,5 1,3 Iris-versicolor 14 6,3 3,3 4,7 1,6 Iris-versicolor 15 4,9 2,4 3,3 1 Iris-versicolor 16 6,3 3,3 6 2,5 Iris-virginica 17 5,8 2,7 5,1 1,9 Iris-virginica 18 6,3 2,9 5,6 1,8 Iris-virginica 19 4,9 2,5 4,5 1,7 Iris-virginica 20 6,7 2,5 5,8 1,8 Iris-virginica
Dengan data latih sebanyak 20 instance, maka fitness untuk masing-masing partikel ada pada tabel 4.10.
Velocity Atr1 Atr2 Atr3 Atr4 1 6,68 3,82 6,29 1,48 2 7,34 2,85 1,52 2,02 3 5,74 4,40 6,31 1,16 4 5,64 4,40 4,00 2,08 5 7,30 4,40 1,50 2,17
26
Tabel 4.10 Fitness Iterasi Pertama Iterasi Data
ke-i
Partikel
1 2 3 4 5
1 1 5,977 5,963 5,422 5,642 5,700
2 5,566 5,544 5,003 5,240 5,253
3 5,471 5,456 4,913 5,139 5,192
4 5,372 5,352 4,822 5,063 5,106
5 5,944 5,932 5,393 5,611 5,686
6 6,497 6,477 5,950 6,149 6,228
7 5,510 5,495 4,961 5,172 5,257
8 5,860 5,842 5,307 5,536 5,587
9 5,086 5,065 4,531 4,775 4,810
10 5,627 5,609 5,073 5,325 5,345
11 8,718 8,633 8,234 8,448 8,375
12 8,163 8,076 7,685 7,884 7,835
13 8,725 8,635 8,250 8,462 8,385
14 6,895 6,798 6,423 6,642 6,543
15 8,169 8,075 7,693 7,900 7,814
16 7,458 7,369 7,004 7,228 7,166
17 8,239 8,151 7,772 7,965 7,929
18 6,044 5,961 5,557 5,786 5,721
19 8,243 8,155 7,766 7,991 7,905
20 6,747 6,655 6,279 6,475 6,433
Pbest dan Gbest dari masing-masing partikel, seperti pada tabel 4.11.
Tabel 4.11 Pbest dan Gbest
Min(dist) 5,086 5,065 4,531 4,775 4,810
Pbest 5,086 5,065 4,531 4,775 4,810
Gbest 4,531
Kemudian masing-masing partikel di update kecepatannya menggunakan persamaan 3.7. Nilai c1 = c2 = c3 = 1
Berikut disajikan beberapa tingkat akurasi (ketepatan) prediksi yang dilakukan oleh PSO, dengan mengubah nilai parameternya.
27
Tabel 4.12 Akurasi dengan mengubah nilai iterasi
Iterasi Partikel Omega Akurasi
Setosa Versicolor Virginica Total
5-60 5 1 100% 98% 98% 98,67%
70-180 5 1 100% 98,04% 100% 99,33%
190 5 1 100% 98% 98% 98,67%
Tabel 4.13 Akurasi dengan mengubah nilai Partikel
Iterasi Partikel Omega Akurasi
Setosa Versicolor Virginica Total
30 5 1 100% 98% 98% 98,67%
30 10 1 100% 98,04% 100% 99,33%
30 20 1 100% 98,04% 100% 99,33%
30 30 1 100% 100% 96,15% 98,67%
Tabel 4.14 Akurasi dengan mengubah nilai omega
Iterasi Partikel Omega Akurasi
Setosa Versicolor Virginica Total
30 10 0.2 100% 100% 96,15% 98,67%
30 10 0.5 100% 100% 96,15% 98,67%
30 10 0.9 100% 98,04% 100% 99,33%
30 10 1 100% 98,04% 100% 99,33%
4.4. Pembahasan
Dari hasil pengolahan data yang diperoleh, ada beberapa hal yang menjadi pembahasan dalam penelitian ini, yaitu :
1. Pada LVQ, jumlah layer kompetitif (neuron) sangat menentukan tingkat akurasi, dengan iterasi yang sama perubahan dari 3 neuron menjadi 6, tingkat akurasi meningkat sebesar 4,7% (dari 93,33% menjadi 98,00%), tetapi jika jumlah neuron dinaikkan menjadi 9 neuron, tingkat akurasi menurun sebesar 0,7% (dari 98,00%
menjadi 97,33%). Sehingga kondisi yang ideal terjadi pada jumlah iterasi 50,
28
alpha 0,02, dan jumlah neuron sebanyak 6 neuron. Pada kondisi ini akurasi yang didapat sebesar 98,00%.
2. Pada PSO, parameter yang mempengaruhi tingkat akurasi lebih dinamis dan beragam. Tetapi faktor yang paling berpengaruh adalah jumlah partikel, karena jika sangat kecil akan menyebabkan terjadi lokal optima, sedangkan jika partikel dalam jumlah besar, eksekusi time akan meningkat. Pada tabel hasil percobaan yang telah dilakukan, bahwa kondisi ideal dengan akurasi 99,33% tercapai pada saat iterasi sebanyak 30 iterasi dan jumlah partikel sebanyak 10 partikel, dengan learning rate (omega) atau disebut juga momen inertia dimulai dari 1.
BAB 5
KESIMPULAN DAN SARAN
5.1. Kesimpulan
Berdasarkan hasil penelitian yang telah dilakukan dapat diambil kesimpulan bahwa:
1. Akurasi pembelajaran terhadap Learning Vector Quantization (LVQ) secara umum sudah cukup bagus untuk data iris, yakni sebesar 98,00% dengan 150 data uji. PSO memberikan nilai akurasi sedikit lebih bagus dari LVQ yaitu sebesar 99,33%.
2. Tidak hanya tingkat akurasi PSO saja yang membuat ia lebih baik, tetapi dengan PSO iterasi dapat berkurang, dari 50 iterasi yang dilakukan LVQ menjadi 30 iterasi yang dilakukan PSO.
3. Dengan demikian pilihan untuk PSO sebagai classifier cukup bisa dipertimbangkan dalam pengembangan metode-metode di data mining.
5.2. Saran
Adapaun saran yang diberikan pada penelitian ini adalah sebagai berikut:
1. Bahwa parameter-parameter LVQ, seperti learning rate (alpha) masih bisa dimodifikasi cara mendapatkannya.
2. Sangat memungkinkan bagi PSO untuk melakukan perbaikan-perbaikan akurasi kepada berbagai macam jenis jaringan saraf tiruan dalam hal pelatihan ataupun mengoptimasian parameter jaringan saraf tiruan, misalnya jaringan sraf tiruan berbasis kompetisi LVQ.
3. PSO dan LVQ memiliki sedikit kemiripan dalam hal cara mencapai target, kecepatan belajar dan bersifat kompetitif, yang kuatlah sebagai pemenang. Oleh karena itu, penggabungan dua algoritma PSO dan LVQ sangat mungkin dilakukan.
DAFTAR PUSTAKA
D. W. van der Merwe and A. P. Engelbrecht, “Data clustering using particle swarm optimization,” in Proceedings of IEEE Congress on Evolutionary Computation (CEC '03), pp. 215–220, Canberra, Australia, 2003
Andries P.Englebrech. An Intoduction: Computational Intelligence. Second Edition.
John Wiley & Sons,Ltd, Wiley, 2007.
James Kennedy and Russel C. Eberhart. Swarm Intelligence. Morgan Kaufmann Publisher. 2001.
Yuji Mizuno and Hiroshi Mabuchi. Initialization method of reference vectors for improvement of recognition accuracy in LVQ. World Academy of Science, Engineering and Technology Vol:5 2011-08-22
Balochian, Saeed., Abbasi, Emad. Seidbad., & Rad, Zahiri. Saman. 2013. Neural Network Optimization bye Genetic Algorithms for The Audio Classification to Speech and Music. International Journal of Signal Processing, Image Processing and Pattern Recognition6: 3.
Blachnik, Marcin., & Duch, Wlodzislaw. 2011. Improving Accuracy of LVQ Algorithm by instance Weighting. pp. 256 – 265. Springer-Verlag: Berlin.
Cagnoni, Stefano., Lutton, Evelyne., & Olague, Gustavo. 2007. Genetic and Evolutionary for Image Processing and Analysis. EURASIP Book Series on Signal Processing and Communacation. Vol. 8. Hindawi Publishing Coorperation: USA.
Hollmen, Jaakko., Tresp, Volker., & Simula, Olli. 2000. A Learning Vector Quantization Algrithm for Probabilistic Models. In Proceedings of EUSIPCO – X European Signal Processing Conference. Vol II. pp. 721- 724.
Johannes, Okko. Räsänen., Laine, Laine. Unto., & Altosaar, Toomas. 2009. Self- learning Quantization for Pattern Discovery from Speech. International Speech. Brighton – UK. pp. 6 – 10
Kasabov., K. Nikola. 1998. Foundation of Neural Network, Fuzzy System, and Knowledge Engineering. The MIT Press: London – England.
Kumar, Javant., Bhattacharyya, Debnath & Kim, Tai-hoon. 2010. Use of Artificial Neural Network in Pattern Recognition. International Journal of Software Engineering and Its Applications. Vol 4. No 2.
Munjal, Geetika. 2011. ANN Paradigms for Audio Pattern Recoginition. International Journal of Computer Science and Information Technologies (IJCSIT). Vol 2(4). pp. 1555 – 1558.
Ouyang, Aijia., Li, Kenli., Zhou, Xu., Xul, Yuming., Yue, Guangxue., & Tan, Lizhi. 2014. Improved LDA and LVQ for Face Recognition. Appl. Math.
Inf.Sci8. No. 1L. pp. 301-309.
Rahman, Mijanur. Md., dan Setu, Akter. Tania. 2015. An Implementation for Combining Neural Networks and Genetic Algorithms. International Journal of Computer Science and Information Technologies (IJCSIT). Vol 6. Issue 3.
Ranadhi, Djalu., Indarto, Wawan., & Hidaya, Taufik. 2006. Implementasi Learning Vector Quantization (LVQ) untuk Pengenalan Pola Sidik Jari Pada SIstem Informasi Narapidana NP Wirogunan. Media Informatika. Vol 4. No 1. pp:
51 – 65. Universitas Islam Indonesia. Yogyakarta.
Ginting, Eminta., Zarlis, M., & Situmorang, Zakarias. 2014. Kombinasi Algoritma Jaringan Syaraf Tiruan Learning Vector Quantization (LVQ) dan Self Organizing Kohonen pada Kecepatan Pengenalan Pola Tanda Tangan.
Jurnal Penelitian Teknik Informatika. TECHSI4: 1.
