Klasifikasi data menggunakan analisis komponen utama kernel dengan fungsi isotropik

(1)

KLASIFIKASI DATA MENGGUNAKAN ANALISIS

KOMPONEN UTAMA KERNEL DENGAN FUNGSI

ISOTROPIK

HANIF KHARISMAHADI

DEPARTEMEN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR

(2)

(3)

PERNYATAAN MENGENAI SKRIPSI DAN

SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA

Dengan ini saya menyatakan bahwa skripsi berjudul Klasifikasi Data Menggunakan Analisis Komponen Utama Kernel dengan Fungsi Isotropik adalah benar karya saya dengan arahan dari komisi pembimbing dan belum diajukan dalam bentuk apa pun kepada perguruan tinggi manapun. Sumber informasi yang berasal atau dikutip dari karya yang diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks dan dicantumkan dalam Daftar Pustaka di bagian akhir skripsi ini.

Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut Pertanian Bogor.

Bogor, September 2014

(4)

ABSTRAK

HANIF KHARISMAHADI. Klasifikasi Data Menggunakan Analisis Komponen Utama Kernel dengan Fungsi Isotropik. Dibimbing oleh SISWADI dan TONI BAKHTIAR.

Analisis komponen utama (AKU) merupakan bentuk khusus dari AKU kernel dengan fungsi kernel linear. Tujuan dari studi ini ialah untuk menyelesaikan permasalahan data yang tak terpisahkan secara linear dan mengklasifikasikan suatu objek ke dalam kelompok menggunakan AKU kernel sehingga diperoleh salah klasifikasi terkecil. Pengklasifikasian kelompok menggunakan AKU kernel diselesaikan dengan fungsi kernel linear dan fungsi isotropik (Gauss dan gelombang). Hasil untuk data pengenalan anggur menunjukkan bahwa fungsi kernel linear memberikan salah klasifikasi 6.74%, sedangkan fungsi isotropik yaitu Gauss dan gelombang masing-masing memberikan salah klasifikasi 2.25% dan 7.30%.

Kata kunci: analisis komponen utama, kernel, isotropik.

ABSTRACT

HANIF KHARISMAHADI. Data Classification Using Kernel Principal Component Analysis with Isotropic Function. Supervised by SISWADI and TONI BAKHTIAR.

(5)

Skripsi

sebagai salah satu syarat untuk memperoleh gelar Sarjana Sains

pada

Departemen Matematika

KLASIFIKASI DATA MENGGUNAKAN ANALISIS

KOMPONEN UTAMA KERNEL DENGAN FUNGSI

ISOTROPIK

HANIF KHARISMAHADI

DEPARTEMAN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR

(6)

(7)

(8)

PRAKATA

Puji dan syukur penulis panjatkan kepada Allah subhanahu wa ta’ala atas segala karunia-Nya sehingga karya ilmiah ini berhasil diselesaikan. Tema yang dipilih dalam penelitian yang dilaksanakan sejak bulan Maret 2014 ini ialah analisis data, dengan judul Klasifikasi Data Menggunakan Analisis Komponen Utama Kernel dengan Fungsi Isotropik.

Terima kasih penulis ucapkan kepada Prof Dr Ir Siswadi MSc dan Dr Toni Bakhtiar MSc selaku dosen pembimbing serta Ir Ngakan Komang Kutha Ardana MSc selaku dosen penguji yang telah banyak memberi saran. Ungkapan terima kasih juga disampaikan kepada orang tua Bapak Istiadi SPd dan Ibu Sapriyah yang selalu memberi doa, semangat dan kasih sayangnya hingga menyelesaikan karya ilmiah ini.

Semoga karya ilmiah ini bermanfaat.

Bogor, September 2014

(9)

DAFTAR ISI

DAFTAR TABEL vii

DAFTAR GAMBAR vii

DAFTAR LAMPIRAN viii

PENDAHULUAN 1

Latar Belakang 1

Tujuan Penelitian 1

TINJAUAN PUSTAKA 2

Analisis Komponen Utama Kernel 2

Kernel Isotropik 5

METODE PENELITIAN 7

Sumber Data 7

Prosedur Analisis Data 7

HASIL DAN PEMBAHASAN 9

KESIMPULAN 18

DAFTAR PUSTAKA 19

LAMPIRAN 20

(10)

DAFTAR TABEL

1. Fungsi kernel yang diaplikasikan 7

2. Klasifikasi kelompok 8

3. Deskripsi data pengenalan anggur 10

4. Matriks kovarians 10

5. Matriks korelasi 11

6. Hasil salah klasifikasi (SK) fungsi Gauss 14

7. Hasil salah klasifikasi (SK) fungsi gelombang 16

8. Hasil pengklasifikasian kelompok data dengan fungsi linear 17 9. Hasil pengklasifikasian kelompok data dengan fungsi Gauss 17 10. Hasil pengklasifikasian kelompok data dengan fungsi gelombang 17

DAFTAR GAMBAR

1. Ide dasar AKU kernel (Sugiyama 2013) 2

2. Ide utama metode kernel: memetakan data asal ke dimensi

lebih tinggi ruang fitur ( dan Smola 2002) 2

3. Fungsi kernel isotropik 6

4. Alkohol dengan Abu 9

5. Alkohol dengan Magnesium 9

6. Alkohol dengan Asam malat 9

7. Flavonoid dengan Proanthosianin 9

8. Prolina dengan Asam malat 9

9. Total fenol dengan Flavonoid 9

10. AKU atau fungsi linear 11

11. Fungsi Gauss dengan parameter 11

28. Grafik kesalahan klasifikasi (%) terhadap fungsi Gauss 14

29. Fungsi gelombang dengan parameter 1 14

(11)

39. Grafik kesalahan klasifikasi (%) terhadap fungsi gelombang 16

DAFTAR LAMPIRAN

1. Data pengenalan anggur 20

(12)

(13)

PENDAHULUAN

Latar Belakang

Dalam menyampaikan suatu data atau informasi, seringkali akan lebih mudah dan menarik untuk menampilkannya dalam bentuk gambar, termasuk dalam menampilkan data-data (atribut) suatu objek. Posisi relatif objek-objek berdasarkan data yang dimilikinya dapat ditampilkan dalam sebuah plot sehingga lebih mudah dibaca oleh pengguna informasi tersebut. Analisis peubah ganda adalah salah satu analisis statistika yang dapat memvisualisasikan data. Analisis peubah ganda merupakan analisis yang membutuhkan banyak informasi yang ada pada peubah-peubah penjelasnya yang seringkali tumpang tindih sehingga dibutuhkan cara untuk mengatasi masalah ini. Salah satu analisis yang dapat diterapkan untuk mengatasinya adalah analisis komponen utama. Analisis komponen utama pertama kali diperkenalkan oleh Karl Pearson pada tahun 1901. Analisis komponen utama (AKU) sering digunakan mereduksi dimensi dari suatu matriks data yang terdiri atas sejumlah besar peubah yang saling berkorelasi menjadi sejumlah kecil peubah dan tidak saling berkorelasi, dengan tetap mempertahankan sebanyak mungkin informasi yang terkandung dalam matriks data baru (Jolliffe 2002). AKU menggunakan kombinasi linear antarpeubah untuk merepresentasikan suatu data. Namun, kombinasi linear ini tidak dapat memodelkan data yang kompleksitasnya tinggi dengan hubungan taklinear antarpeubah. Oleh karena itu diperlukan suatu metode untuk menyelesaikan masalah tersebut yaitu dengan menggunakan AKU kernel.

AKU merupakan bentuk khusus dari AKU kernel dengan fungsi kernel linear. Fungsi kernel memetakan data ke dimensi yang lebih tinggi dan membangun fungsi pemisah dalam ruang yang terpisahkan. Hal ini dilakukan dengan menghitung fungsi kernel yang memberikan nilai hasil kali dalam pada ruang fitur tanpa menunjukkan pemetaan secara eksplisit. AKU kernel juga sebagai metode berbasis memori, yaitu jika x merupakan suatu objek maka menemukan skor untuk objek tersebut dapat menggunakan nilai eigen dan vektor eigen dari data asal (Nielsen dan Canty 2008). Karena dalam mengklasifikasikan suatu objek ke dalam suatu kelompok diperlukan beberapa peubah penciri yang dapat membedakan antara satu kelompok dengan kelompok yang lainnya, maka atas dasar inilah AKU kernel dapat digunakan dalam menyelesaikan pengklasifikasian suatu objek ke dalam suatu kelompok untuk memperoleh salah klasifikasi terkecil.

Tujuan Penelitian

(14)

2

TINJAUAN PUSTAKA

Analisis Komponen Utama Kernel

Analisis komponen utama (AKU) merupakan suatu analisis yang biasa digunakan untuk mereduksi dimensi dari suatu matriks data. AKU menggunakan kombinasi linear antarpeubah untuk merepresentasikan suatu data, sehingga hanya dapat mengatasi hubungan linear antarpeubah. Namun, pada kenyataannya banyak data yang memiliki hubungan taklinear dan takterpisah antarpeubah. Diperlukan suatu analisis untuk menunjukkan bentuk taklinear dari AKU, yaitu dengan menggunakan AKU kernel. Dengan menggunakan fungsi kernel dapat diperoleh nilai komponen utama secara lebih efisien dalam dimensi lebih tinggi ruang fitur (ruang abstrak yang kadang tidak diketahui hasil pemetaannya). Transformasi dari taklinear di ruang input menjadi linear di ruang fitur, dijelaskan pada Gambar 1.

Gambar 1 Ide dasar AKU kernel (Sugiyama 2013)

Dalam kondisi tertentu, fungsi-fungsi kernel dapat diartikan mewakili hasil kali dalam dari objek data dengan pemetaan taklinear secara implisit pada ruang fitur. Melalui transformasi ini (dari ruang input ke ruang fitur menggunakan fungsi kernel), diharapkan terdeteksi pola tertentu dalam data ( dan Smola 2002).

Selanjutnya akan diformulasikan metode kernel. Notasikan pemetaan dari ruang input ke ruang fitur dengan

Transformasi dari taklinear dan takterpisah di ruang input menjadi linear terpisah di ruang fitur, dijelaskan pada Gambar 2.

(15)

3 Sebuah kernel merupakan fungsi k yang untuk semua x, z memenuhi Komposisi dari pemetaan fitur dengan hasil kali dalam pada ruang fitur dapat dievaluasi dalam contoh berikut

Karenanya, fungsi

merupakan sebuah fungsi kernel dengan ℋ sebagai ruang fitur yang bersesuaian. Ini artinya dapat menghitung hasil kali dalam antara proyeksi dari dua titik ke dalam ruang fitur tanpa mengevaluasi koordinatnya secara eksplisit. Sebelum menggunakan fungsi kernel, haruslah ditentukan apa bentuk dari fungsi

untuk memastikan bahwa itu merupakan kernel untuk beberapa ruang fitur. Oleh karena itu, perlu diketahui beberapa hal yang berhubungan dengan fungsi kernel 1. Fungsi kernel harus simetrik data. Diberikan matriks data, , matriks Gram dilambangkan oleh G yang didefinisikan sebagai matriks berukuran yang berelemen Sehingga digunakan fungsi kernel k untuk mengevaluasi hasil kali dalam pada ruang fitur dengan pemetaan fitur , dihubungkan dengan matriks Gram G yang berelemen

.

Dalam kasus ini matriks G disebut juga sebagai matriks kernel K. Lambang standar untuk menggambarkan matriks kernel K adalah sebagai berikut

.

Misalkan matriks data dengan ,

(16)

4

Asumsikan bahwa data dalam ruang fitur memunyai rata-rata nol, sehingga matriks kovarians memiliki bentuk

yang bersesuaian dengan formulasi primal sebagai berikut:

dengan menggunakan kembali simbol dan sebagai nilai eigen dan vektor eigen secara berturut-turut dalam ruang Untuk formulasi dual yang bersesuaian diperoleh

dengan menggunakan kembali simbol dan sebagai nilai eigen dan vektor eigen secara berturut-turut. Seperti pada AKU nilai eigen taknol untuk formulasi primal dan dual memberikan nilai yang sama dan vektor eigen dihubungkan

dengan dan . Pada formulasi dual

diketahui bersesuaian dengan matriks Gram atau matriks kernel yang berisi elemen dari fungsi kernel.

Mengulang kembali masalah persamaan eigen pada formulasi dual, untuk nilai eigen taknol dan vektor eigen yang bersesuaian . Dengan mengganti produk dalam dalam dengan sebuah fungsi kernel

yang berasal dari beberapa pemetaan , diperoleh

dengan merupakan matriks berukuran . Permasalahan nilai eigen tersebut umumnya diformulasikan tanpa faktor , memberikan semua solusi dari vektor eigen dan dari nilai eigen. Sehingga dalam

kasus ini dan .

Untuk menemukan skor komponen utama kernel dari permasalahan nilai eigen, proyeksikan pemetaan x atas vektor eigen primal

.

Pada kenyataannya tidak dapat diasumsikan bahwa data pada ruang fitur sudah terkoreksi terhadap nilai tengah. Oleh karena itu agar matriks Gram K terkoreksi

terhadap nilai tengah gunakan dengan

(17)

5

1. Gauss: 2. Polinom: 3. Sigmoid:

dengan dan merupakan parameter.

Pada dasarnya ada fungsi kernel yang dapat diketahui jenis pemetaannya pada ruang fitur, misalnya fungsi kernel polinom dengan menggunakan

dengan vektor 2 dimensi dan . Diperoleh sebagai berikut

.

Terlihat bahwa fungsi kernel memetakan vektor 2 dimensi ke vektor 6 dimensi. Namun, untuk banyak fungsi kernel fungsi balikan ke tidak mungkin diperoleh (Nielsen dan Canty 2008).

Kernel Isotropik

Fungsi kernel jika bergantung pada vektor jarak antara dua objek yaitu dan pada jarak 0 dengan hasil fungsi tersebut adalah 1 maka kernel itu disebut isotropik (Genton 2001). Berikut beberapa fungsi kernel isotropik yang bergantung pada jarak dan , yaitu.

(18)

6

(19)

7

METODE PENELITIAN

Sumber Data

Data yang digunakan dalam penulisan karya ilmiah ini merupakan data sekunder sebagai data asal yang diperoleh melalui internet yaitu data pengenalan anggur (Forina 1991) dapat dilihat pada Lampiran 1. Data ini adalah hasil dari analisis kimia pada anggur yang tumbuh di daerah yang sama di Italia berasal dari 3 budidaya/kultivar (kelompok) yang berbeda. Matriks data pengenalan anggur terdiri atas 178 objek dengan 3 kelompok di mana setiap kelompok terdiri atas 59, 71, dan 48 objek untuk kelompok 1, 2, dan 3 secara berturut-turut, dengan 13 peubah yaitu kadar alkohol, kadar asam malat, banyaknya abu, banyaknya alkali pada abu, kadar magnesium, kadar fenol, kadar flavonoid, kadar fenol yang bukan flavonoid, kadar proanthosianin, dan kadar prolina, intensitas warna dan warna berdasarkan tingkat kecerahannya, dan anggur yang diencerkan pada OD280/OD315 berdasarkan nilai serapannya.

Prosedur Analisis Data

Data asal merupakan data sekunder yang berasal dari data pengenalan anggur. Analisis data yang pertama dilakukan dalam karya ilmiah ini ialah mengamati plot pencar antarpeubah yang dihasilkan kemudian data asal distandardisasi. AKU kernel akan dianalisis menggunakan dua fungsi kernel yaitu linear dan isotropik (Gauss dan gelombang). Fungsi Gauss mewakili fungsi isotropik lainnya dengan grafik fungsi yang ujung-ujung sumbunya relatif landai dibandingkan dengan fungsi gelombang yang ujung-ujung sumbunya relatif bergelombang, visualisasi dapat terlihat pada Gambar 3. Deskripsi ketiga fungsi kernel diberikan pada Tabel 1.

Tabel 1 Fungsi kernel yang diaplikasikan

No. Jenis fungsi Fungsi

1 Linear 2 Gauss 3 Gelombang

Pemilihan parameter pada fungsi kernel didasarkan dengan mencoba-coba beberapa nilai yang berbeda dan dipilih parameter dengan hasil yang lebih baik. Karena pada dasarnya belum ada ketentuan nilai parameter untuk setiap fungsi kernel. Karya ilmiah ini memilih parameter untuk fungsi Gauss yaitu dan fungsi gelombang yaitu untuk data pengenalan anggur.

Tiga langkah berikut dilakukan dalam AKU kernel:

1. Menentukan fungsi kernel yang akan digunakan dalam hal ini linear dan isotropik, kemudian menghitung hasil kali dalam matriks kernel

(20)

8

juga harus dikoreksi terhadap nilai tengah setiap fungsi dengan .

2. Menyelesaikan permasalahan nilai eigen dan vektor eigen dari matriks dengan persamaan . Kemudian dipilih 2 nilai eigen terbesar dan vektor eigen yang bersesuaian. Dua nilai eigen ini merupakan varians maksimum dari komponen utama 1 dan komponen utama 2 secara berturut-turut.

3. Untuk menemukan skor komponen utama kernel dari permasalahan nilai eigen, proyeksikan pemetaan x atas vektor eigan primal .

.

Selanjutnya visualisasikan plot pencar 2 komponen utama pertama dari masing-masing fungsi dan parameter.

Pengklasifikasian kelompok dengan AKU kernel dilakukan menggunakan kuadrat jarak Euclid untuk ruang dimensi dua dengan menghitung jarak terdekat antara objek dengan rataan dari setiap kelompok sebagai berikut

(21)

9

HASIL DAN PEMBAHASAN

Analisis dilakukan terhadap data pengenalan anggur. Gambar 4 sampai 9 memvisualisasikan plot pencar dari beberapa pasang peubah untuk data pengenalan anggur, diambil beberapa pasang peubah karena dimensi data yang cukup besar. Pada gambar terlihat bahwa plot pencar hanya terdiri atas satu kelompok yang berisi baik kelompok 1, 2, dan 3 yang tidak dapat dipisahkan dengan beberapa data menjadi pencilan. Hal ini tidak cukup baik bila digunakan dalam menganalisis struktur pada data dan akan menyulitkan dalam pengklasifikasian data objek ke dalam kelompok tersebut, karena akan menyebabkan salah klasifikasi yang cukup besar. Oleh karena itu, AKU kernel akan digunakan untuk menyelesaikan permasalahan ini.

Gambar 4 Alkohol dengan abu Gambar 5 Alkohol dengan magnesium

Gambar 6 Alkohol dengan asam malat

Gambar 7 Flavonoid dengan proanthosianin

Gambar 8 Prolina dengan asam malat Gambar 9 Total fenol dengan flavonoid

(22)

10

pasang peubah, dengan mencoba-coba beberapa nilai yang berbeda dan dipilih parameter dengan hasil yang lebih baik. Karena pada dasarnya belum ada ketentuan nilai parameter untuk setiap fungsi kernel. Tabel 3 menggambarkan nilai-nilai yang ada dari setiap peubah. Rata-rata dan simpangan baku (SB) dari setiap peubah akan digunakan untuk standarisasi data. Karya ilmiah ini akan menggunakan tiga fungsi kernel yaitu linear (sesuai dengan AKU) dan fungsi isotropik (Gauss dan gelombang).

Tabel 3 Deskripsi data pengenalan anggur

No Peubah Minimum Rata-rata Maksimum SB*

(23)

11

Analisis data menggunakan AKU kernel cukup baik memisahkan antarkelompok dengan menggunakan dua komponen utama pertama. Walaupun masih ada sebagian kecil objek antarkelompok yang bercampur. Dari ketiga fungsi yang digunakan terlihat bahwa plot pencar dari dua komponen utama kernel pertama cukup mampu menggambarkan pola yang terpisah pada data. Untuk mendapatkan dua komponen utama pertama dari fungsi kernel Gauss dan gelombang dapat digunakan peranti lunak MATLAB yang dapat dilihat pada Lampiran 2. Gambar selanjutnya akan memvisualisasikan plot pencar dari dua komponen utama untuk fungsi kernel linear dan Gauss.

(24)

12

Gambar 12 Fungsi Gauss dengan parameter Gambar 13 Fungsi Gauss dengan parameter

(25)

13

(26)

14

Tabel 6 Hasil salah klasifikasi (SK) fungsi Gauss

Hasil salah klasifikasi (SK) data dari fungsi Gauss dapat terlihat pada Gambar 28 membentuk tren kuadratik. Dengan menggunakan regresi kuadratik

dari persamaan , diperoleh SK

Gambar 28 Grafik kesalahan klasifikasi (%) terhadap fungsi Gauss Gambar selanjutnya akan memvisualisasikan plot pencar dari dua komponen utama pertama untuk fungsi kernel gelombang.

(27)

15

Gambar 31 Fungsi gelombang dengan parameter 3

Gambar 33 Fungsi gelombang dengan parameter

(28)

16

Hasil salah klasifikasi (SK) data dari fungsi gelombang membentuk tren kuadratik, terlihat pada Gambar 38. Dengan menggunakan regresi kuadratik dari

persamaan diperoleh SK

minimum sebesar 9.5% pada . Untuk SK minimum dengan data analisis diperoleh sebesar 7.30% pada sedangkan nilai SK pada adalah 16.85%.

Gambar 38 Grafik kesalahan klasifikasi (%) terhadap fungsi gelombang Pada dasarnya studi dilakukan pada fungsi Gauss untuk parameter

dan fungsi gelombang untuk parameter . Namun, untuk memberikan gambaran hasilnya dipilih parameter untuk fungsi Gauss

dan fungsi gelombang yang dari masing-masing fungsi dengan nilai kesalahan yang berbeda-beda.

Fungsi linear memiliki salah klasifikasi sebesar 6.74%. Terlihat bahwa salah klasifikasi kelompok menggunakan fungsi ini banyak terdapat pada kelompok 2. Hal ini terjadi karena antarkelompok ini memang sulit dipisahkan secara keseluruhan dan juga karena jarak yang berdekatan antarkelompok.

Tabel 8 Hasil pengklasifikasian kelompok data dengan fungsi linear

Kelompok asal Kelompok prediksi Total SK

1 2 3

Tabel 7 Hasil salah klasifikasi (SK) fungsi gelombang

1 2 3 4 5 6 7 8 9 10

100 62 21 13 20 31 31 33 33 33

(29)

17 Fungsi Gauss dengan parameter memiliki salah klasifikasi sebesar 2.25%. Terlihat bahwa salah klasifikasi kelompok menggunakan fungsi ini banyak terdapat pada kelompok 2. Hal ini juga terjadi karena antarkelompok ini memang sulit dipisahkan secara keseluruhan dan juga karena jarak yang berdekatan antarkelompok.

Tabel 9 Hasil pengklasifikasian kelompok data dengan fungsi Gauss

1 2 3

Fungsi gelombang dengan parameter memiliki salah klasifikasi sebesar 7.30%. Terlihat bahwa salah klasifikasi kelompok menggunakan fungsi ini banyak terdapat pada kelompok 2. Hal ini juga terjadi karena antarkelompok ini memang sulit dipisahkan secara keseluruhan dan juga karena jarak yang berdekatan antarkelompok.

Tabel 10 Hasil pengklasifikasian kelompok data dengan fungsi gelombang

(30)

18

KESIMPULAN

(31)

19

DAFTAR PUSTAKA

Forina M. 1991. Wine Recognition Data. [Internet]. [diunduh 2014 Jan 20]. Tersedia pada: http://archive.ics.uci.edu/ml/machine-learning-databases/wine/ wine.data.

Genton MG. 2001. Classes of Kernels for Machine Learning. Machine Learning Research. 2. Doi:10.1.1.62.7887.

Jolliffe IT. 2002. Principal Component Analysis. 2nd ed. New York (US): Springer-Verlag.

Nielsen AA, Canty MJ. 2008. Kernel Principal Component Analysis for Change Detection. Image and Signal for Remote Sensing XIV. 7109. Doi:10.1117/12.800141.

Schölkopf B, Smola AJ. 2002. Learning with Kernels. London (UK): The MIT Press.

Shen Y. 2007. Outlier Detection Using the Smallest Kernel Principal Component. [Disertasi]. Philadelphia (US): Temple University Graduate Board.

(32)

20

Lampiran 1 Data pengenalan anggur

(33)

(34)

(35)

(36)

(37)

25