SUPPORT VECTOR BACKPROPAGATION
: IMPLEMENTASI
BACKPROPAGATION
SEBAGAI
FEATURE REDUCTOR
PADA
SUPPORT VECTOR MACHINE
SKRIPSI
ANGGI PERMANA HARIANJA
121421089
PROGRAM STUDI EKSTENSI S1 ILMU KOMPUTER
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI
UNIVERSITAS SUMATERA UTARA
SUPPORT VECTOR BACKPROPAGATION
: IMPLEMENTASI
BACKPROPAGATION
SEBAGAI
FEATURE REDUCTOR
PADA
SUPPORT VECTOR MACHINE
SKRIPSI
Diajukan untuk melengkapi tugas dan memenuhi syarat memperoleh ijasah Sarjana Ilmu Komputer
ANGGI PERMANA HARIANJA 121421089
PROGRAM STUDI EKSTENSI S1 ILMU KOMPUTER FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI
UNIVERSITAS SUMATERA UTARA MEDAN
2014
PERSETUJUAN
Judul : SUPPORT VECTOR BACKPROPAGATION: IMPLEMENTASI BACKPROPAGATION SEBAGAI FEATURE REDUCTOR PADA SUPPORT VECTOR MACHINE
Kategori : SKRIPSI
Nama : ANGGI PERMANA HARIANJA Nomor Induk Mahasiswa : 121421089
Program Studi : EKSTENSI S1 ILMU KOMPUTER
Fakultas : ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA
Diluluskan di
Medan, Agustus 2014
Komisi Pembimbing :
Pembimbing 2 Pembimbing 1
Herriyance, S.T., M.Kom Dr. Poltak Sihombing, M.Kom NIP.198010242010121002 NIP. 1961203171991031001
Diketahui/Disetujui oleh
Program Studi S1 Ilmu Komputer Ketua,
PERNYATAAN
SUPPORT VECTOR BACKPROPAGATION: IMPLEMENTASI BACKPROPAGATION SEBAGAI FEATURE REDUCTOR
PADA SUPPORT VECTOR MACHINE
SKRIPSI
Saya menyatakan bahwa skripsi ini adalah hasil kerja saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing disebutkan sumbernya.
Medan, Agustus 2014
Anggi Permana Harianja NIM. 121421089
PENGHARGAAN
Segala puji dan syukur Penulis ucapkan kepada Tuhan Yesus Kristus yang senantiasa melimpahkan rahmat dan karunia-Nya sehingga skripsi ini dapat diselesaikan.
Ucapan terima kasih Penulis sampaikan kepada semua pihak yang telah membantu Penulis dalam menyelesaikan skripsi ini baik secara langsung maupun tidak langsung, teristimewa untuk kedua orangtua terkasih. Pada kesempatan ini penulis ingin mengucapkan terima kasih yang sebesar-besarnya kepada :
1. Bapak Prof. Dr. dr. Syahril Pasaribu, DTM&H, M.Sc(CTM), Sp.A(K) selaku Rektor Universitas Sumatera Utara.
2. Bapak Prof. Dr. Muhammad Zarlis selaku Dekan Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara.
3. Bapak Dr. Poltak Sihombing, M.Kom selaku Ketua Program Studi S1 Ilmu Komputer Universitas Sumatera Utara.
4. Ibu Maya Silvi Lydia, B.Sc, M.Sc selaku Sekretaris Program Studi S1 Ilmu Komputer Universitas Sumatera Utara.
5. Bapak Dr. Poltak Sihombing, M.Kom selaku Dosen Pembimbing I yang telah memberikan bimbingan, saran dan masukan kepada penulis dalam pengerjaan skripsi ini.
6. Bapak Herriyance, S.T., M.Kom selaku Dosen Pembimbing II yang telah memberikan bimbingan, saran dan masukan kepada penulis dalam pengerjaan skripsi ini.
8. Bapak Amer Sharif, S.Si, M.Si selaku Dosen Pembanding II yang telah memberikan kritik dan saran dalam penyempurnaan skripsi ini.
9. Semua dosen dan semua pegawai di Program Studi S1 Ilmu Komputer Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara.
10. Semua pihak yang terlibat langsung ataupun tidak langsung yang tidak dapat penulis ucapkan satu per satu yang telah membantu penyelesaian skripsi ini.
Penulis menyadari bahwa skripsi ini masih terdapat kekurangan. Oleh karena itu, kepada pembaca agar kiranya memberikan kritik dan saran yang bersifat membangun demi kesempurnaan skripsi ini. Sehingga dapat bermanfaat bagi kita semuanya.
Medan, Agustus 2014 Penulis,
(Anggi Permana Harianja)
ABSTRAK
Pada penelitian ini, diperkenalkan Support Vector Backpropagation dimana Backpropagation digunakan sebagai feature reductor pada sebuah Support Vector Machine dalam upaya mengurangi pengaruh curse of dimensionality serta menciptakan visualisasi pada high dimensional data, keduanya merupakan masalah yang dihadapi dalam real-world domain pattern recognition dan Backpropagation dipilih karena tidak ada algoritma deterministik untuk mentransformasikan sebuah high dimensional data menjadi low dimensional data. Metode ini bekerja dalam 2 fase yaitu: fase mapping oleh Backpropagation untuk men-transformasi-kan sebuah high dimensional data menjadi low dimensional data untuk kemudian menuju fase classifying yang dilakukan oleh Support Vector Machine dan output dari sistem adalah hasil analisis diskriminan beserta visualisasi data-nya. Data sample yang digunakan dalam penelitain ini didapat dari UCI Machine Learning Repository, yaitu: Wisconsin Diagnostic Breast Cancer Dataset, Cleveland Heart Disease Dataset, Fisher Iris Plants Dataset, John Hopkins University Ionosphere Dataset. Dari pengujian yang dilakukan didapat hasil bahwa Support Vector Backpropagation dapat mengurangi pengaruh curse of dimensionality, ini terbukti bahwa Support Vector Backpropagation memiliki tingkat akurasi yang sama bahkan terkadang lebih baik daripada Support Vector Machine jika menggunakan sample pelatihan yang jauh lebih sedikit serta mampu menciptakan visualisasi high dimensional data-nya pada ruang 2D secara akurat.
SUPPORT VECTOR BACKPROPAGATION: IMPLEMENTATION OF
BACKPROPAGATION AS FEATURE REDUCTOR
ON SUPPORT VECTOR MACHINE
ABSTRACT
In this research, introduced Support Vector Backpropagation, where Backpropagation used as feature reductor on a Support Vector Machine in means to reduce the curse of dimensionality effect and also creating the visualization on it’s high dimensional data, both problems are always deal in real-world domain pattern recognition and Backpropagation chosen because there isn’t a deterministic algorithm to transform a high dimensional data into low dimensional data. This method works in 2 phase, which is: mapping phase by Backpropagation to transform a high dimensional data into low dimensional data and then flow into classifying phase done by Support Vector Machine and the system’s output are the result of discriminant analysis and also it’s visualization. Sample data that used in this research taken from UCI Machine Learning Repository, those are Wisconsin Diagnostic Breast Cancer Dataset, Cleveland Heart Disease Dataset, Fisher Iris Plants Dataset, John Hopkins University Ionosphere Dataset. By the test had done, got the result that Support Vector Backpropagation has same accuracy rate even better than Support Vector Machine if we use less training sample and also creating it’s high dimensional visualization in 2D space accurately.
Keywords: Support Vector Backpropagation, Backpropagation, Support Vector Machine, feature reductor, curse of dimensionality, visualization.
DAFTAR ISI
BAB 3 ANALISIS DAN PERANCANGAN SISTEM
3.1 Pengumpulan Data Pelatihan 22 3.2 Cluster-isasi Pada Iris Plants Dataset 24 3.3 Cluster-isasi Pada Wisconsin Diagnostic Breast
Cancer Dataset
3.4 Cluster-isasi Pada Cleveland Heart Disease Wisconsin Diagnostic Breast Cancer Dataset
44
3 Konfigurasi Support Vector Backpropagation pada Cleveland Heart Disease Dataset
45
4 Konfigurasi Support Vector Backpropagation pada John Hopkins University Ionosphere Dataset
47
BAB 4 IMPLEMENTASI DAN PENGUJIAN
4.1 Proses Transformasi Iris Plants Dataset Oleh Support Vector Backpropagation
49
4.2 Proses Transformasi Wisconsin Diagnostic Breast Cancer Dataset Oleh Support Vector Backpropagation
57
4.3 Proses Transformasi Cleveland Heart Disease Dataset Oleh Support Vector Backpropagation
66
4.4 Proses Transformasi John Hopkins University Ionosphere Dataset Oleh Support Vector Backpropagation
76
BAB 5 KESIMPULAN DAN SARAN
5.1 Kesimpulan 86
5.2 Saran 87
Daftar Pustaka 88
DAFTAR TABEL
Halaman
Tabel 3.1 Data Penelitian 23
Tabel 3.2 Training Sample Iris Plants Dataset 24 Tabel 3.3 Deskripsi Iris Plants Dataset 24 Tabel 3.4 Cluster Pada Iris Plants Dataset 26 Tabel 3.5 Training Sample Wisconsin Diagnostic Breast Cancer
Dataset
28
Tabel 3.6 Deskripsi Wisconsin Diagnostic Breast Cancer Dataset 29 Tabel 3.7 Cluster Pada Wisconsin Diagnostic Breast Cancer Dataset 31 Tabel 3.8 Training Sample Cleveland Heart Disease Dataset 32 Tabel 3.9 Deskripsi Cleveland Heart Disease Dataset 33 Tabel 3.10 Cluster Pada Cleveland Heart Disease Dataset 35 Tabel 3.11 Training Sample John Hopkins University Ionosphere
Dataset
37
Tabel 3.12 Deskripsi John Hopkisn University Ionosphere Dataset 39 Tabel 3.13 Cluster Pada John Hopkins University Ionosphere Dataset 42 Tabel 3.14 Konfigurasi Support Vector Backpropagation Pada Iris
Plants Dataset
43
Tabel 3.15 Konfigurasi Support Vector Backpropagation Pada Wisconsin Diagnostic Breast Cancer Dataset
44
Tabel 3.16 Konfigurasi Support Vector Backpropagation Pada Cleveland Heart Disease Dataset
46
Tabel 3.17 Konfigurasi Support Vector Backpropagation Pada John Hopkins University Ionosphere Dataset
47
Tabel 4.1 Training Sample Iris Plants Dataset Sebelum Transformasi 50 Tabel 4.2 Training Sample Iris Plants Pada Tabel 4.1 Setelah
Transformasi
52
Tabel 4.3 Training Sample Iris Plants Dataset (a) Sebelum Transformasi (b) Sesudah Transformasi
53
Tabel 4.4 Cluster-isasi Pada Iris Plants Dataset Setelah Transformasi 54 Tabel 4.5 Perbandingan Tingkat Ketelitian Classifier Pada Iris Plants
Dataset Sebelum Dan Sesudah Transformasi
55
Tabel 4.6 Training Sample Wisconsin Diagnostic Breast Cancer Dataset Sebelum Transformasi
57
Tabel 4.7 Training Sample Wisconsin Diagnostic Breast Cancer Dataset Pada Tabel 4.6 Setelah Transformasi
Tabel 4.8 Training Sample Wisconsin Diagnostic Breast Cancer Dataset (a) Sebelum Transformasi (b) Sesudah Transformasi
61
Tabel 4.9 Cluster-isasi Pada Wisconsin Diagnostic Breast Cancer Dataset Setelah Transformasi
62
Tabel 4.10 Perbandingan Tingkat Ketelitian Classifier Pada Wisconsin Diagnostic Breast Cancer Dataset Sebelum Dan Sesudah Transformasi
63
Tabel 4.11 Training Sample Cleveland Heart Disease Sebelum Transformasi
67
Tabel 4.12 Training Sample Cleveland Heart Disease Pada Tabel 4.11 Setelah Transformasi
70
Tabel 4.13 Training Sample Cleveland Heart Disease Dataset (a) Sebelum Transformasi (b) Sesudah Transformasi
71
Tabel 4.14 Cluster-isasi Pada Cleveland Heart Disease Dataset Setelah Transformasi
72
Tabel 4.15 Perbandingan Tingkat Ketelitian Classifier Pada Cleveland Heart Disease Sebelum Dan Sesudah Transformasi
73
Tabel 4.16 Training Sample John Hopkins University Ionosphere Dataset Sebelum Transformasi
76
Tabel 4.17 Traning Sample John Hopkins University Ionosphere Dataset Pada Tabel 4.16 Setelah Transformasi
79
Tabel 4.18 Training Sample John Hopkins University Ionosphere Dataset (a) Sebelum Transformasi (b) Sesudah Transformasi
80
Tabel 4.19 Cluster-isasi Pada John Hopkins University Ionosphere Dataset Setelah Transformasi
81
Tabel 4.20 Perbandingan Tingkat Ketelitian Classifier Pada John Hopkins University Ionosphere Dataset Sebelum Dan Sesudah Transformasi
82
DAFTAR GAMBAR
Halaman
Gambar 2.1 Flowchart Support Vector Backpropagation 10 Gambar 2.2 Arsitektur Support Vector Backpropagation 11 Gambar 3.1 Arsitektur Support Vector Backpropagation Pada Iris Plants
Dataset
43
Gambar 3.2 Arsitektur Support Vector Backpropagation Pada Wisconsin Diagnostic Breast Cancer Dataset
45
Gambar 3.3 Arsitektur Support Vector Backpropagation Pada Cleveland Heart Disease Dataset
46
Gambar 3.4 Arsitektur Support Vector Backpropagation Pada John Hopkins University Ionosphere Dataset
48
Gambar 4.1 Grafik Perbandingan Tingkat Ketelitian Classifier Iris Plants Dataset Sebelum Dan Sesudah Transformasi
55
Gambar 4.2 Grafis Hasil Cluster Pada Iris Plants Dataset Sesudah Transformasi
56
Gambar 4.3 Grafik Perbandingan Tingkat Ketelitian Classifier Wisconsin Diagnostic Breast Cancer Dataset Sebelum Dan Sesudah Transformasi
63
Gambar 4.4 Grafis Hasil Cluster Pada Wisconsin Diagnostic Breast Cancer Dataset Sesudah Transformasi
64
Gambar 4.5 Grafik Perbandingan Tingkat Ketelitian Classifier Cleveland Heart Disease Dataset Sebelum Dan Sesudah Transformasi
73
Gambar 4.6 Grafis Hasil Cluster Pada Cleveland Heart Disease Dataset Sesudah Transformasi
74
Gambar 4.7 Grafik Perbandingan Tingkat Ketelitian Classifier John Hopkins University Ionosphere Dataset Sebelum Dan Sesudah Transformasi
82
Gambar 4.8 Grafis Hasil Cluster Pada John Hopkins University Ionosphere Dataset Sesudah Transformasi
DAFTAR LAMPIRAN
Halaman
A Listing Program 90
B Dataset Description 111
C Daftar Riwayat Hidup 122
