PROVINSI JAWA TIMUR Herlina Prasetyowati Sambodo 1) , Santi Wulan Purnami 2)
METODE PENELITIAN
Jenis, Waktu dan Tempat Penelitian
Penelitian ini menggunakan pendekatan kuantitatif dengan metode machine learning yaitu menggunakan Reduce Support Vector Machine (RSVM).
Target/Subjek Penelitian
Penelitian dilakukan terhadap populasi desa di Provinsi Jawa Timur. Sebanyak 8.502 desa di Provinsi Jawa Timur akan diteliti dan dikaji mengenai status ketertinggalan yang dimiliki.
Data
Data yang digunakan dalam penelitian ini adalah data sekunder yaitu data Potensi Desa (PODES) dan data Klasifikasi desa/kelurahan tahun 2011. Data merupakan data Populasi yang dikumpulkan melalui sensus. Data PODES dikumpulkan oleh Badan Pusat Statistik (BPS) yang pendataannya dilaksanakan pada tahun 2011, sedangkan data klasifikasi desa/kelurahan merupakan data yang dikeluarkan oleh Dirjen Pemberdayaan Masyarakat Desa (PMD) Kementrian Dalam Negeri (Kemendagri).
Variabel Penelitian
Variabel yang akan digunakan dalam penelitian ini dipilih berdasarkan referensi dari penelitian sebelumnya yaitu pada publikasi BPS mengenai identifikasi dan Penentuan Desa tertinggal 2002, indikator desa tertinggal menurut Kementrian Pembangunan Daerah Tertinggal
(PDT) Tahun 2007 dan Profil Desa dan Kelurahan (2012) menurut Kementrian Dalam Negeri c.q. Dirjen PMD.
Profil desa dan kelurahan memuat tipologi dan klasifikasi desa dan kelurahan yang merupakan karakteristik desa dan kelurahan berdasarkan potensi sumber daya alam dan interaksi dengan kegiatan sosial ekonomi masyarakat (pola nafkah). Tipologi desa dan kelurahan mempertemukan konsep sumber daya alam, konsep pemberdayaan masyarakat, dan pola nafkah, dan aspek kewilayahan. Proksi terhadap profil desa dan kelurahan disusun berdasarkan data Potensi Desa dari Badan Pusat Statistik (BPS) antaralain PODES Tahun 2011.Penelitian dilakukan pada seluruh desa/kelurahan yang ada di Provinsi Jawa Timur yaitu sebanyak 8.502 desa/kelurahan.
Variabel respon (Y) merupakan variabel yang berisi kelas yang terdiri atas dua kategori yaitu {+1} untuk desa/kelurahan tertinggal dan {-1} untuk desa/kelurahan tidak tertinggal. Pengukuran variabel respon didapat Profil Desa dan Kelurahan yang dikeluarkan dari Dirjen PMD, sedangkan variabel prediktor didapatkan dari hasil pendataan PODES Provinsi Jawa Timur Tahun 2011 yaitu sebanyak 17 variabel.
Teknik Analisis Data
Smooth Support Vector Machine (SSVM)
SSVM adalah pengembangan baru dari SVM dengan fungsi kernel dan non linier untuk analisis klasifikasi menggunakan metode smoothing. SVM pertama kali diperkenalkan oleh Boser, Guyon dan Vapnik pada tahun 1992 sebagai rangkaian harmonis konsep-konsep unggulan dalam statistical learning theory. Prinsip dasar SVM adalah linier classifier dan selanjutnya dikembangkan agar dapat bekerja pada problem non linier dengan memasukkan konsep kernel trick pada ruang kerja berdimensi tinggi (Vapnik, 1995).
SSVM seperti halnya SVM digunakan untuk klasifikasi dua kategori atau binomial untuk memisahkan titik-titik yang berasal dari dua kelas yang berbeda misalnya kelas {+1} dan {-1}, dengan hyperplane tunggal pada ruang berdimensi banyak yang membentuk partisi yang kemudian diselesaikan secara non linier (Vapnik and Cortez, 1995). Margin adalah jarak antara hyperplane dengan pola terdekat masing-masing class. Pola yang paling dengan ini disebut support vector.
Program algoritma dari SVM linier standar adalah
1 ( , , )
1
min
'
'
2
dengan kendala (
)
0
p n b y Rv
we y
w w
D Aw e
y
e
y
(1)v : merupakan parameter dalam SVM yang bernilai positif
y : adalah vektor variabel slack berukuran n x 1 yang mengukur kesalahan klasifikasi dan bernilai nonnegative
w : adalah vektor normal berukuran p x 1
: nilai bias yang menentukan lokasi relatif hyperplanePemisah kedua kelas yang berbeda tersebut adalah permukaan linier yang berada tepat di tengah-tengah bidang pemisah yaitu
'
x w (2)
Terdapat dua bidang pemisah yang paralel dengan bidang pemisah di atas yang merupakan batas kedua kelas yaitu
' 1 ' 1
x w x w (3)dengan jarak tertentu yang disebut margin. Margin terbesar dapat ditemukan dengan
memaksimalkan nilai jarak antara hyperplane dan titik terdekatnya yaitu
1
w
. xmerupakan vektor yang menyusun ruang riil berdimensi
R
pdan menentukan lokasi relatif terhadap kelas asli. Pada persamaan tersebut y diminimasi dengan bobot v. Sehingga bidang yang memisahkan kedua kelas dengan soft margin adalah'
1, untuk '
dan
1
'
1, untuk '
dan
1
dengan kendala (
)
0
i i ii i i ii
x w
y
x
A
D
x w
y
x
A
D
D Aw e
y
e
y
(4)Dalam pendekatan smoothing, y diminimasi dengan bobot
2 v
, sehingga problem dari
SVM yang dimodifikasi menjadi SSVM adalah
1 2 ( , , ) 1 min ( ) 2 2 dengan kendala ( ) 0 n m u y R v
y'y w'w D Aw e y e y (5)dimana untuk memperoleh solusi dari problem tersebut variabel slack dapat ditulis menjadi
(
(
))
y
e D Aw e
(6)Substitusi y dilakukan sehingga didapatkan problem optimasi SSVM tanpa kendala dapat ditulis menjadi
1 2 2 2 ( , ) 1 min ( )) ( ) 2 2 n w R v e - D(Aw - e
w'w
(7)dengan fungsi plus didefinisikan sebagai
( )x
imaks{0,x } untuk =1,2,...,p
ii
. Problem di atas adalah problem cembung tanpa kendala yang mempunyai solusi unik tapi tidak mempunyai turunan kedua sehingga memerlukan metode Newton. Problem tersebut di smoothing dan metode Newton diterapkan, yang kemudian akan menghasilkan problem nonlinier yang akan dijelaskan kemudian.Untuk selanjutnya digunakan General Support Vector Machine (GSVM) untuk membangkitkan bidang pemisah nonlinier dengan menggunakan kernel arbitrary lengkap.
Beberapa jenis fungsi kernel dasar yang biasa dipakai dalam SVM adalah (Gunn, 1998 dan Hsu et al., 2005) sebagai berikut :
1. Linear, dengan fungsi kernel ( , ) T
i j i j
K A A A A
2. Polynomial, dengan fungsi ( , ) ( T ) dimana d 0
i j i j
K A A
A A r
3. Gaussian atau RBF, dengan fungsi 2
2 ( ,i j) exp( i j )
K A A
A Adimana
04. Sigmoid ,dengan fungsi ( , ) tanh( T )
i j i j
K A A
A A rdimana 0
GSVM memecahkan problem matematis untuk kernel umum
K A A( , ')
sehingga1 ( , ) 2 2
min
( )
dengan kendala
( (
)
0
n w Rv
f
K
e
e'y
u
D
A, A')Du - e
y
y
(8)( )
f
u
adalah fungsi cembung padaR
m yang meminimasi parameter u dan vmerupakan bilangan positif yang memboboti error klasifikasie'y
dibandingkan minimasi dari u. Program solusi untuk u dan menghasilkan bidang pemisah nonlinier yaitu(
K
x', A')Du
(9)Formulasi linier SSVM didapatkan bila
K(A, A')AA'
, w = A'Du dan1 ( )
2
f u u'DAA'Du. Sehingga digunakan tujuan klasifikasi yang berbeda yang meminimasi parameter udan dalam persamaan nonlinier
2 1 2 ( , , ) 1 min ) 2 2 dengan kendala ( ( ) 0 m u y R v K
y'y + (u'u D A, A')Du - e y e y (10)(
( (K
)
y
e - D
A, A')Du - e
(11)Sehingga didapatkan SSVM dengan problem optimasi tanpa kendala sebagai berikut :
1 2 2 2 ( , ) 1 min ( ( ( )) ( ) 2 2 m u R v K e - D A, A')Du - e
u'u
(12)yang merupakan fungsi objektif mempunyai solusi unik tetapi tidak mempunyai turunan kedua, dan tidak smooth, oleh karena itu disarankan untuk menerapkan metode Newton dengan teknik smoothing dan menggantikan
x
atau fungsi plus denganp x( , )
yaitu integral dari fungsi sigmoid neural network 11
x sehingga dapat dituliskan menjadi1
( , )
log(1
x),
0
p x
x
(13)Fungsi p di atas (dengan sebagai parameter penghalus) digunakan untuk menggantikan fungsi plus sehingga didapatkan model SSVM yaitu
1 2 2 2 ( , ) 1 min ( ), ) ( ) 2 2 p w R v p e - D(Aw - e
w'w
(14)Persamaan di atas yang telah dimodifikasi dengan penambahan parameter penghalus dan dapat diperoleh turunan keduanya sehingga penyelesaian problem tersebut dapat dilakukan dengan menerapkan algoritma konvergen kuadrat Newton dengan tahapan Armijo atau disebut Algoritma Newton Armijo yang membuat algoritma tersebut konvergen secara global.
Reduce Support Vector Machine (RSVM)
SVM dengan kernel linier dan non linier menjadi algoritma yang cukup terkenal untuk klasifikasi. Melalui kernel mapping, bermacam model SVM berhasil dengan efektif dan fleksibel untuk model non linier. Namun terdapat beberapa keterbatasan yang dimiliki SVM di antaranya masalah banyaknya waktu dan penyimpanan yang diperlukan untuk memecahkan masalah pemrograman khususnya untuk data dengan ukuran besar. Kesulitan yang dihadapi dalam penggunaan kernel non linier pada data berukuran besar secara garis besar ada dua. Pertama adalah kesulitan komputasi dalam memecahkan problem optimasi tanpa kendala yang besar yang melibatkan fungsi kernel yang membutuhkan memori sangat besar bahkan sebelum dimulainya proses pencarian solusi. Kedua adalah kesulitan dalam penggunaan formula untuk bidang pemisah pada x yang merupakan titik baru yang tidak terlihat. Hal tersebut berarti data yang berukuran besar memerlukan memori besar dan waktu penghitungan yang lama. Untuk menangani kesulitan komputasi tersebut, sebagai alternatif, disarankan metode Reduced Support Vector Machine (RSVM) yang disarankan oleh Lee dan Mangasarian ( 2001).
RSVM diturunkan dari Generalized Support Vector Machine (GSVM) dan Smooth Support Vector Machine (SSVM) (Lee and Huang, 2005; Purnami, Zain, Heriawan, 2012).
RSVMberangkat dari ide menggunakan bagian kecil
( )m
dari total dataset( )m
yang dipilih secara random atau acak (m selalu lebih kecil dibandingkan m) yang disebutA
. Untuk selanjutnya digunakanA'
untuk menggantikan A'pada kedua probel optimasi tanpa kendala untuk mengatasi masalah ukuran matriks dan waktu pemrosesan.Formulasi RSVM
Dengan menggunakan formulasi untuk data di mana
AR
mxn dengan kernel square( , ')
mxmK A A
R
dan memodifikasi formulasi berikut untuk data reducedAR
mxn yang korespondensi dengan matriks diagonal( )D
dan matriks kernel( , ')
mxnK A A
R
akan didapatkan algoritma RSVM yang dipecahkan dengan smoothing. Program kuadratik RSVM didapatkan dengan mengganti A' denganA'
sehingga menjadi1 2 ( , , ) 1 min ( ) 2 2 dengan kendala ( ( ) 0 m m u y R v K
y'y u'u D A, A')Du - e y e y (15)Data yang diperoleh akan diolah menggunakan metode RSVM dengan menggunakan software Matlab. Pendekatan machine learning dengan seleksi parameter dilakukan dalam penelitian ini untuk mendapatkan model terbaik menggunakan Uniform Design (UD) dan K-fold Cross Validation (KCV). Dalam penelitian ini dilakukan perbandingan penggunaan fungsi kernel Gaussian dan Linear dengan nilai K sebesar 3,4,5, dan 10 pada KCV untuk mendapatkan model terbaik. Langkah-langkah dan metodenya adalah sebagai berikut
1. Analisis Deskriptif
2. Memperoleh klasifikasi status ketertinggalan desa/kelurahan di Provinsi Jawa Timur dengan metode RSVM menggunakan fungsi kernel dan teknik KCV dengan nilai K yang memiliki tingkat akurasi tertinggi
i. Membangkitkan atau membentuk subset matriks dari elemen full matriks secara random untuk menggantikan / representasi dari full matriks
ii. Menerapkan fungsi kernel RBF/Gaussian, dan Linear dalam model RSVM
iii. Membuat partisi data dengan KCV dengan nilai k sebesar 3,4,5, dan 10 dalam mendapatkan parameter untuk membangun model RSVM
iv. Menentukan kombinasi parameter yang paling tepat untuk model fungsi kernel Gaussian, dan Linear dengan teknik KCV berdasarkan tingkat akurasi tertinggi v. Membangun model RSVM menggunakan fungsi kernel Gaussian, dan Linear
berdasarkan teknik KCV yang mempunyai tingkat akurasi tertinggi
3. Membandingkan tingkat akurasi ketepatan klasifikasi untuk status ketertinggalan desa/kelurahan di Provinsi Jawa Timur dengan pendekatan RSVM dengan fungsi kernel
Gaussian, dan Linear berdasarkan teknik KCV dengan nilai K yang mempunyai tingkat akurasi tertinggi
HASIL PENELITIAN DAN PEMBAHASAN
Data klasifikasi desa menunjukkan dari total 8.502 desa/kelurahan di Provinsi Jawa Timur pada tahun 2011, sebanyak 4.273 desa/kelurahan (50,26 persen) diklasifikasikan sebagai desa tertinggal dan sisanya sebanyak 4.229 desa/kelurahan (49,74 persen) termasuk desa tidak tertinggal. Hal tersebut menunjukkan bahwa separuh desa/kelurahan di Provinsi Jawa Timur masih tergolong desa tertinggal.
RSVM diterapkan untuk mengklasifikasikan desa/kelurahan tersebut untuk mendapatkan klasifikasi status ketertinggalan desa. Desa/kelurahan diklasifikasikan ke dalam dua kelas, kelas +1 untuk desa tertinggal dan kelas -1 untuk desa tidak tertinggal dengan hyperplane tunggal pada ruang berdimensi banyak yang membentuk partisi yang kemudian diselesaikan secara non linier dengan memasukkan konsep kernel trick (Vapnik, 1995; Vapnik and Cortez, 1995). Jarak yang paling optimum antara hyperplane dengan pola terdekat masing-masing kelas disebut margin.
Penelitian ini ingin membandingkan kernel Linear yang sesuai untuk data dalam jumlah besar, dan kernel Gaussian/RBF yang dianggap efisien (Hsu, et.al, 2008) untuk klasifikasi status ketertinggalan desa di Provinsi Jawa Timur dengan metode seleksi parameter UD dan teknik estimasi error menggunakan KCV. Nilai K yang digunakan dalam penelitian ini adalah 3,4,5, dan 10, dengan alasan seperti yang telah dijelaskan sebelumnya. Dalam hal ini, ingin didapatkan model terbaik untuk klasifikasi status ketertinggalan desa di Provinsi Jawa Timur dengan menggunakan metode RSVM berdasarkan tingkat akurasi tertinggi yang diukur melalui training error maupun akurasi model.
Tabel 1. Perbandingan Training Error dan Akurasi RSVM Number of K of KCV Measure Kernel Function RBF/Gaussian Linear 3 Training error 0,36 0,26 Akurasi 0,58 0,72 4 Training error 0,36 0,26 Akurasi 0,55 0,74 5 Training error 0,37 0,27 Akurasi 0,60 0,73 10 Training error 0,34 0,25 Akurasi 0,60 0,74
Tabel di atas menunjukkan secara umum, kernel linear memberikan hasil yang lebih baik dibandingkan dengan kernel RBF, hal tersebut ditunjukkan dengan training error yang lebih kecil dan tingkat akurasi yang lebih besar.
Apabila dilihat dari teknik KCV, 10-fold CV ternyata memang memberikan hasil yang paling baik dibandingkan ketiga nilai K yang lain baik dari sisi training error pada kedua fungsi kernel yaitu berturut-turut sebesar 0,34 persen dan 0,25 persen. Tingkat akurasi pada penggunaan 10-fold CV juga paling tinggi yaitu sebesar 0,60 persen dan 0,74 persen.
Berdasarkan uraian di atas terlihat bahwa penggunaan fungsi kernel Linear dan 10-fold CV pada metode RSVM akan memberikan training error terendah dan tingkat akkurasi tertinggi pada klasifikasi status ketertinggalan desa di Provinsi Jawa Timur.
SIMPULAN DAN SARAN
RSVM adalah salah satu metode yang dapat digunakan untuk mengklasifikasikan data dalam jumlah besar. Hasil penelitian menunjukkan bahwa penggunaan kedua fungsi kernel menunjukkan fungsi kernel Linear menunjukkan hasil yang lebih baik dibandingkan fungsi kernel RBF. Selanjutnya seperti penelitian yang sudah dilakukan sebelumnya (Kohavi, 1995) 10-fold CV adalah teknik terbaik. Berdasarkan hasil tersebut dapat dikatakan bahwa fungsi kernel Linear dan teknik 10-fold CV merupakan metode terbaik dalam pengklasifikasian status ketertinggalan desa di Provinsi Jawa Timur.
DAFTAR PUSTAKA
Agresti, A., 1996, An Introduction to Categorical Data Analysis, John Willey and Son, Inc, United States of America
Andari, S., 2012, Smooth Support Vector Machine dan Multivariate Adaptive Regression Splines Untuk Mendiagnosis Kanker Payudara, Tesis, Mahasiswa Jurusan Statistika Fakultas MIPA ITS, Surabaya.
Anguita, D., Gelardoni, L., Ghio, A., Oneto, L., and Ridella, S., (2012), The K in K-fold Cross Validation, European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning (ESANN 2012) Proceedings, Bruges (Belgium), 25- 27 April 2012 .
Badan Pusat Statistik, 2005, Identifikasi dan Penentuan Desa Tertinggal 2002, Badan Pusat Statistik, Jakarta.
Badan Pusat Statistik, 2011, Pedoman Pendataan PODES 2011, Badan Pusat Statistik, Jakarta. Badan Pusat Statistik, 2012, Profil Kemiskinan Indonesia September 2011, Berita Resmi
Statistik No. 06/01/Th. XV, 2 Januari 2012, Badan Pusat Statistik, Jakarta BAPPENAS, 1993, Panduan Pelaksanaan Program IDT 1994-1999, Jakarta.
Chien, L.J., Chang, C.C. and Lee, Y.J., 2010, Variant methods of reduced set selection for reduced support vector machines, Journal of Information Science and Engineering, Vol. 26 (1).
Cortes, C. And Vapnik, V., 1995, Support vector networks, Machine Learning, 20, 273-297. Dimulyo S., 2009, Penggunaan Geographically Weighted Regression-Kriging untuk
Klasifikasi Desa Tertinggal, dalam Seminar Nasional Aplikasi Teknologi Informasi (SNATI) 2009, Yogyakarta.
Dirjen Pemberdayaan Masyarakat Desa (PMD) Kemendagri, (2012), Profil Desa dan Kelurahan 2011 : Data Dasar Tipologi, Klasifikasi, Kategori Desa dan Kelurahan Menurut Provinsi,Dirjen PMD Kemendagri, Jakarta.
Djuraidah, A., 2009, Analisis Status Ketertinggalan Daerah dengan Analisis Diskriminan, Seminar Nasional Matematika dan Pendidikan Matematika, UNY, Yogyakarta.
Edy, L., 2009, Pencapaian Pembangunan Daerah Tertinggal Lima Tahun Terakhir, Jurnal Sekretariat Negara, No : 13, Agustus 2009.
Gunn, S., 1998, Support Vector Machines for Clasification and Regression, Technical Report, ISIS.
Hidayat, S., 2008, Permodelan Desa Tertinggal di Jawa Barat Tahun 2005 dengan Pendekatan Mars, Tesis Mahasiswa Jurusan Statistika Fakultas MIPA ITS, Surabaya
Hsu, C.W., Chang, C. C., & Lin, C. J., 2008. A practical guide to Support Vector Classification, Taipe: Information Engineering National Taiwan University.
Huang, C.M., Lee, Y.J., Lin, D.K.J. and Huang, S.Y., 2007, “Model selection for support
vector machines via uniform design”, A Special issue on Machine Learning and Robust
DataMining of Computational Statisticsand Data Analysis, Vol. 52, pp. 335-346.
Kementrian Pembangunan Daerah Tertinggal, 2011, Indikator Primer Daerah Tertinggal Tahun 2011, KPDT : kpdt.bps.go.id/index.php?AnalisisData/ analisa1#, Jakarta (diakses 5 Juli 2013).
Kohavi, R., 1995, A study of cross-validation and bootstrap for accuracy estimation and model selection. InInternational joint Conference on artificial intelligence, volume 14, pages 1137–1145, 1995.
Lee, Y. J., 2001, Support vector machines in data mining, PhD thesis, University of Wisconsin- Madison, USA.
Lee, Y.J., & Mangasarian, O.L., 2001, A Smooth Support Vector Machine, Jurnal of Computational Optimization and applications 20:5-22.
Lee, Y.J., & Mangasarian, O.L., 2001 “RSVM: Reduced Support Vector Machines”, In Proceedings of the First SIAM International Conference on Data Mining.
Lee, Y.J. and Huang, S.Y., 2007, “Reduced Support Vector Machines: A Statistical Theory”, IEEE Trans.Neural Network, Vol.18, no. 1.
Lin, K.M and Lin, C.J., 2003, “A study on reduced supportvector machines”, IEEE Trans.Neural Network, Vol.14,no.6, pp.1449-1459.
Menteri Negara Pembangunan Daerah Tertinggal Republik Indonesia, 2005, Strategi Nasional Pembangunan Daerah Tertinggal, Kementerian Negara Pembangunan Daerah Tertinggal Republik Indonesia, Jakarta
Menteri Koordinator Kesejahteraan Masyarakat, 2009, Membangun Kesejahteraan dan
Kemandirian Bangsa, Kemenkesra
http://www.setneg.go.id/index.php?option=com_content&task=view&id=2263&Itemid= 219 (diakses tanggal 24 Agustus 2013).
Mubyarto, 1994, Keswadayaan Masyarakat Desa Tertinggal, Aditya Media, Yogyakarta.
Narayan, D., Patel, R., Schafft, K., Rademacher, A., Schulte, S.K, 1999, Can Anyone Hear Us? Voice From 47 Countries. Poverty Group, PREM. World Banks.
Nugroho, A.S., Witarto, A.A., Handoko, Dwi, Support Vector Machine : Teori dan Aplikasinya dalam Bioinformatika, http://ilmukomputer.com (diakses 4 Juli 2013).
Purnami, S.W., Zain, J.M., Heriawan, T., (2011), An alternative algorithm for classification large categorical dataset: k-mode clustering reduced support vector machine. International Journal of Database Theory and Application Vol. 4, No. 1, March 2011. Putra, A.S., 2013, Daerah Tertinggal, Perdesaan Swadaya/Tertinggal dan Kecamatan Tertinggal,
http://opentrade2222.blogspot.com/2013/05/daerah-tertinggal-perdesaan.html (diakses tanggal 24 Agustus 2013).
Tim Nasional Percepatan Penanggulangan Kemiskinan (TNP2K), 2012, Buku Saku PNPM Mandiri, TNP2K, Jakarta.
Tim Nasional Percepatan Penanggulangan Kemiskinan (TNP2K), 2012, Daftar Indikatif Lokasi dan Alokasi BLM Program PNPM Mandiri 2012, TNP2K, Jakarta.
Vapnik, V., 1995, The Nature of Statistical Learning Theory, Springer-Verlag, New York. Wahyuningsih, D., 2009, Analisis Karakteristik Desa Tertinggal dengan Stuctural Equation
