Abstrak— Kantor Pertanahan Surabaya I mengembangkan sebuah laman yang memungkinkan masyarakat untuk menuliskan aduan pertanahan mereka secara bebas pada laman tersebut. Kendala utama yang dihadapai Kantor Pertanahan Kota Surabaya I adalah pengkategorian pengaduan yang tidak efisien karena dilakukan secara manual. Berdasarkan kendala yang dihadapi Kantor Pertanahan Kota Surabaya I tersebut, muncul kebutuhan akan sistem yang dapat mengklasifikasikan pengaduan secara otomatis. Dalam Tugas Akhir ini dibuat sebuah aplikasi tambahan pada laman Kantor Pertanahan Kota Surabaya I yang memanfaatkan teknologi klasifikasi teks untuk mengolah pengaduan masyarakat secara otomatis dengan menggunakan algoritma klasifiaksi berbasis pohon keputusan. Pohon keputusan dibangun dengan menggunakan kata kunci dan enam kelas yang merepresentasikan enam seksi di mana pengaduan harus ditindaklnjuti. Aplikasi yang telah berhasil dibuat dalam Tugas Akhir ini telah diuji coba dengan menggunakan data pengaduan yang sudah ada sebelumnya. Dari keseluruhan data yang ada, 70% di antaranya digunakan sebagai data pelatihan untuk membangun pohon keputusan, sedang 30% sisanya digunakan sebagai data uji coba. Hasil uji coba menunjukkan bahwa akurasi, precision, recall dan f-measure untuk data pengujian dengan persebaran data kelas yang tidak merata berturut-turut 68,06%, 72,4%, 69,8% dan 68%. Sedangkan nilai akurasi, precision, recall dan f-measure untuk data pengujian dengan persebaran data kelas yang merata berturut-turut 76,39%, 76,9%, 76,4% dan 75,4%. Hasil uji coba fungsionalitas dari aplikasi menunjukkan bahwa aplikasi mampu memberikan kemudahan dalam menindaklanjuti keluhan masyarakat mengenai permasalahan pertanahan di Kantor Pertanahan Kota Surabaya I.
Kata Kunci— C4.5, klasifikasi teks, kantor pertanahan, pengaduan masyarakat, pohon keputusan.
I. PENDAHULUAN
adan Pertanahan Nasional mempunyai tugas untuk melaksanakan tugas pemerintahan di bidang pertanahan secara nasional, regional dan sektoral. Kantor Pertanahan Kota Surabaya I adalah bagian instansi Badan Pertanahan Nasional yang memiliki tugas untuk melaksanakan tugas dan fungsi Badan Pertanahan Nasional untuk sebagian wilayah kota Surabaya bagian Barat dan Selatan. Dalam melaksanakan tugasnya, Kantor Pertanahan Surabaya I mempunyai beberapa fungsi di antaranya penanganan konflik, sengketa, dan perkara pertanahan; pelayanan, perijinan, dan rekomendasi di bidang pertanahan; dan pelaksanaan penatagunaan tanah, landreform,
konsolidasi tanah, dan penataan pertanahan wilayah pesisir, pulau-pulau kecil, perbatasan, dan wilayah tertentu.
Guna mendukung fungsinya Kantor Pertanahan Surabaya I membangun suatu laman yang memungkinkan masyarakat untuk mengadukan suatu perkara pertanahan. Masyarakat dapat menuliskan aduan mereka secara bebas tanpa format penulisan tertentu pada laman tersebut. Namun, karena aduan masyarakat dituliskan dengan tanpa format, diperlukan adanya tim yang bertugas memilah-milah pengaduan dan kemudian pengaduan tersebut diserahkan kepada seksi atau bagian yang ada pada Kantor Pertanahan Surabaya I untuk diselesaikan.
Proses pengelompokkan pengaduan yang dilakukan secara manual membutuhkan waktu yang lebih lama dan biaya yang lebih banyak. Oleh karena itu, dibutuhkan suatu sistem terkomputerisasi yang dapat membantu mengelompokkan pengaduan secara otomatis atau memberi pertimbangan mengenai jenis pengaduan. Teknologi yang mungkin dapat diterapkan guna mengakomodasi kebutuhan akan adanya sistem pengklasifikasi pengaduan secara otomatis, adalah teknologi pengklasifikasian teks atau yang dikenal dengan text classification. Teknologi pengklasifikasian teks merupakan salah satu cabang dari teknologi yang bernama text mining.
Algoritma pohon keputusan merupakan salah satu algoritma yang memiliki kinerja cukup baik dalam mengklasifikasikan teks. Oleh karena itu pada tugas akhir ini, metode tersebut digunakan untuk mengklasifikasikan pengaduan masyarakat pada kotak pengaduan laman Kantor Pertanahan Kota Surabaya I.Karya ini melaporkan bagaimana proses praproses hingga kategorisasi pengaduan dengan menggunakan metode pohon keputusan dan perangkat lunak WEKA.
II. LANDASANTEORI
Pada bab ini akan ditelaah dasar teori yang digunakan pada pembuatan sistem pengklasifikasian.
A. Penggalian Teks
Penggalian Teks (text mining) adalah suatu proses penemuan relasi dan fakta yang tersembunyi dalam kumpulan teks. Menurut Adiwijaya (2006) dalam Ernawati, Ardiyanti, & Setiawan [1], penggalian teks tidak jauh berbeda dengan penggalian data (data mining), dimana keduanya merupakan proses untuk mencari informasi yang sebelumnya tidak terungkap, dengan memproses dan menganalisa data yang ada.
Pengklasifikasian Pengaduan Masyarakat pada Laman
Kantor Pertanahan Kota Surabaya I dengan Metode
Pohon Keputusan
Yulia Sulistyaningsih, Arif Djunaidy, Renny Pradina Kusumawardani
Jurusan Sistem Informasi, Fakultas Teknologi Informasi Institut Teknologi Sepuluh Nopember
Jl. Arief Rahman Hakim, Surabaya 60111
E-mail: adjunaidy@is.its.ac.id
Menurut para ahli, penggalian data merupakan sebuah analisis data dalam jumlah besar yang bertujuan untuk menemukan hubungan yang tidak diketahui sebelumnya serta merupakan metode baru yang dapat digunakan untuk meringkas data sehingga data dapat dipahami. Sebelum suatu data masuk ke dalam proses penggalian, data tersebut harus dipersiapkan terlebih dahulu agar hasil pemrosesan lebih optimal dan biaya serta waktu komputasi lebih minimal.
Penggalian teks memiliki ketergantungan yang erat dengan pemrosesan bahasa alami atau dikenal dengan Natural Language Processing (NLP). Ketergantungan tersebut disebabkan karena masukan dari text mining berupa bahasa alami yang biasanya tidak atau kurang terstruktur. Bahasa alami adalah bahasa yang digunakan oleh manusia dalam kesehariannya [2].
B. Klasifikasi Teks
Klasifikasi teks adalah proses pengelompokkan atau klasifikasi yang diterapkan dalam dokumen atau teks. Setiap dokumen menunjuk pada suatu kelas tertentu, oleh karena itu dibutuhkan proses yang dapat menggali informasi dari dokumen tersebut [3].
Pada proses klasifikasi data, diperlukan atribut yang digunakan untuk mengarahkan data pada kelas dari suatu objek data. Sedangkan dalam klasifikasi teks, atribut yang digunakan untuk mengarahkan berupa kata-kata kunci yang ada pada dokumen tersebut. Dalam proses klasifikasi teks, terdapat lima algoritma yang sering digunakan, yaitu Naïve Bayes, Metode Rocchio, k Nearest Neighbor, Decision Tree (Pohon Keputusan), dan Support Vector Machine. Dalam sebuah tulisannya yang berjudul “Text Categorization”, Megan Chenoweth dan Min Song [4] memaparkan perbandingan kinerja dari kelima algoritma tersebut. Dari hasil perbandingan tersebut dapat disimpulkan bahwa pohon keputusan merupakan algoritma yang paling baik untuk saat ini tetapi membutuhkan optimasi untuk mencegah terjadinya underfitting ataupun overfitting.
C. Praproses Teks
Praproses teks adalah serangkaian proses yang dilakukan untuk mempersiapkan data sebelum diproses lebih lanjut. Tahapan ini bertujuan untuk menghilangkan segala kata ataupun tanda baca yang dianggap tidak memberikan dampak apapun pada proses klasifikasi dokumen.
Berdasarkan proses dalam praproses teks dalam klasifikasi dokumen yang telah dilakukan oleh beberapa peneliti, disimpulkan bahwa beberapa tahap persiapan dokumen atau teks adalah sebagai berikut.
1) Case Folding, adalah proses pengubahan semua huruf yang ada pada suatu dokumen menjadi huruf kecil. Hanya huruf “a” sampai dengan “z” yang diterima. Karakter selain huruf akan dihilangkan dan dianggap delimiter [5].
2) Tokenizing, merupakan proses yang dilakukan untuk membuat kata-kata pada dokumen menjadi berdiri sendiri-sendiri [6].
3) Remove Stopwords, adalah proses penghapusan stopwords. Stopwords adalah daftar kata-kata yang seringmuncul pada dokumen namun tidak dapat
dijadikan kata kunci suatu dokumen. Beberapa contoh stopwords adalah “yang”, “saya”, “di”, “aku”, “ke” dan sebagianya [5].
4) Stemming, merupakan proses yang digunakan untuk mengubah semua variasi kata yang ada menjadi bentuk dasarnya. Algoritma yang dapat digunakan untuk melakukan stemming bahasa Indonesia antara lain adalah algoritma stemming Porter, algoritma Nazief & Adriani, algoritma Arifin & Setiono, algoritma Vega serta Algoritma Ahmad, Yusoff, dan Sembok [7]. D. Pohon Keputusan
Pohon keputusan (decision tree) merupakan suatu metode pembelajaran yang cukup populer dan telah diaplikasikan ke dalam berbagai tugas mulai dari analisis kasus medis hingga memperkirakana resiko dalam pengambilan kredit Sebuah pohon keputusan memiliki satu buah akar (root), cabang (branch), simpul (node) dan daun (leaf). Sebuah simpulmerupakan titik dimana cabang akan terpisah. Simpul merepresentasikan sebuah pilihan yang berisi beberapa alternatif. Sedangkan daun merepresentasikan sebuah hasil klasifikasi atau keputusan [8].
Salah satu model pohon yang banyak digunakan dalam klasifikasi adalah C4.5. C4.5 merupakan salah satu algoritma pembelajaran terpadu (supervised learning) yang diterapkan dalam permasalahan klasifikasi. Secara ringkas, cara kerja dari pohon keputusan adalah sebagai berikut:
1) Ambil atribut yang ada, kemudian hitung Entropy dan Information gain dengan rumusan (1) dan (2).
p(i|t) p(i|t) )= - Entropy (t log (1)
v t nilai v v t Entropy t t ) =Entropy(t Gain (t,A)
) ( (2) Pada persamaan tersebut t merupakan ruang (data) sampel yang digunakan untuk pelatihan dan p adalah jumlah data pada data sample untuk kriteria tertentu. v merupakan nilai dari atribut A.2) Selanjutnya hitung splitInfo dan gain ratio dengan rumusan seperti pada persamaan (3) dan (4).
t ti c t i i t t A)= - t SplitInfo(,
log2 (3) ) , ( ) , int( , A t SplitInfo A t Ga A)= t GainRatio( (4)Variabel t merupakan ruang (data) sample yang digunakan sementara c menunjukkan jumlah nilai dari atribut A.
3) Pilih atribut yang memiliki nilai gain ratio yang paling besar. Dengan gain adalah information gain. Pendekatan ini menerapkan normalisasi pada information gain dengan menggunakan apa yang disebut sebagai split information.
4) Buat simpul yang berisi atribut tersebut.
5) Ulangi langkah-langkah tersebut hingga pohon tidak dapat dijabarkan lagi.
E. Pengukuran Kinerja Klasifikasi
Untuk kinerja klasifikasi yang digunakan adalah precision, recall, f-measure, dan akurasi. Akurasi adalah persentase dari
total dokumen yang benar diidentifikasi. Rumus akurasi, precision,recall, dan F-measure dapat dilihat pada persamaan (5),(6),(7) dan (8). % 100 menUjiCoba JumlahDoku ar ifikasiBen JumlahKlas Akurasi (5)
Recall adalah perbandingan jumlah materi relevan yang ditemukembalikan terhadap jumlah materi yang relevan. Precision adalah perbandingan jumlah materi relevan yang ditemukembalikan terhadap jumlah materi yang ditemukembalikan. F-measure adalah parameter yang digunakan untuk mengukur keberhasilan information retrieval.
% 100 enali arusnyaDik menyangSeh jumlahDoku iksiBenar jumlahpred recall (6) 100% i ruhprediks jumlahSelu iksiBenar jumlahpred precision (7) recall precision recall precision measure F 2* * (8)
III. METODEPENGERJAAN
Metodologi proses pelaksanaan Tugas Akhir terdiri dari identifikasi permasalahan, pengumpulan data, studi literatur, pemrosesan data, implementasi sistem pengklasifikasi, uji coba dan analisis hasil.
A. Identifikasi Permasalahan
Tahap identifikasi permasalahan adalah tahapan awal dari pembuatan tugas akhir ini. Permasalahan yang coba diselesaikan adalah bagaimana membuat sistem tambahan yang dapat digunakan untuk mengklasifikasikan pengaduan masyarakat pada Laman Kantor Pertanahan Kota Surabaya I secara otomatis.
B. Pengumpulan Data
Pada tahap ini dilakukan pengumpulan data yang diperlukan, yaitu data pengaduan masyarakat yang dikirimkan melalui laman Kantor Pertanahan Kota Surabaya I. Jumlah data yang digunakan dari masing-masing kategori adalah sebanyak 40 buah. Detil dari data disajikan pada tabel 1. C. Pemrosesan Data
Pada tahap pemrosesan data ini akan dilakukan praproses,
pembangunan sistem pengklasifikasi menggunakan fungsi pohon keputusan C4.5 / J48 pada WEKA. Berikut ini merupakan detil tahap-tahap dalam tahapan pemrosesan data.
1) Praproses Data
Pada tahap ini, data pengaduan diproses menggunakan tahap-tahap praproses, yaitu: case folding, tokenizing, stemming, dan pengumpulan serta penghapusan stopwords. Keluaran dari tahap praproses data adalah tabel frekuensi kemunculan kata-kata.
Algoritma stemming yang digunakan adalah algoritma Nazief-Adriani. Kata-kata yang dijadikan stopwords pada sistem pengklasifikasi ini adalah kata-kata yang termasuk ke dalam jenis kata-kata kata-kata preposisi, kata interjeksi, kata konjungsi, kata pronomina, dan kata numeralia.
2) Pemilihan Model Pohon Keputusan
Pada tahap ini dilakukan perbandingan beberapa pohon keputusan. Hal ini dilakukan untuk mengetahui kinerja dari berbagai jenis pohon keputusan dan memilih satu jenis pohon yang memiliki kinerja terbaik. Pohon keputusan yang dibandingkan adlaah C4.5, RandomForest, dan Random Tree.
3) Pembuatan Pengklasifikasi
Pada tahapan ini dilakukan pembangunan pengklasifikasi pohon keputusan dengan memanfaatkan fungsi penggalian data yang dimiliki oleh perangkat lunak WEKA. Pengklasifikasi dibangun dengan menggunakan bahasa pemrograman Java dan nantinya akan dipanggil oleh sistem pada laman.
D. Implementasi pada Laman
Pada tahap ini sistem pengklasifikasi akan ditempelkan ke dalam laman atau website Kantor Pertanahan Kota Surabaya I. Selanjutnya, sistem pengklasifikasi akan diuji dalam tahap uji coba dan evaluasi. Secara garis besar sistem pengklasifikasi pada laman tampak seperti pada gambar 1.
E. Uji Coba dan Analisis Hasil
Pada tahap uji coba dan evaluasi ini, sistem pengklasifikasi akan diuji. Pengujian akan dilakukan dalam beberapa aspek, yaitu pengujian dari aspek model pohon keputusan, pengujian kebenaran klasifikasi, dan pengujian kineja. Pengujian model pohon keputusan dilakukan untuk menguji seberapa optimal hasil klasifikasi dari pohon untuk menghindari model yang terlalu sederhana atau model yang terlalu sesuai dengan data pelatihan. Pengujian kebenaran klasifikasi dilakukan dengan Tabel1.
Komposisi Data Pengaduan
Kategori Jumlah
Hak Tanah dan Pendaftaran Tanah 70
Tata Usaha 40
Pengaturan dan Penataan Pertanahan 40 Pengendalian dan Pemberdayaan 40 Sengketa Konflik Perkara 40 Survei, Pengukuran, dan Pemetaan 40
dfd Use Case Package 1
Masyarakat 1 Menuliskan pengaduan 2 Sistem Kotak Pengaduan Laman 3 Klasifikasi pohon keputusan Basisdata Aduan Data Latih 4 Melihat Aduan Staf Bidang 5 Ubah Kategori aduan menerima aduan klasifikasi menyimpan menampilkan proses hasil informasi aduan Aduan menyelesaikan pengaduan update
membandingkan hasil klasifikasi dari sistem dengan klasifikasi manual dengan menggunakan rumus. precision, recall dan F-measure. Aspek selanjutnya yang diuji adalah kinerja aplikasi dengan melihat apakah dengan adanya sistem pengklasifikasi, pengkategorian pengaduan menjadi lebih mudah atau tidak. Setelah hasil uji coba didapatkan, hasil tersebut akan dianalisis agar kesimpulan dapat ditarik.
IV. IMPLEMENTASI A. Pemilihan Jenis Pohon
Proses membandingkan pohon dilakukan dengan berbagai kondisi yang termasuk di dalamnya adalah penggunaan tahap stemming dan variasi jumlah data yang digunakan. Proses membandingkan pohon dilakukan dalam enam percobaan dengan menggunakan partisi data latih dibanding data uji 70:30. Penerapan variasi kondisi pada tahap ini bertujuan untuk melihat apakah tahapan stemming dan variasi jumlah data mempengaruhi kinerja pengklasifikasi. Detil dari variasi kondisi dapat dilihat pada tabel 3. Hasil dari masing-masing percobaan dapat dilihat pada tabel 4.
Dari percobaan yang dilakukan, dapat ditarik kesimpulan bahwa pohon keputusan yang memiliki kinerja paling baik adalah pohon keputusan C4.5. Selain itu didapati bahwa proses stemming dapat membantu meningkatkan akurasi pohon
keputusan. Sehingga pada tugas akhir ini pohon yang digunakan adalah pohon C4.5 dengan menggunakan tahap stemming dalam tahap praproses dan data yang digunakan sebanyak 40 buah untuk setiap kategori.
B. Implementasi
Berdasarkan hasil pemilihan pengklasifikasi yang dilakukan, jenis pohon keputusan yang akan digunakan adalah pohon keputusan C4.5. Pohon keputusan C4.5 tersebut akan digunakan untuk mengklasifikasikan data pengaduan berjumlah 240 buah atau 40 buah untuk masing-masing kategori yang telah melalui tahap praproses dan tahap stemming. Selain itu, pada tahap ini, dilakukan seleksi terhadap kata fitur yang ada. Kata fitur diseleksi kembali dan dipilih kata-kata yang memberikan pengaruh terhadap kinerja pengklasifikasi.
Secara garis besar, proses klasifikasi pada sistem pengklasifikasian laman Kantor Pertanahan Kota Surabaya terjadi ketika ada masyarakat yang mengirimkan pengaduan pada halaman Kotak Pengaduan. Selain itu, sistem juga akan membangun ulang pohon keputusan ketika ternyata ada pengaduan yang salah kategori. Ketika staf bidang mengganti kategori pengaduan tersebut, sistem akan membangun pohon baru dan menyimpannya untuk digunakan dalam mengklasifikasikan pengaduan baru.
V. SKENARIOUJICOBA
Proses uji coba dilakukan sebanyak dua kali, yaitu uji verifikasi dan uji validasi pada dua kondisi data. Kedua kondisi data tersebut adalah dataset dengan persebaran data yang tidak merata dan dataset dengan persebaran data yang merata. Uji verifikasi dilakukan pada sisi pohon keputusan dan aplikasi yang dibuat. Pengujian verifikasi dilakukan untuk mengecek apakah keluaran dari aplikasi telah sesuai dengan proses yang dilakukan secara manual. Tahap ini menjelaskan proses uji coba validasi terhadap klasifikasi menggunakan pohon keputusan. Uji validasi dilakukan dengan melakukan penerapan algoritma pohon keputusan dengan menggunakan data uji.
1) Data Uji Coba
Data yang digunakan dalam tahap uji coba merupakan adalah data pengaduan sebanyak 72 buah data yang tidak termasuk dalam data latih dan telah melalui tahap praproses.
2) Uji Verifikasi
Uji verifikasi dilakukan sebanyak dua kali, yaitu uji kebenaran klasifikasi dan uji fungsional aplikasi. Pada pengujian kebenaran klasifikasi, diambil beberapa sampel data uji untuk diklasifikasikan secara manual dan dengan menggunakan pohon keputusan yang telah dibentuk. Dari beberapa jumlah sampel yang digunakan, pohon keputusan dapat mengklasifikasi-kannya dengan benar.
Uji fungsional aplikasi dilakukan dengan melihat apakah semua fungsi pada laman dapat berjalan yang meliputi fungsi umum laman dan fungsi sistem klasifikasi. Fungsi umum dari laman meliputi fungi login, dan logout. Fungsi dari sistem klasifikasi pada Tabel2.
Variasi Kondisi Percobaan Pengujian Jenis Pohon Keputusan dengan WEKA Percobaan Stemming Jumlah Data a* b* c* d* e* f* 1 Ya 70 30 30 30 30 30 2 Tidak 70 30 30 30 30 30 3 Ya 30 30 30 30 30 30 4 Tidak 30 30 30 30 30 30 5 Ya 40 40 40 40 40 40 6 Tidak 40 40 40 40 40 40 a
a–Hak Tanah dan Pendaftaran Tanah.
bb– Tata Usaha. c
c–Pengaturan dan Penataan Pertanahan
d
d–Pengendalian dan Pemberdayaan
e
e–Sengketa Konflik Perkara
f
f–Survei Pengukuran dan Pemetaan Tabel3.
Perbandingan Kinerja Pohon Keputusan
Percobaan Akurasi C4.5 RandomForest RandomTree 1 59,51% 56,59% 42,44% 2 57,56% 59,51% 41,46% 3 55,76% 55,15% 48,48% 4 58,79% 55,15% 41% 5 62,50% 61,11% 38,9% 6 65,28% 55,56% 51,39%
tugas akhir ini meliputi fungsi mengklasifikasikan pengaduan baru yang dikirimkan masyarakat pada laman Kantor Pertanahan Kota Surabaya I, fungsi membangun ulang pohon keputusan ketika terjadi pengubahan kategori pengaduan. Selain itu, pada uji fungsional aplikasi juga membandingkan kemudahan mengklasifikasikan pengaduan yang masuk melalui laman dengan menggunakan sistem yang ada pada laman atau menggunakan GUI perangkat lunak WEKA. Hasil dari pengujian dapat dilihat pada tabel 3 dan 4.
3) Uji Validasi
Uji validasi dilakukan dengan melakukan penerapan algoritma pohon keputusan dengan menggunakan data uji. Pada proses uji validasi ini dilakukan proses perhitungan akurasi pengklasifikasi pohon keputusan serta perthitungan precision, recall dan f-measure. Hasil dari perhitungan nilai akurasi, precision, recall, dan f-measure dapat dilihat pada tabel 5 hingga tabel 7. Klasifikasi 1 (K1) merupakan klasifikasi yang menggunakan data dengan persebaran tidak merata. Sedangkan Klasifikasi 2 (K2) merupakan klasifikasi dengan menggunakan persebaran data merata.
Tabel3.
Hasil Uji Coba Fungsi Umum Laman Nama
Fungsi Skenario Hasil Ket*
Login username dan password cocok menampilkan halaman utama pengguna Berhasil username atau password kosong menampilkan
halaman login Berhasil username dan password tidak cocok menampilkan halaman akses ditolak Berhasil Logout
tekan Logout menampilkan
halaman logout Berhasil tekan Login pada
halaman Logout
menampilkan
halaman Login Berhasil tekan Home pada
halaman Logout
menampilkan
halaman awal Berhasil
aKet-Keterangan (Berhasil atau tidak)
Tabel4.
Hasil Uji Coba Fungsi Sistem Klasifikasi
Nama Fungsi Skenario Hasil Ket*
Klasifikasi Pengaduan Baru masyarakat mengirim pengaduan baru
pengaduan masuk ke tabel aduan dan kategori berubah menjadi kategori bidang, menampilkan halaman konfirmasi aduan
Berhasil Klasifikasi Pengaduan Baru pengguna staf bidang memasukkan pengaduan baru melalui menu Entri Pengaduan
pengaduan masuk ke tabel aduan dan kategori berubah menjadi kategori bidang, menampilkan halaman Entri Pengaduan
Berhasil Ubah Kategori Staf bidang menekan tombol Ubah kategori pada halaman Pengaduan
tampil halaman Edit
Pengaduan Berhasil Ubah Kategori pengguna mengganti kategori aduan kategori pengaduan berubah dan pohon keputusan dibangun ulang
Berhasil
aKet-Keterangan (Berhasil atau tidak)
Tabel5.
Hasil Akurasi Pohon Keputusan
Klasifikasi Akurasi Klasifikasi 1 (K1) 68,06 % Klasifikasi 2 (K2) 76,39 %
Tabel6.
Hasil Perhitungan Precision dan Recall Kategori Precision Recall
K1 K2 K1 K2
Hak Tanah dan
Pendaftaran Tanah 35,30 % 62,50 % 60,00 % 41,70 % Tata Usaha 54,50 % 71,40 % 85,70 % 83,30 % Pengaturan dan Penataan Pertanahan 66,70 % 73,30 % 83,30 % 91,70 % Pengendalian dan Pemberdayaan 100% 75,00 % 70,60 % 100% Sengketa Konflik Perkara 77,80 % 88,90 % 46,70 % 66,70 % Survei, Pengukuran, dan Pemetaan 100% 90,00 % 72,70 % 75,00 % Rata-rata 72,40 % 76,90 % 69,80 % 76,40 % Tabel7.
Hasil Perhitungan F-measure
Kategori F-measure
K1 K2
Hak Tanah dan Pendaftaran
Tanah
0.44
0.50
Tata Usaha
0.67
0.77
Pengaturan dan Penataan
Pertanahan
0.74
0.82
Pengendalian dan
Pemberdayaan
0.83
0.86
Sengketa Konflik Perkara0.58
0.76
Survei, Pengukuran, dan
Pemetaan
0.84
0.82
4) Analisis Hasil
Berdasarkan hasil uji kebenaran klasifikasi pada tahap uji verifikasi, dapat dibuktikan bahwa data keluaran dari sistem pengklasifikasian pengaduan masyarakat telah sesuai dengan klasifikasi secara manual. Meskipun masih terdapat beberapa data pengaduan yang masih belum dapat diklasifikasikan dengan benar. Hal ini terjadi karena, kata-kata yang ada pada pengaduan tersebut menjadi kata fitur dari kategori lain.
Bedasarkan hasil uji fungsional aplikasi yang dilakukan pada tahap uji verifikasi didapatkan hasil bahwa fungsi dasar dan fungsi klasifikasi dari sistem pengklasifikasi telah dapat berjalan sesuai dengan harapan. Dimana fungsi umum seperti Login dan Logout telah dapat berjalan lancar dan dapat menangani beberapa skenario alternatif.
Berdasarkan perhitungan akurasi pohon keputusan, dapat dibuktikan bahwa pohon keputusan yang dilatih dan diuji dengan menggunakan data yang tersebar merata memiliki akurasi yang lebih baik, yaitu sebesar 8,33%. Berdasarkan pada perhitungan precision, recall dan f-measure pada bagian 6.3.2.2, K2 memiliki nilai rata-rata precision, recall dan f-measure yang lebih baik dibandingkan dengan K1, yaitu 76,9%, 76,4%, dan 0,754%. Sehingga dapat disimpulkan bahwa pohon keputusan hasil dari klasifikasi 2 (K2) memiliki tingkat ketepatan dan sensitivitas pengklasifikasi yang lebih baik. Selain itu, dapat ditarik kesimpulan bahwa proses partisi data dengan memperhatikan persebaran data dapat meningkatkan performa dari pohon keputusan.
VI. KESIMPULAN
Setelah melakukan perancangan dan pembuatan aplikasi klasifikasi pengaduan berbasis laman dengan menggunakan metode pohon keputusan, maka dapat diambil kesimpulan sebagai berikut :
1) Berdasarkan hasil uji coba perbandingan beberapa metode pohon keputusan (C4.5, RandomForest, dan RandomTree) dengan menggunakan WEKA, dapat disimpulkan bahwa jenis pohon yang paling baik untuk penggalian teks adalah pohon C4.5. Selain itu, dapat juga disimpulkan bahwa penggunan proses stemming mampu meningkatkan akurasi klasifikasi, mengurangi jumlah sumber daya komputasi, dan waktu pembangunan pohon. Hal ini dikarenakan proses stemming merupakan proses yang dapat mengurangi jumlah kata-kata fitur. Semakin sedikit jumlah kata fitur yang digunakan, semakin sedikit jumlah simpul dari pohon yang dihasilkan, sehigga waktu dan sumber daya komputasi yang digunakan juga semakin sedikit. 2) Berdasarkan hasil perhitungan akurasi pada tahap uji
validasi, dapat ditarik kesimpulan bahwa pohon keputusan yang menggunakan data dengan persebaran tidak merata memiliki nilai akurasi, precision, recall dan f-measure berturut-turut sebesar 68,06%, 72,4%, 69,8% dan 68,4%. Sedangkan pengklasifikasi yang
menggunakan persebaran data merata memiliki nilai akurasi, precision, recall, dan F-measure berturut-turut sebesar 76,39%, 76,9%, 76,4% dan 75,4%. Sehingga dapat ditarik kesimpulan bahwa pohon keputusan yang menggunakan persebaran data merata memberikan hasil akurasi yang lebih baik, memiliki tingkat ketepatan, sensitivitas pengklasifikasi yang lebih baik, dan memiliki peningkatan nilai f-measure yang lebih baik berturut-turut sebesar 8,33%, 4,5%, 6,6% dan 7%.
VII. SARAN
Saran yang dapat dipertimbangkan untuk pengembangan sistem pengklasifian pengaduan yang dibuat atau penerapan pohon keputusan dalam pengklasifikasian teks adalah adalah:
1) Perlunya perbaikan lebih lanjut seperti penambahan data pelatihan yang memiliki kata-kata fitur baru dan lebih beragam sehingga akurasi pohon keputusan dapat ditingkatkan melalui kata fitur yang lebih beragam. 2) Penambahan kategori “bukan pengaduan” untuk
mempermudah pengklasifikasian pengaduan yang tidak terkait dengan masalah pertanahan.
3) Adanya fitur tambahan pada aplikasi yang memungkinkan staf bidang masing-masing yang menangani pengaduan masyarakat untuk memberikan tanggapan pengaduan secara langsung melalui laman, tanpa perlu menunggu kiriman email mengenai tanggapan yang harus dilakukan.
UCAPANTERIMAKASIH
Penulis Y.S mengucapkan terima kasih kepada Kantor Pertanahan Kota Surabaya I yang telah nenberikan bantuan baik secara langsung maupun tidak langsung terhadap pengerjaan tugas akhi ini. Tidak lupa pula ucapan terima kasih penulis ucapkan kepada dosen Jurusan Sistem Informasi ITS yang telah memberikan ilmu, bandtuan, serta dukungan dalam proses pengerjaan.
DAFTAR PUSTAKA
[1] Ernawati, S., Ardiyanti, A. dan Setiawan, E. B. (2009). “Klusterisasi Dokumen Berita Berbahasa Indonesia Menggunakan Document Index Graph”. Disampaikan pada Seminar Nasional Aplikasi Teknologi Informasi 2009; Yogyakarta: 2009.
[2] Berry, M. W. dan Kogan, Jacob. "Text Mining: Application and Theory". John Wiley & Son, Ltd; 2010.
[3] Destuardi, I dan Sumpeno, Surya. "Klasifikasi Emosi untuk Teks Bahasa Indonesia Menggunakan Metode Naive Bayes". Disampaikan pada Seminar Nsional Pascasarjana IX - ITS; Surabaya: 2009.
[4] Chenoweth, Megan dan Song, Min. "Text Categorization". Encyclopedia of Data Warehousing and Mining 2009: 1936-1941. [5] Wibisono, Y. dan Khodra, M. L. (2005). Clustering Berita Berbahasa
Indonesia,
http://fpmipa.upi.edu/staff/yudi/KNSI_Clustering_yudi_masayu.pdf, diunduh pada 8 Oktober 2011.
[6] Sulistyo, W. "Klasifikasi Dokumen Berbahasa Inggris Berdasarkan Weighted-Term". Jurnal Teknologi Informasi-Aiti 2008: 105-205. [7] Asian, J., Williams, H. E. dan Tahaghoghi, S.M.M. (2005). Stemming
Indonesian, http://crpit.com/confpapers/CRPITV38Asian.pdf, diunduh pada 23 Nopember 2011.
[8] Zhao, Y. dan Zhang, Y. (2007). Comparison of Decision Tree Methods for Finding Active Objects, http://arxiv.org/pdf/0708.4274.pdf, diunduh pada 4 Pebruari 2012.
