Pengklasifikasian Pengaduan Masyarakat pada Laman Kantor Pertanahan Kota Surabaya I dengan Metode Pohon Keputusan

(1)

Pengklasifikasian Pengaduan Masyarakat pada

Laman Kantor Pertanahan Kota Surabaya I

dengan Metode Pohon Keputusan

Penyusun Tugas Akhir :

Yulia Sulistyaningsih 5208 100 113

Dosen Pembimbing :

Prof. Ir. Arif Djunaidy M.Sc Ph.D

(2)

Latar Belakang (1)

Kantor Pertanahan Surabaya I memiliki tugas untuk

melaksanakan tugas dan fungsi Badan Pertanahan Nasional untuk sebagian wilayah kota Surabaya.

Guna mendukung fungsinya dalam penanganan konflik, sengketa, dan masalah

pertanahan, Kantor Pertanahan Surabaya I membangun laman yang memungkinkan masyarakat untuk mengadukan perkara

(3)

Latar Belakang (2)

Proses pengelompokkan pengaduan dilakukan secara manual

sehingga membutuhkan waktu yang lebih lama dan biaya yang lebih

banyak sebab pengaduan masyarakat diunduh dan diperbanyak

sebanyak seksi yang ada.

Sehingga, dibutuhkan suatu sistem yang dapat membantu Kantor

Pertanahan Kota Surabaya I mengelompokkan pengaduan secara

otomatis atau memberi pertimbangan mengenai jenis pengaduan.

(4)

Mengapa Pohon Keputusan ?

Dalam sebuah tulisannya yang berjudul

“Text Categorization”, Megan

Chenoweth dan Min Song memaparkan perbandingan kinerja dari kelima

algoritma tersebut.

Beberapa kelebihan Pohon Keputusan : • Tidak memerlukan sumber daya

komputasi yang banyak untuk membangunnya

• Cepat dalam mengklasifikasikan data yang belum diketahui

• Mudah untuk diinterpretasikan (untuk pohon ukuran kecil)

(5)

Rumusan Masalah

1. Bagaimana membuat pengklasifikasi yang mampu

mengklasifikasikan pengaduan masyarakat yang masuk dalam

kotak pengaduan laman Kantor Pertanahan Surabaya I

dengan menggunakan metode Pohon Keputusan.

2. Bagaimana membangun sistem tambahan yang dapat

mengklasifikasikan pengaduan masyarakat yang masuk dalam

kotak pengaduan laman Kantor Pertanahan Surabaya I.

(6)

Batasan Masalah

• Pengerjaan tugas akhir ini hanya sebatas pembuatan sistem

tambahan pada laman yang dapat mengklasifikasikan

pengaduan secara otomatis tetapi tidak sampai menyediakan

sistem yang membantu penanganan pengaduan.

• Data yang digunakan dalam tugas akhir ini adalah data

pengaduan masyarakat pada kotak pengaduan laman Kantor

Pertanahan Kota Surabaya I dalam periode tahun 2009 –

(7)

Tujuan

Membuat suatu sistem tambahan berbasis web pada

laman Kantor Pertanahan Surabaya I yang dapat

memberikan pertimbangan dalam pengelompokkan

(8)

Manfaat

Manfaat bagi

Kantor Pertanahan Kota Surabaya I

adalah

tersedianya

aplikasi

yang dapat

mengklasifikasikan pengaduan

masyarakat secara

otomatis

sehingga

waktu

dan

biaya

yang

dibutuhkan untuk pengelompokkan dan penanganan pengaduan

menjadi

lebih sedikit

.

Manfaat bagi

masyarakat

yang merupakan pengadu adalah

meningkatnya kepuasan

masyarakat sebagai akibat dari lebih

singkatnya waktu

yang dibutuhkan Kantor Pertanahan Kota

Surabaya I untuk

menanggapi

dan

menangani

aduan dari

(9)

Metode

(10)

(11)

(12)

Diagram Aliran Data

dfd Use Case Package 1

Masyarakat 1 Menuliskan pengaduan 2 Sistem Kotak Pengaduan Laman 3 Klasifikasi pohon keputusan Basisdata Aduan Data Latih 4 Melihat Aduan Staf Bidang 5 Ubah Kategori aduan menerima aduan klasifikasi menyimpan menampilkan proses hasil informasi aduan Aduan menyelesaikan pengaduan update

(13)

Pengumpulan Data

Data pengaduan yang digunakan adalah data pengaduan yang

berjumlah 240 buah pengaduan.

No Kategori Jumlah 1 Hak Tanah dan Pendaftaran Tanah 40 2 Tata Usaha 40 3 Pengaturan dan Penataan Pertanahan 40 4 Pengendalian dan Pemberdayaan 40 5 Sengketa Konflik Perkara 40 6 Survei, Pengukuran, dan Pemetaan 40

(14)

Praproses Data (1)

Case Folding

Pengubahan kapitalisasi huruf pada dokumen pengaduan.

Penghilangan Karakter Selain Huruf

Karakter selain huruf (angka dan tanda baca) dihilangkan dari dokumen pengaduan.

Tokenizing

Memecah dokumen menjadi kumpulan kata yang berdiri sendiri.

Stemming

Pengubahan kata-kata yang ada menjadi bentuk dasarnya. Algoritma yang digunakan adalah algoritma Nazief-Adriani.

(15)

Praproses Data (2)

Pengumpulan dan Penghilangan Stopwords

JENIS KATA Contoh Kata

Kata preposisi adapun, bagi, di, ke kepada, untuk Kata interjeksi alhamdulillah, astaga, hore, wah Kata konjungsi agar, atau, bahwa, namun, sehingga Kata pronomina aku, anda, ia, saya

(16)

Praproses Data (3)

Pembuatan Wordlist

Kata-kata yang tersisa pada aduan adalah kata yang dapat dijadikan

kata kunci dalam proses klasifikasi aduan.

Keluaran dari tahap Praproses Data

Sebuah tabel frekuensi yang berisi jumlah kemunculan tiap

kata-kata kunci untuk seluruh pengaduan yang ada.

(17)

Pemilihan Model

Pohon Keputusan (1)

Tahapan ini dilakukan

untuk mengetahui kinerja

dari berbagai jenis pohon keputusan dalam berbagai variasi kondisi data.

Hasil Pemrosesan dengan Menggunakan Cross Validation dengan data yang tidak seimbang

Hasil Pemrosesan dengan Menggunakan Cross Validation dengan data yang seimbang (masing-masing 30)

No Jenis Pohon Hasil Klasifikasi Dengan Stemming Tanpa Stemming 1 _C4.5 _59.51% _57.56% 2 _RandomForest _56.59% _59.51% 3 _RandomTree _42.44% _41.46% Hasil Klasifikasi

(18)

Pemilihan Model

Pohon Keputusan (2)

No Jenis Pohon Hasil Klasifikasi

Dengan Stemming Tanpa Stemming

1 C4.5 62.5% 65.28%

2 RandomForest 61.1111% 55.56% Hasil Pemrosesan dengan Menggunakan Split 70:30 No Jenis Pohon Hasil Klasifikasi

Dengan Stemming Tanpa Stemming

1 C4.5 65.42% 65%

2 RandomForest 62.08% 60.83% 3 RandomTree 48.33% 45.83%

(19)

Pembuatan Sistem Pengklasifikasi

Sistem Pengklasifikasi dibangun dengan menggunakan dua bahasa,

yaitu PHP dan Java.

Sisi PHP

Digunakan untuk laman, praproses data dan pemanggilan fungsi

klasifikasi.

Sisi Java

(20)

Uji Coba

Proses uji coba dilakukan sebanyak tiga kali, yaitu

pengujian

model

pohon keputusan,

pengujian kebenaran klasifikasi

,

dan

pengujian kinerja

.

Data Uji Coba

Data yang digunakan dalam tahap uji coba merupakan adalah

data pengaduan sebanyak 72 buah data yang tidak termasuk

dalam data latih dan telah melalui tahap praproses.

(21)

Uji Model (1)

No Percobaan Hak Tanah dan Pendaftaran Tanah Tata Usaha Pengaturan dan Penataan Pertanahan Pengendalian dan Pemberdayaan Sengketa Konflik Perkara Survei, Pengukuran,

dan Pemetaan Akurasi Benar Salah Benar Salah Benar Salah Benar Salah Benar Salah Benar Salah

1 U1 33 6 23 2 28 0 21 1 24 2 25 3 91.67%

2 U2 34 5 27 2 28 0 22 0 22 5 27 1 92.86%

3 U3 23 5 25 3 25 3 26 2 23 5 26 2 88.10%

4 U4 26 2 25 3 28 0 25 3 26 2 26 2 92.86%

Hasil Uji Model Pohon Keputusan pada Data Latih

Keterangan :

U1 : Percobaan dengan menggunakan perbandingan data latih 70:30 dan melalui tahap stemming. U2 : Percobaan dengan menggunakan perbandingan data latih 70:30 tanpa melalui tahap stemming U3 : Percobaan dengan menggunakan perbandingan data latih 70:30 yang dirandom dan melalui tahap

(22)

Uji Model (2)

Hasil Uji Model Pohon Keputusan pada Data Uji

Keterangan :

U1 : Percobaan dengan menggunakan perbandingan data latih 70:30 dan melalui tahap stemming. U2 : Percobaan dengan menggunakan perbandingan data latih 70:30 tanpa melalui tahap stemming U3 : Percobaan dengan menggunakan perbandingan data latih 70:30 yang dirandom dan melalui tahap stemming.

U4 : Percobaan dengan menggunakan perbandingan data latih 70:30 yang dirandom tanpa melalui tahap stemming No Percobaan Hak Tanah dan Pendaftaran Tanah Tata Usaha Pengaturan dan Penataan Pertanahan Pengendalian dan Pemberdayaan Sengketa Konflik Perkara Survei, Pengukuran,

dan Pemetaan Akurasi Benar Salah Benar Salah Benar Salah Benar Salah Benar Salah Benar Salah

1 U1 1 0 8 7 9 3 16 2 9 5 5 7 66.67%

2 U2 1 0 4 11 11 1 16 2 7 7 6 6 62.50%

3 U3 4 8 11 1 9 3 10 2 11 1 4 8 68.06%

(23)

Uji Model (3)

No Percobaan Hak Tanah dan Pendaftaran Tanah Tata Usaha Pengaturan dan Penataan Pertanahan Pengendalian dan Pemberdayaan Sengketa Konflik Perkara Survei, Pengukuran, dan Pemetaan Akurasi

Benar Salah Benar Salah Benar Salah Benar Salah Benar Salah Benar Salah

1 Dengan Stemming 13 27 29 11 29 11 31 9 24 16 31 9 65.42% 2 Tanpa Stemming 11 29 27 13 34 6 30 10 23 17 31 9 65%

(24)

Uji Kebenaran Klasifikasi (1)

Hasil Perhitungan Precision dan Recall

Keterangan :

U4 : Percobaan dengan menggunakan perbandingan data latih 70:30 yang dirandom tanpa melalui tahap

No Percobaan

Hak Tanah dan Pendaftaran Tanah Tata Usaha Pengaturan dan Penataan Pertanahan Pengendalian dan Pemberdayaan Sengketa Konflik Perkara Survei, Pengukuran, dan Pemetaan

Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall

1 U1 0.167 1 0.615 0.533 0.692 0.75 0.889 0.889 0.75 0.643 0.5 0.417

2 U2 0.05 1 0.8 0.267 0.786 0.917 0.889 0.889 1 0.5 0.75 0.5

3 U3 0.8 0.333 0.55 0.917 1 0.75 0.769 0.833 0.733 0.917 0.4 0.333

(25)

Uji Kebenaran Klasifikasi(2)

Hasil Perhitungan Precision dan Recall dengan Cross Validation

No Percobaan

Hak Tanah dan Pendaftaran Tanah Tata Usaha Pengaturan dan Penataan Pertanahan Pengendalian dan Pemberdayaan Sengketa Konflik Perkara Survei, Pengukuran, dan Pemetaan

Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall Precision Recall

1 Dengan

Stemming 0.406 0.325 0.644 0.725 0.763 0.725 0.756 0.775 0.649 0.6 0.66 0.775

2 Tanpa

(26)

Uji Kebenaran Klasifikasi (3)

Hasil Perhitungan F-measure

Keterangan :

U4 : Percobaan dengan menggunakan perbandingan data latih 70:30 yang dirandom tanpa melalui tahap stemming

No Percobaan

Hak Tanah dan Pendaftaran Tanah Tata Usaha Pengaturan dan Penataan Pertanahan Pengendalian dan Pemberdayaan Sengketa Konflik Perkara Survei, Pengukuran, dan Pemetaan 1 U1 0.286 0.571 0.72 0.889 0.692 0.455 2 U2 0.095 0.4 0.846 0.889 0.667 0.6 3 U3 0.471 0.687 0.857 0.8 0.815 0.364 4 U4 0.417 0.667 0.783 0.815 0.333 0.8

(27)

Uji Kebenaran Klasifikasi(4)

Hasil Perhitungan F-measure

No Percobaan

Hak Tanah dan Pendaftaran Tanah Tata Usaha Pengaturan dan Penataan Pertanahan Pengendalian dan Pemberdayaan Sengketa Konflik Perkara Survei, Pengukuran, dan Pemetaan 1 Dengan Stemming _0.361 _0.682 _0.744 _0.765 _0.623 _0.713 2 Tanpa Stemming _0.297 _0.593 _0.819 _0.8 _0.605 _0.765

(28)

Uji Kinerja (1)

Uji coba kinerja dilakukan dengan melihat apakah semua fungsi

pada laman dapat berjalan yang meliputi fungsi umum laman dan

fungsi sistem klasifikasi.

Fungsi umum dari laman meliputi fungi login, dan logout.

Fungsi dari sistem klasifikasi pada tugas akhir ini meliputi fungsi

mengklasifikasikan pengaduan baru dan fungsi membangun ulang

pohon keputusan ketika terjadi pengubahan kategori pengaduan.

(29)

Uji Kinerja (2)

Nama Fungsi Skenario Hasil Status

Login

username dan password cocok

menampilkan halaman

utama pengguna Berhasil username atau

password kosong

menampilkan halaman

login Berhasil

username dan

password tidak cocok

menampilkan halaman

akses ditolak Berhasil

Logout

tekan Logout menampilkan halaman

logout Berhasil

tekan Login pada halaman Logout

menampilkan halaman

Login Berhasil

(30)

Uji Kinerja (3)

Nama Fungsi Skenario Hasil Status

Klasifikasi Pengaduan Baru

masyarakat mengirim pengaduan baru

pengaduan masuk ke tabel aduan dan kategori berubah menjadi kategori bidang, menampilkan halaman konfirmasi aduan

Berhasil

pengguna staf bidang memasukkan pengaduan baru melalui menu Entri Pengaduan

pengaduan masuk ke tabel aduan dan kategori berubah menjadi kategori bidang, menampilkan halaman Entri Pengaduan

Berhasil

Ubah Kategori

Staf bidang menekan tombol Ubah

kategori pada halaman Pengaduan tampil halaman Edit Pengaduan Berhasil pengguna mengganti kategori aduan kategori pengaduan berubah dan pohon

keputusan dibangun ulang Berhasil

(31)

Uji Kinerja (4)

Perbandingan Langkah Klasifikasi Pengaduan

Manual GUI Weka Sistem Klasifikasi pada Laman

1. Masyarakat memasukkan pengaduan 1. Masyarakat memasukkan pengaduan 1. Masyarakat memasukkan pengaduan 2. Administrator buka basis data laman 2. Buka WEKA 2. Buka Laman

3. Unduh berkas data pengaduan 3. Ambil data dari basis data melalui GUI WEKA

3. Masukkan aduan baru atau apabila sudah ada maka dapat langsung melihat hasilnya pada bidang tertentu atau menggunakan login admin

4. Cetak dan Perbanyak data pengaduan

4. Melakukan praproses, menjalankan fungsi StringtoVector untuk memetakan kata

4. Mengirim respon melalui email

5. Bagikan ke tiap seksi/bidang 5. Menghapus kata dan karakter yang tidak dibutuhkan

(32)

Kesimpulan

• Berdasarkan hasil uji coba perbandingan pohon dengan WEKA, dapat disimpulkan bahwa jenis pohon yang paling cocok untuk penggalian teks adalah pohon C4.5. Selain itu, proses stemming membantu meningkatkan kinerja pengklasfikasi.

• Berdasarkan hasil uji model, dapat disimpulkan bahwa data yang tidak tersebar rata jumlahnya dapat menyebabkan overfitting. Selain itu didapati bahwa tahapan stemming dapat meningkatkan akurasi pohon keputusan dan mengurangi overfitting.

(33)

Kesimpulan (2)

• Berdasarkan hasil uji kebenaran klasifikasi, dapat disimpulkan bahwa model pohon yang dapat mengklasifikasikan dengan baik adalah model yang tidak terlalu sesuai dengan data latih tetapi tidak terlalu sederhana.

• Berdasarkan hasil uji kinerja dapat disimpulkan bahwa adanya sistem pengklasifikasian pada Laman Kantor Pertanahan Kota Surabaya I dapat mempermudah proses pengkategorian aduan yang masuk ke dalam laman.

(34)

Saran

• Adanya perbaikan lebih lanjut mengenai tahapan praproses data pengaduan serta penambahan jumlah data pelatihan sehingga kinerja dari pohon keputusan dapat meningkat.

• Penambahan kategori “bukan pengaduan”, untuk mempermudah memisahkan antara pengaduan mengenai masalah pertanahan atau hanya sekedar pertanyaan mengenai prosedur.

• Adanya sistem tambahan yang memungkinkan staf bidang untuk langsung memberikan tanggapan terhadap pengaduan melalui laman saja tanpa perlu mengirim email melalui laman lain.

(35)