BABI
PENDAHULUAN
1.1 Latar BelakangNamed entity recognition(NER) merupakan salah satu bagian domain Information Extraction(IE) pada sistem Natural Language Processing(NLP). Sistem NER bertujuan untuk menyelesaikan identifikasi dan klasifikasi entitas secara kontekstual. Klasifikasi umum pada sistem NER meliputi: organisasi, person/orang, lokasi, tanggal, waktu, mata uang, persentase, fasilitas dan geo political entities(GPE)[1].
Salah satu contoh aplikasi NER dalam melakukan klasifikasi berdasarkan konteksnya ialah pada dua kalimat bahasa Indonesia berikut. “Gadjah Mada seorang patih dari kerajaan Majapahit” Pada kalimat pertama ini frase “Gadjah Mada” diklasifikasikan sebagai person/orang. “Gadjah Mada merupakan salah satu universitas tertua di Indonesia” pada kalimat kedua frase “Gadjah Mada” diklasifikasikan sebagai organisasi.
Penelitian NER bahasa Indonesia yang ada saat ini telah mengadopsi pendekatan berbasis tradisional berupa rule-based maupun statistical method serta pendekatan machine learning(ML). Salah satu penelitian NER berbahasa Indonesia dengan konsep rule-based ialah penelitian yang dilakukan oleh Budi [2]. Pada penelitiannya ia mengembangkan system NER dengan konsep rule-based. Dari penelitian Budi didapatkan hasil yang lebih menonjol pada akurasi klasifikasi saja, bukan pada jumlah entitas yang ditemukan.
Pendekatan machine-learning terutama pada model supervised learning ditemui pada penelitian yang dilakukan oleh Lutfi [3]. Penelitian yang dilakukan ialah membentuk mesin klasifikasi NER dengan menggunakan support vector machine (SVM) dan data berlabel dari DBPedia. Hasil klasifikasi NER yang dikembangkan menunjukkan nilai yang mendekati skor 90% untuk nilai recall dan precision.
Pengembangan sistem NER yang berbasis supervised learning cenderung memberikan hasil yang lebih baik, namun memiliki kendala harus memiliki data berlabel dalam jumlah yang ideal. Data berlabel yang dibutuhkan merupakan data yang memiliki tag atau label dan cenderung membutuhkan “cost” atau “effort” dalam mengumpulkannya karena harus mendapatkan bantuan dari expert. Dilain pihak data tanpa label sangat banyak sekali tersedia dan dapat dengan mudah dikumpulkan melalui internet dengan teknik web mining atau text mining[4], [5].
Data tanpa label dalam bahasa Indonesia dapat didapatkan secara mudah seperti melalui text mining atau data mining dari situs-situs berita nasional. Data tersebut dapat digunakan menjadi sebuah kumpulan data tanpa label. Permasalahan yang dihadapi ialah apabila sistem NER yang dikembangkan menggunakan konsep supervised learning yang mensyaratkan data training merupakan data yang berlabel maka data ini menjadi tidak bermakna, sedangkan jumlahnya ada sangat banyak.
Pendekatan ML dengan model pembelajaran semi-supervised learning memungkinkan penggunaan data tanpa label untuk membantu proses pembelajaran. Pada tahun 1998 Blum dan Mitchell mengembangkan sebuah gagasan mengenai penggunaan unlabeled data untuk meningkatkan performa dalam sistem kalasifikasi mereka. Hasil klasifikasi menunjukkan hasil tingkat akurasi sebesar 95% untuk 788 halaman web yang menjadi uji coba[5].
Penelitian yang dilakukan oleh Gerrish dkk [6] mengenai pengujian kombinasi algoritme Bayesian dan K-Nearest Neighbor (KNN) dengan co-training memberikan hasil peningkatan dibanding dengan menggunakan algoritme asli Bayesian atau KNN saja. Pierce dkk [7] melakukan penelitian yang berjudul “Limitations of Co-Training for natural Language Learning from Large Datasets”. Dalam penelitian tersebut terindikasi co-training merupakan salah satu metode yang effisien untuk pembelajaran “bracketing” dengan jumlah data berlabel yang sedikit.
Memanfaatkan konsep pembelajaran semi-supervised learning, peneliti mencoba untuk memanfaatkan data tanpa label dengan menggunakan pendekatan
semi-supervised learning untuk meningkatkan kemampuan sistem NER bahasa Indonesia. Pembelajaran dilakukan dengan menggabungkan data berlabel yang diambil dari DBPedia Indonesia (dengan jumlah terbatas) dengan data tanpa label yang didapatkan dari artikel situs-situs berita nasional di Indonesia.
Penelitian ini melakukan improvisasi dengan mengkombinasikan algoritme co-training dan algoritme klasifikasi SVM. Pemanfaatan data tanpa label dalam penelitian ini diharapkan dapat meninkatkan performa sistem NER bahasa Indonesia. Pengembangan sistem ini juga diharapkan dapat mengurangi cost atau effort dalam pengembangan sistem NER dengan memanfaatkan data tanpa label yang banyak tersedia.
1.2 Perumusan masalah
Berdasarkan uraian latar belakang masalah dalam permasalahan Named Entity Recognition, maka diperoleh permasalahan sebagai berikut.
1. Banyak tersedianya data tanpa label berbahasa Indonesia yang berupa unstructured text dari situs-situs berita nasional di Indonesia. 2. Belum adanya penelitian mengenai penyelesaian permasalahan NER
berbahasa Indonesia dengan memanfaatkan data tanpa label dalam membantu proses klasifikasi entitas.
1.3 Keaslian penelitian
Hingga saat ini belum banyak pengembangan sistem NER berbahasa Indonesia dengan penyelesaian berbasis machine learning. Beberapa penelitian menunjukan bahwa penyelesaian sistem NER masih diselesaikan dengan metode rule-based dan basis data. Penelitian yang dilakukan oleh Budi [2] dalam sistem NER yang dibangun menggunakan association rules. Menurut Budi, sistem NER yang dikembangkan sesuai untuk penyelesaian klasifikasi yang mementingkan tingkat akurasi pada kualitas klasifikasi dibandingkan dengan quantity result.
Pada tahun berikutnya Budi dkk [8] mengembangkan kembali sistem NER dengan pendekatan yang lebih baru yang dinamakan InNER (Indonesian Named
Entity Recognition). InNER menggunakan set aturan dalam menangkap konteks, morfologi dan part of speech yang diperlukan dalam klasifikasi entitas pada teks berbahasa Indonesia. Rules atau set aturan yang digunakan pada InNER sendiri dikembangkan dari knowledge yang dimiliki oleh expert. Hasil pengujian dari sistem InNER sendiri memiliki nilai 63,43% dan 71,84% untuk nilai “yield recall” dan “precision”. Menurut Budi dkk, hasil yang dicapai lebih tinggi dibandingkan dengan penelitian mereka sebelumnya terkait pengembangan NER dengan metode rule-based NER yang mereka kembangkan pada tahun 2003.
Perkembangan penelitian klasifikasi NER hingga saat ini pada umumnya menggunakan SVM sebagai algoritme mesin klasifikasinya. Seperti penelitian yang dilakukan oleh Suwarningsih dkk [9] yang melakukan penelitian terhadap pengembangan sistem NER untuk kebutuhan medical named entity berbahasa Indonesia. Suwarningsih memiliki tujuan untuk mengembangkan sistem medical NER dengan sumber daya bahasa Indonesia yang tersedia. SVM digunakan sebagai mesin klasifikasi dalam penelitian ini. Hasil yang dicapai oleh sistem medical NER berbahasa Indonesia ini mencapai hampir 90% untuk nilai akurasinya.
Luthfi dkk [3] pada tahun 2014 melakukan pengembangan sistem NER dengan menggunakan basis data Wikipedia dan DBPedia sebagai data training. Sistem NER yang mereka gunakan sendiri menggunakan Stanford-NER. Stanford NER merupakan sistem NER yang menggunakan Support Vector Machine(SVM) sebagai mesin klasifikasinya. Pada awal penelitiannya sistem NER yang dikembangkan ini berfokus pada tiga entitas yaitu person/orang, place/lokasi dan organization/organisasi. Hasil evaluasi sistem NER yang dikembangkan oleh Lutfi dkk memiliki tingkat persentase diatas 90% untuk nilai precision dan recall.
Penyelesian permasalahan klasifikasi NER mulai mengadopsi konsep machine learning sebagai pendukung penyelesaian permasalahannya. Namun adanya keterbatasan data berlabel untuk proses pembelajaran mesin klasifikasi NER terutama pada model supervised learning menjadikan beberapa peneliti mencoba konsep pembelajaran semi-supervised learning pada mesin klasifikasi
NER. Penggunaan pembelajaran co-training sendiri diawali dengan riset mengenai text classification dengan algoritme tersebut. Penelitian email classification dengan algoritme co-training yang dilakukan oleh Kiritchenko dkk [10] mengemukakan pada gagasan awal bahwa terjadi kekurangan dalam data berlabel. Kekurangan data berlabel ini menjadi masalah utama yang dihadapi oleh mesin klasifikasi secara umum. Hal ini berkaitan pula dengan pengumpulan data berlabel yang sifatnya “costly” atau membutuhkan effort. Konsep pembelajaran semi-supervised learning memanfaatkan data tanpa label untuk meningkatkan performa data berlabel yang jumlahnya terbatas. Hasil percobaan klasifikasi email yang didapatkan sendiri bervariasi, tergantung dengan algoritme apa yang dugunakan untuk melakukan klasifikasi. Dalam kesimpulan penelitian disebutkan bahwa algoritme SVM memberikan performa lebih baik dibandingkan algoritme Bayesian dalam penelitian mereka dengan pendekatan semi-supervised.
Pada tahun 2009 Liao dkk [11] melakukan sebuah penelitian aplikasi pembelajaran semi-supervised pada klasifikasi NER. Penelitian ini menggunakan metode klasifikasi conditional random fields (CRFs) yang digunakan untuk menginduksi data tanpa label, dengan memberikan label yang memiliki presisi tinggi ke kumpulan data tanpa label. Hasil pengujian memberikan peningkatan 12 poin pada nilai recall dan 4 poin pada nilai precission dibandingkan dengan pembelajaran supervised.
Penggunaan pembelajaran semi-supervised dan SVM dikenalkan pula dalam penelitian yang dilakukan oleh Park Seong-Bae dkk [12]. Penelitian ini melakukan pendekatan untuk melakukan klasifikasi teks tidak terstruktur dalam skala besar. Pembelajaran co-training dan algoritme SVM digunakan untuk melakukan training data baik data berlabel dan data tanpa label. Hasil penelitian menunjukkan pembelajaran co-training memberikan peningkatan performa dari sistem klasifikasi dokumen yang mereka kembangkan baik untuk lexical dan syntactic information.
Rangkuman penelitian pada bidang klasifikasi entitas atau NER ynag telah dilakukan oleh peneliti terdahulu ialah seperti pada Tabel 1.1.
1.4 Tujuan Penelitian
Tujuan pengembangan sistem NER untuk bahasa Indonesia dengan metode pembelajaran semi-supervised ini ialah sebagai berikut.
a. Rancang bangun sistem NER bahasa Indonesia dengan pendekatan pembelajaran semi-supervised co-training, dengan memanfaatkan data tanpa label untuk meningkatkan performa sistem klasifikasi NER.
b. Melakukan evaluasi unjuk kerja sistem NER yang dikembangkan dengan pendekatan pembelajaran semi-supervised co-training.
1.5 Manfaat Penelitian
Penelitian pengembangan sistem NER untuk bahasa Indonesia dengan pendekatan metode pembelajaran semi-supervised ini diharapkan dapat meningkatkan performa sistem NER dengan keterbatasan data initial (data berlabel) dengan memanfaatkan data tanpa label yang berasal dari artikel situs-situs berita nasional di Indonesia.
Table 1.1 Penelitian klasifikasi entitas yang telah ada
Peneliti Judul Tahun Objek Metode Hasil
Budi Indra Association Rules Mining for Name Entity
Recognition 2003 News Article Association Rules Baik untuk penyelesaian taks yang mengedepankan kualitas klasifikasi daripada kuantitas klasifikasi. I. Budi, S. Bressan, G. Wahyudi, Z. A. Hasibuan, dan B. A. A. Nazief
Named Entity Recognition for the Indonesian language: Combining contextual, morphological and part-of-speech features into a knowledge engineering approach
2005 Indonesian Text Rule based: combining contextual, morphological and part of speech tagging.
Precision: 71,84% and recall: 63,43%
S. Wiwin, S. Iping, and P. Ayu
imNER Indonesian Medical Named Entity
Recognition 2014 Medical Entities SVM ~ 90% accuracy
A. Luthfi, B. Distiawan,
and R.
Manurung
Building an Indonesian named entity
S.
Kiritchenko
and S.
Matwin
Email Classification with Co-Training 2001 Email
Classification Co-training: SVM dan Bayesian
Algoritme klasifikasi dengan SVM memberikan performa lebih baik daripada Bayesian.
W. Liao and S.
Veeramacha neni
A simple semi-supervised algorithm for named entity recognition
2009 Named Entities in News Document SSL conditional random fields (CRFs)
Precision score naik 4 poin dan recall score naik 12 poin.
S. B. Park and B. T. Zhang
Co-trained support vector machines for large scale unstructured document classification using unlabeled data and syntactic information
2004 Text
classification Co-training - SVM Peningkatan klasifikasi pada lexical dan performa syntactic information.
