commit to user
5BAB II
TINJAUAN PUSTAKA
2.1 Dasar Teori
2.1.1 Text mining
Text mining adalah proses menemukan hal baru, yang sebelumnya tidak diketahui, mengenai informasi yang berpotensi untuk diambil manfaatnya dari sumber data yang tidak terstruktur mencakup dokumen bisnis, komentar customer, halaman web dan file XML (Delen, 2008). Text mining hampir sama dengan data mining dalam hal tujuan dan proses, tapi pada text mining inputnya adalah file data tidak terstruktur seperti dokumen dalam bentuk word, PDF, text, XML dan sebagainya (Turban, 2010). Text mining dapat digunakan dalam beberapa hal yaitu ekstraksi informasi, topic tracking, summarization, kategorisasi dan clustering. Penelitian ini memanfaatkan text mining dalam hal clustering. Proses text mining pada penelitian ini terdiri dari text preprocessing, term weighting, feature selection, dan clustering.
2.1.2 Text Preprocessing
Text preprocessing merupakan salah satu komponen dari text mining.
Komponen text preprocessing berfungsi mengubah data tekstual yang tidak terstruktur ke dalam data terstruktur dan disimpan dalam basis data (Langgeni, 2010). Pada tahap ini terdapat beberapa langkah yaitu :
- Case folding
Proses case folding menghilangkan karakter selain huruf abjad dan mengubah semua huruf menjadi lowercase (huruf kecil, bukan huruf kapital).
- Tokenisasi
Proses tokenisasi memotong data awal yang berupa kalimat berdasarkan tiap kata penyusunnya. Proses tokenisasi ditunjukkan dalam Gambar 2.1.
commit to user
Gambar 2.1 Proses Tokenisasi - FilteringProses filtering disebut juga stopword removal. Proses ini mengambil kata-kata penting dari hasil proses tokenisasi. Langkah proses ini bisa dilakukan dengan dua teknik yaitu stop list (membuang kata yang kurang penting) dan word list (menyimpan kata yang penting). Gambaran proses stopword removal ditunjukkan oleh Gambar 2.2.
Gambar 2.2 Proses Filtering - Stemming
Tahap stemming adalah tahap mencari root kata dari tiap kata hasil filtering. Abstrak yang akan dianalisis adalah data berbahasa Indonesia, sehingga algoritma stemming yang digunakan dipilih algoritma stemming untuk bahasa Indonesia. Gambaran stemming ditunjukkan oleh Gambar 2.3.
Gambar 2.3 Proses Stemming
commit to user
Algoritma stemming bahasa Indonesia ada berbagai macam diantaranya algoritma Nazief & Adriani, algoritma Arifin & Setiono dan algoritma Vega. Pada penelitian ini algoritma stemming yang digunakan adalah algoritma Nazief & Adriani. Algoritma Nazief Adriani dalam (Agusta, 2009) memiliki tahap-tahap sebagai berikut :
1. Cari kata yang akan distem dalam kamus. Jika ditemukan maka diasumsikan bahwa kata tesebut adalah root word. Maka algoritma berhenti.
2. Inflection Suffixes - - - - -
dibuang. Jika berupa particles - - - - maka langkah ini diulangi lagi untuk menghapus Possesive
Pronouns - - -
3. Hapus Derivation Suffixes - - -
ditemukan di kamus, maka algoritma berhenti. Jika tidak maka ke langkah 3a
a. -
- -
ditemukan dalam kamus maka algoritma berhenti. Jika tidak ditemukan maka lakukan langkah 3b.
b. - - -
lanjut ke langkah 4.
4. Hapus Derivation Prefix. Jika pada langkah 3 ada sufiks yang dihapus maka pergi ke langkah 4a, jika tidak pergi ke langkah 4b.
a. Periksa tabel kombinasi awalan-akhiran yang tidak diijinkan.
Jika ditemukan maka algoritma berhenti, jika tidak pergi ke langkah 4b.
b. For i = 1 to 3, tentukan tipe awalan kemudian hapus awalan.
Jika root word belum juga ditemukan lakukan langkah 5, jika sudah maka algoritma berhenti. Catatan: jika awalan kedua sama dengan awalan pertama algoritma berhenti.
5. Melakukan Recoding.
commit to user
6. Jika semua langkah telah selesai tetapi tidak juga berhasil maka kata awal diasumsikan sebagai root word. Proses selesai.
Hasil dari text preprocessing adalah bag-of-word yaitu data terstruktur dalam database yang berisi kata-kata. Bag-of-word inilah yang akan diproses dalam tahap text mining selanjutnya yaitu term-weighting.
2.1.3 Term Weighting dengan Term Frequency (tf) Inverse document frequency (idf)
Tahap term weighting diperoleh setelah bag-of-word diperoleh. Term weighting (pembobotan term) bertujuan untuk menentukan bobot setiap term / kata. Perhitungan bobot term memerlukan dua hal yaitu term frequency (tf) dan inverse document frequency (idf). Term frequency (tf) merupakan frekuensi kemunculan suatu kata (term) dalam suatu dokumen. Nilai tf bervariasi di tiap dokumen bergantung pada kemunculan kata di suatu dokumen. Besar nilai tf sebanding dengan tingkat kemunculan term di dokumen. Semakin sering term muncul pada suatu dokumen, semakin besar pula nilai tf pada dokumen tersebut dan semakin jarang term muncul semakin kecil pula nilai tf.
Selain term frequency pada pembobotan term diperlukan pula inverse document frequency (idf). Inverse document frequency (idf) merupakan frekuensi kemunculan term pada keseluruhan dokumen. Nilai idf berkaitan dengan distribusi term di berbagai dokumen. Nilai idf berbanding terbalik dengan jumlah term yang mengandung term yang dimaksud. Term yang jarang muncul pada keseluruhan dokumen memiliki nilai idf lebih besar dibanding dengan term yang sering muncul. Jika setiap dokumen dalam koleksi mengandung term yang bersangkutan, maka nilai idf dari term tersebut adalah nol (0). Hal ini menunjukkan bahwa setiap term yang muncul pada dokumen dalam koleksi tidak berguna untuk membedakan dokumen berdasarkan topik tertentu. Ilustrasi algoritma tf-idf (Harlian, 2006) ditunjukkan pada Gambar 2.4.
commit to user
Gambar 2.4 Ilustrasi algoritma tf-idf (Harlian, 2006) Keterangan :
= dokumen
tf = banyaknya term yang dicari pada setiap dokumen
N = total dokumen
df = banyaknya dokumen yang mengandung term yang dicari Nilai tf-idf diperoleh dengan menggunakan rumus berikut: (Lee et al., 1997).
, = × = , × log ... (1) Dengan :
, = bobot term ke-j terhadap dokumen ke-i
= jumlah kemunculan term j ke dalam dokumen i
= jumlah dokumen secara keseluruhan
= jumlah dokumen yang mengandung term j
Perhitungan bobot dari term tertentu dalam sebuah dokumen dengan menggunakan tf x idf menunjukkan bahwa deskripsi terbaik dari dokumen adalah term yang banyak muncul dalam dokumen tersebut dan sangat sedikit muncul pada dokumen lain (Lee et al., 1997). Proses term-weighting menghasilkan nilai tf, nilai df, nilai idf dan nilai tf-idf. Nilai tf-idf dianggap
commit to user
sebagai matriks bobot term, yaitu matriks yang berisi bobot dari term-term pada setiap dokumen.
2.1.4 DF Feature Selection
Permasalahan mendasar pada clustering maupun klasifikasi dokumen adalah tingginya dimensi data, sehingga perlu dilakukan feature selection untuk mengurangi dimensi tersebut (Langgeni, 2010). Feature selection (pemilihan fitur) merupakan langkah memilih beberapa fitur (misalnya kata- kata atau istilah) yang akan digunakan ketika melakukan klasifikasi maupun clustering (Garnes, 2009). Fitur yang terpilih dapat digunakan untuk mewakili semua fitur yang ada pada dokumen. Feature selection dengan df merupakan salah satu metode feature selection yang banyak digunakan (Garnes, 2009).
Proses term-weighting salah satunya menghasilkan nilai df. Nilai df dapat digunakan sebagai acuan feature selection.
Df (document frequency) adalah jumlah dokumen yang mengandung suatu term tertentu (Garnes, 2009). Tiap term akan dihitung nilai df-nya, lalu term tersebut diseleksi berdasarkan jumlah nilai df. Jika nilai df berada diatas atau dibawah nilai threshold yang telah ditentukan, maka term tersebut akan dibuang (Langgeni, 2010). Asumsi bahwa term yang muncul dalam sedikit dokumen menunjukkan bahwa term tersebut tidak memiliki pengaruh yang besar dalam proses clustering dokumen. Sedangkan jika term t muncul dalam banyak dokumen, maka tingkat kepentingan term tersebut menjadi kecil karena term yang banyak muncul di berbagai dokumen dapat dianggap sebagai term umum (common term). Sebagai contoh term database
kurang penting jika terdapat di banyak dokumen pada kumpulan jurnal yang membahas tentang sistem database.
2.1.5 Clustering
Clustering adalah proses mengelompokkan atau penggolongan objek berdasarkan informasi yang diperoleh dari data yang menjelaskan hubungan antar objek dengan prinsip untuk memaksimalkan kesamaan antar anggota satu kelas dan meminimumkan kesamaan antar kelas /cluster. (Andayani,2007)
commit to user
Clustering membagi data ke dalam grup-grup yang mempunyai obyek yang karakteristiknya sama.
Metode clustering dibedakan menjadi dua, yaitu Hierarchical clustering dan Partitioned clustering. Hierarchical clustering mengelompokkan data secara bertahap, sedangkan partitioned clustering langsung mengelompokkan data dengan menentukan jumlah cluster di awal proses clustering. Salah satu metode partitioned clustering adalah k-means clustering. Penelitian ini menggunakan kombinasi antara hierarchical clustering dan k-means clustering.
2.1.5.1 Hierarchical clustering
Hierarchical clustering adalah salah satu algoritma clustering yang dapat digunakan untuk meng-cluster dokumen (document clustering).
Pengelompokan hierarki (Hierarchical clustering) adalah metode analisis kelompok yang berusaha untuk membangun sebuah hierarki kelompok (Prasetyo, 2012). Hierarchical clustering dibagi menjadi dua yaitu Agglomeratif Clustering dan Difisive Clustering. Agglomeratif Clustering mengelompokkan data dengan pendekatan bawah atas (bottom up), sedangkan Difisive Clustering menggunakan pendekatan atas bawah (top-bottom). Dari teknik Hierarchical clustering, dapat dihasilkan suatu kumpulan partisi yang berurutan, dimana dalam kumpulan tersebut terdapat (Budhi, 2008):
- Cluster-cluster yang mempunyai poin-poin individu. Cluster-cluster ini berada di level yang paling bawah.
- Sebuah cluster yang didalamnya terdapat poin-poin yang dipunyai semua cluster di dalamnya. Single cluster ini berada di level yang paling atas.
Penelitian ini menggunakan agglomeratif clustering. Pada metode hierarchical agglomeratif clustering, sebelum dilakukan pengelompokan, setiap data yang ada diasumsikan sebagai cluster. Jika terdapat jumlah data sebanyak n, dan k dianggap sebagai jumlah cluster, maka besarnya n = k.
Kemudian, dihitung jarak antar cluster-nya dengan menggunakan Euclidean
commit to user
distance berdasarkan jarak rata-rata antar objek. Selanjutnya, dari hasil perhitungan tadi dipilih jarak yang paling minimal dan digabungkan sehingga besarnya n = n -1. Ketika dua cluster digabungkan jarak antara dua cluster yang digabungkan dengan cluster yang lain di-update. Penelitian ini menggunakan metode ward sebagain metode update jarak.
Metode Ward dapat membentuk cluster berdasarkan jumlah total kuadrat deviasi tiap pengamatan dari rata-rata cluster yang menjadi anggotanya (Oktavia, 2013). Metode Ward berusaha untuk meminimalkan variasi antar objek yang ada dalam satu cluster dan memaksimalkan variasi dengan objek yang ada di cluster lainnya. Jarak antara dua cluster yang terbentuk pada metode Ward adalah sum of squares diantara dua cluster tersebut. Metode Ward didasarkan pada kriteria sum square error (SSE) dengan ukuran kehomogenan antara dua objek berdasarkan jumlah kuadrat kesalahan yang paling minimal. Perhitungan pada metode ward menggunakan rumus berikut ini :
= ++ + ++ + ... (2) Dengan u dan v cluster yang digabung, w cluster lain yang dicari jaraknya dengan cluster gabungan uv, jarak antara cluster uv dan cluster w, jarak antara cluster u dan cluster w, jarak antara cluster v dan cluster w, jarak antara cluster u dan cluster v, , , dan adalah banyaknya objek pada cluster ke-u, ke-v dan ke-w.
Penggabungan cluster akan terus dilakukan dan akan berhenti jika memenuhi kondisi jumlah k = 1. Pada akhir tahap hierarchical clustering ini akan diperoleh sebuah gambar dendrogram yang menunjukkan urutan pengelompokan masing-masing anggota dalam cluster.
Hasil keseluruhan dari algoritma Hierarchical clustering secara grafik dapat digambarkan sebagai tree, yang disebut dengan dendogram. Tree ini secara grafik menggambarkan proses penggabungan dari cluster-cluster yang ada, sehingga menghasilkan cluster dengan level yang lebih tinggi. Gambar 2.5
commit to user
adalah contoh dendogram yang menggambarkan hasil pengelompokan kinerja dosen yang terdiri dari dosen A, B, C .... O pada penelitian Oktavia, 2013.
Gambar 2.5 Contoh Dendrogram (Oktavia, 2013)
2.1.5.2 K-means Clustering
K-means adalah suatu metode penganalisaan data atau metode data mining yang melakukan proses pemodelan tanpa supervisi (unsupervised) dan merupakan salah satu metode yang melakukan pengelompokan data dengan sistem partisi. Metode K-means berusaha mengelompokkan data yang ada ke dalam beberapa kelompok, dimana data dalam satu kelompok mempunyai karakteristik yang sama satu sama lainnya dan mempunyai karakteristik yang berbeda dengan data yang ada di dalam kelompok yang lain. Dengan kata lain, metode ini berusaha untuk meminimalkan variasi antar data yang ada di dalam suatu cluster dan memaksimalkan variasi dengan data yang ada di cluster lainnya. (Agusta, 2011).
commit to user
Menurut Sarwono (2011), Berikut adalah langkah-langkah dari algoritma K-means:
1. Menentukan banyak k-cluster yang ingin dibentuk.
2. Membangkitkan nilai random untuk pusat cluster awal (centroid) sebanyak k-cluster.
3. Menghitung jarak setiap data input terhadap masing-masing centroid menggunakan rumus jarak Euclidean (Euclidean Distance) hingga ditemukan jarak yang paling dekat dari setiap data dengan centroid.
Berikut adalah persamaan Euclidean Distance:
, = ( )2 ... (3)
dengan , adalah jarak antara cluster dengan pusat cluster pada kata ke i, adalah bobot kata ke i pada cluster yang ingin dicari jaraknya,
bobot kata ke i pada pusat cluster.
4. Mengklasifikasikan setiap data berdasarkan kedekatannya dengan centroid (jarak terkecil).
5. Mengupdate nilai centroid. Nilai centroid baru diperoleh dari rata-rata cluster yang bersangkutan dengan menggunakan rumus:
= 1 ... (4) dimana:
= jumlah data dalam cluster
= jumlah dari nilai jarak yang masuk dalam masing-masing cluster 6. Melakukan perulangan dari langkah 2 hingga 5 hingga anggota tiap cluster
tidak ada yang berubah.
7. Jika langkah 6 telah terpenuhi, maka nilai rata-rata pusat cluster
iterasi terakhir akan digunakan sebagai parameter untuk menentukan klasifikasi data.
commit to user
Diagram alir dari Metode K-means ditunjukan pada Gambar 2.6.
Start
Banyaknya Cluster k
Hitung jarak objek ke pusat Tentukan Pusat
Kelompokkan objek berdasarkan jarak
minimum
Ada objek yang harus dipindah ?
End tidak
Ya
Gambar 2.6 Diagram alir metode K-means (Sarwono, 2011)
2.1.5.3 Kombinasi Metode Hierarchical Clustering dan K-means Clustering
Penggabungan metode Hierarchical clustering dengan K-means clustering dimaksudkan agar hasil clustering lebih baik. Hasil dari metode Hierarchical clustering digunakan untuk menentukan pusat cluster. Pusat cluster yang dihasilkan Hierarchical clustering selanjutnya digunakan sebagai pusat cluster awal pada perhitungan K-means clustering. Gambar 2.7 menggambarkan proses clustering menggunakan kombinasi antara metode Hierarchical clustering dengan K-means clustering.
commit to user
Gambar 2.7 Kombinasi Metode Hierarchical Clustering dan K-means Clustering (Alfina, 2010)
commit to user
2.2 Penelitian TerkaitPenelitian yang dilakukan oleh penulis ini mengacu pada penelitian sejenis yang sudah dilakukan sebelumnya. Beberapa penelitian tersebut akan diuraikan berikut ini.
a. Seeding the Survey and Analysis of Research Literature with Text Mining. (Delen, 2008)
Penelitian tersebut menjelaskan mengenai clustering document berupa jurnal yang di-publish oleh tiga publisher yaitu MIS Quarterly (MISQ), Information System Research (ISR) dan Journal of Management Information System (JMIS) dalam kurun waktu 12 tahun. Text mining dalam penelitian tersebut digunakan untuk mengidentifikasi cluster dan tren dari topik research yang diamati. Topik jurnal yang diambil adalah mengenai manajemen sistem informasi. Bagian dari jurnal yang diolah pada proses clustering pada penelitian ini adalah bagian abstrak.
Data jurnal dalam kurun waktu 12 tahun dibagi ke menjadi 4 kelompok data 3 tahun-an. Setiap jurnal diteliti dan disimpan term terbanyak yang muncul dan dibuat dalam bentuk term-by-document- matrix. Singular Value Decomposition digunakan untuk mengurangi term-by-document-matrix. Clustering data pada penelitian digunakan expectation-maximization algorithm. Hasil dari clustering diteliti dan dianalisa keterkaitannya dengan tipe jurnal dan waktu publish. Konsep clustering dokumen dengan menggunakan bagian abstrak dari dokumen akan dicoba diterapkan pada penelitian ini.
b. Analisa Perbandingan Metode Hierarchical clustering, K-means dan Gabungan Keduanya dalam Cluster Data (Studi Kasus : Problem Kerja Praktek Jurusan Teknik Industri ITS). (Alfina, 2012)
Jurnal ini mengulas tentang penggabungan dua metode clustering yaitu metode Hierarchical clustering dan K-means Clustering.
Penggabungan kedua metode clustering ini disebabkan oleh kelemahan dari metode k-means yang hasilnya sangat tergantung pada penentuan
commit to user
awal pusat cluster. Untuk itu, K-means dikolaborasikan oleh metode hierarki untuk penentuan pusat awal cluster. Metode hierarki yang diterapkan dalam penelitian ini adalah complete linkage clustering, single linkage clustering, average linkage clustering dan centroid linkage clustering. Data kasus yang diambil adalah mengenai problem kerja prakter Jurusan Teknik Industri ITS yang ditemukan di jejaring sosial facebook. Keyword yang diamati berjumlah 40 yang dipilih secara manual yaitu dengan interview dan kuisioner. Adapun pihak yang diinterview adalah admin Kerja Praktek tahun 2011, Koordinator Kerja Praktek Jurusan Teknik Industri dan beberapa mahasiswa yang mengambil Kerja Praktek pada tahun 2011.
Hasil dari penelitian menunjukkan bahwa kombinasi antara metode Hierarchical clustering dengan metode K-means Clustering menghasilkan pengelompokan data yang lebih baik dibanding dengan yang hanya menggunakan metode K-means. Metode dari penelitian Alfina, 2012 ini digunakan dalam proses clustering dokumen pada penelitian ini.
c. Hierarchical K-means: an algorithm for centroids initialization for K- means. (Arai, 2007)
Jurnal ini menjelaskan bahwa pada K-means inisiasi awal pusat cluster yang ditentukan secara random sering membuat hasil clustering bersifat local optima. Untuk itu diteliti penggunaan metode hierarki dalam membantu penentuan pusat cluster untuk metode K-means.
Metode kombinasi antara metode hierarchical dengan K-means disebut Hierarchical K-means. Pada penelitian ini ada dua macam data yang digunakan yaitu data distribusi normal random, dataset sesungguhnya dan pada clustering data gambar.
Hasil dari penelitian menunjukkan bahwa metode Hierarchical K- means yang telah diuji pada beberapa tipe data menunjukkan hasil yang lebih akurat dibanding dengan beberapa metode clustering lain. Hal
commit to user
inilah yang menjadi dasar dipilihnya metode hierarchical k-means dalam penelitian ini.
d. Pengelompokan Kinerja Dosen Jurusan Matematika Fmipa Untan Berdasarkan Penilaian Mahasiswa Menggunakan Metode Ward (Oktavia, 2013)
Jurnal ini menjelaskan mengenai pengelompokan kinerja dosen menggunakan metode ward. Metode Ward adalah metode yang berdasarkan pada sum square error (SSE) dengan ukuran kehomogenan antara dua objek berdasarkan pada jumlah kuadrat kesalahan yang paling minimal. Ukuran kemiripan yang digunakan adalah jarak Euclidean kuadrat. Metode Ward digunakan untuk meminimalkan variasi antar objek yang ada dalam satu cluster dan memaksimalkan variasi dengan objek yang ada dalam cluster lain. Pada penelitian ini, pengelompokan 15 dosen jurusan Matematika FMIPA Universitas Tanjungpura yang mengajar pada semester ganjil 2011/2012 diperoleh 5 cluster. Variabel penilaian dibagi menjadi 7 kategori dari 13 variabel.
Cluster pertama terdiri dari 4 dosen. Mahasiswa menilai kinerja dosen sangat baik untuk semua variabel. Cluster kedua terdiri dari 6 dosen.
Mahasiswa menilai kinerja dosen sangat baik untuk 5 variabel dan 8 variabel dinilai baik. Cluster ketiga terdiri dari 3 dosen dengan penilaian mahasiswa terhadap kinerja dosen baik untuk semua variabel. Cluster keempat terdiri dari 1 dosen. Mahasiswa menilai kinerja dosen sangat baik untuk 1 variabel, 7 variabel dinilai baik dan 5 variabel dinilai cukup baik. Cluster kelima terdiri dari 1 dosen dengan penilaian mahasiswa terhadap kinerja dosen baik untuk 1 variabel dan 12 variabel dinilai kurang baik.
Metode ward merupakan salah satu metode update jarak pada hierarchical clustering. Penelitian ini menggunakan metode ward untuk bagian hierarchical clustering.
commit to user
2.3 Rencana PenelitianBerdasarkan tinjauan pustaka, dilakukan clustering dokumen skripsi.
Metode clustering yang digunakan adalah kombinasi antara metode hierarchical clustering dengan metode ward sebagai metode update jarak dan k-means clustering. Bagian dari dokumen yang diolah adalah bagian abstrak. Data diolah terlebih dahulu dengan text preprocessing. Setelah itu, dilakukan term-weighting dengan term tf-idf. Hasil dari tf-idf digunakan dalam proses clustering. Proses clustering terdiri dari dua proses. Proses pertama adalah proses hierarchical clustering. Proses hierarchical clustering menghasilkan dendrogram. Dendrogram kemudian dipotong dengan threshold yang ditentukan. Hasil pemotongan dendrogram menghasilkan beberapa cluster, tiap cluster terdiri dari beberapa dokumen. Dokumen-dokumen di suatu cluster diambil bobot term-nya dan dirata- rata. Hasil dari rata-rata bobot digunakan sebagai pusat cluster pada perhitungan k-means clustering. Hasil k-means clustering berupa cluster-cluster yang terdiri dari dokumen-dokumen. Hasil clustering kemudian dianalisa. Analisa dilakukan dengan berdasarkan pada keterkaitan dokumen pada satu cluster dan tema di tiap cluster. Analisa dilanjutkan dengan meneliti jumlah dokumen di tiap cluster di tiap tahun.
