BAB 1 PENDAHULUAN
1.1. Latar Belakang
Data cleaning merupakan salah satu tahap pada data mining. Data cleaning biasa disebut dengan data cleansing atau scrubbing. Proses data cleaning dilakukan untuk menghilangkan kesalahan informasi pada data (Rahm & Do, 2000). Sehingga proses data cleaning dapat digunakan untuk menentukan data yang tidak akurat, tidak lengkap atau tidak benar dan untuk memperbaiki kualitas data melalui pendeteksian kesalahan pada data (Tamilselvi & Saravan, 2010). Data cleaning dapat dilakukan dengan satu sumber atau beberapa sumber data. Pada satu atau beberapa sumber data juga terdapat permasalahan pada level skema ataupun level instance. Permasalahan pada level skema dapat diselesaikan dengan perbaikan desain, translation dan schema integration. Sedangkan pada tingkat instance terdapat kesalahan dan inkonsistensi
pada data yang menjadi fokus permasalahan yang dapat diselesaikan dengan data cleaning (Rahm & Do, 2000). Salah satu permasalahan kesalahan pada data dari satu
atau beberapa sumber data adalah data duplikat. Contoh permasalahan duplikat pada data yaitu terdapat beberapa data seseorang yang berisi nilai yang sama sehingga terjadi data duplikat. Oleh karena itu, dibutuhkan sebuah pendekatan untuk dapat mengoptimalkan proses data cleaning.
Penelitian yang dilakukan oleh (He et al, 2011) yaitu penggunaan multi-pass sorted-neighborhood (MPN) untuk melakukan efisiensi cleaning data duplikat yang
dapat dilakukan dengan baik.
Metode leveinsthein distance juga pernah digunakan untuk penelitian lain yaitu penelitian yang dilakukan oleh (Primadani, 2014). Leveinsthein distance digunakan untuk pencarian judul buku pada katalog perpustakaan. Algoritma ini digunakan untuk menghasilkan layanan autocomplete dalam memprediksi judul buku yang diberikan oleh pengguna.
Pada penelitian ini, metode leveinsthein distance digunakan untuk menyelesaikan pengambilan keputusan duplikat data pada data identitas costumer. Kelebihan dari metode leveinsthein distance ini adalah dapat mengetahui kemiripan string pada data dengan edit distance berupa jarak antara dua string (Ugon et al,
2015). Perbedaan penelitian ini dengan yang lain adalah metode n-gram dan jaccard pada penentuan ukuran window dan data yang dapat diinputkan dalam excel. Sedangkan untuk pre-processing data pada penelitian ini menggunakan regular expression yang mengubah data menjadi lowercase dan memisahkan atribut nama
menjadi last name dan first name (Riezka, 2010). Selanjutnya proses menghubungkan duplikat data pada penelitian ini akan menggunakan metode transitive closure.
Sebuah alternatif informasi tentang data cleaning pada duplikat record dapat dilakukan pada data identitas costumer. Untuk itu penulis mengusulkan sebuah pendekatan untuk mengidentifikasi data yang didalamnya terdapat duplikat record pada data identitas. Hasil penelitian ini diharapkan dapat memberikan manfaat dalam mengidentifikasi duplikat pada data. Sehingga dapat mempermudah dalam melakukan proses cleaning data duplikat.
1.2. Rumusan Masalah
dibutuhkan sebuah pendekatan untuk dapat mengoptimalkan proses data cleaning. 1.3. Batasan Masalah
Dalam melakukan penelitian ini, peneliti membatasi ruang masalah yang akan diteliti. Batasan-batasan masalah tersebut diantaranya yaitu :
1. Proses cleaning data yang akan dilakukan hanya pada data duplikat. 2. Tidak melakukan cleaning data inconsistence dan incorrect.
3. Hanya memproses data nama dengan maksimal dua kata yaitu first name dan last name.
4. Tidak melakukan proses penggabungan data.
5. Output yang dihasilkan adalah identifikasi duplikat record pada data.
1.4. Tujuan Penelitian
Adapun tujuan dari penelitian ini yaitu untuk mengidentifikasi duplikat data dalam proses cleaning data duplikat pada data identitas menggunakan leveinsthein distance.
1.5. Manfaat Penelitian
Manfaat dari penelitian ini yaitu :
1. Dapat mengoptimalkan proses cleaning data yang memiliki duplikat record. 2. Menambah pengetahuan penulis dalam penggunaan algoritma leveinsthein
distance.
1.6. Metodologi Penelitian
Tahapan-tahapan yang akan dilakukan dalam pelaksanaan penelitian ini adalah sebagai berikut :
1. Studi Literatur
Tahap studi literatur ini dilaksanakan untuk mengumpulkan bahan-bahan referensi yang berkaitan dengan penelitian tentang duplikasi record, data mining, data cleaning, text processing, metode multi-pass neighborhood, transitive closure, n-gram dan leveinsthein distance.
2. Analisis Permasalahan
Pada tahap ini dilakukan analisis terhadap bahan referensi yang telah diperoleh yang terkait dengan penelitian agar didapatkan metode yang tepat untuk menyelesaikan masalah dalam penelitian ini.
3. Perancangan Sistem
Pada tahap ini dilakukan perancangan sistem untuk menyelesaikan permasalahan yang terdapat di dalam tahap analisis. Kemudian dilanjutkan dengan mengimplementasikan hasil analisis dan perancangan ke dalam sistem. 4. Implementasi
Pada tahap ini akan dilakukan proses implementasi program menggunakan metode yang telah ditentukan dan dari data yang telah dikumpulkan.
5. Pengujian Sistem
Pada tahap ini dilakukan proses pengujian terhadap sistem untuk memastikan sistem yang dibuat dapat berjalan seperti yang diharapkan.
6. Penyusunan Laporan
Pada tahap ini dilakukan dokumentasi dan penyusunan laporan terhadap analisis dan implementasi leveinsthein distance untuk mengidentifikasi duplikat record pada data identitas.
1.7. Sistematika Penulisan
Bab ini berisikan latar belakang, rumusan masalah, batasan masalah, tujuan penelitian, manfaat penelitian, metodologi penelitian, dan sistematika penulisan.
BAB II : Landasan Teori
Bab ini berisikan teori-teori yang digunakan untuk memahami permasalahan yang dibahas pada penelitian ini. Pada bab ini dijelaskan tentang penerapan metode yang digunakan pada penelitian.
BAB III : Analisis dan Perancangan
Bab ini berisikan analisis terhadap permasalahan dan perancangan sistem yang akan dibangun berdasarkan metode yang akan diterapkan dalam sistem.
BAB IV : Implementasi dan Pengujian
Bab ini berisikan pembahasan tentang implementasi dari analisis dan perancangan yang disusun pada Bab III. Selain itu akan dijabarkan hasil implemetasi yang didapatkan.
BAB V : Kesimpulan dan Saran
