Nama : Fitri Nur Faiqotul Ajizah NIM : 4101422123
Mata Kuliah : Data Mining
1. Definisi Pre-processing Data Pre-processing data adalah tahap awal dalam analisis data yang mencakup berbagai teknik untuk membersihkan, mentransformasikan, dan menyusun data sebelum digunakan dalam model analisis atau machine learning. Tahap ini sangat penting karena data mentah sering kali mengandung noise, nilai yang hilang, atau format yang tidak sesuai, yang dapat mempengaruhi kualitas analisis dan hasil prediksi. Dengan pre-processing yang baik, model dapat bekerja lebih efisien, akurat, dan dapat diandalkan.
2. Tahapan Pre-processing Data Pre-processing data terdiri dari beberapa langkah utama, yaitu:
• Pembersihan Data: Proses ini bertujuan untuk menangani berbagai permasalahan pada data seperti:
o Handling Missing Values: Nilai yang hilang dalam dataset dapat menyebabkan bias atau kesalahan dalam analisis. Cara menanganinya antara lain dengan menghapus baris atau kolom yang memiliki nilai kosong atau menggantinya dengan nilai estimasi seperti mean, median, atau mode.
o Outliers Handling: Data pencilan dapat mengganggu analisis.
Identifikasi outliers dapat dilakukan dengan metode statistik seperti IQR (Interquartile Range) atau Z-score, dan dapat ditangani dengan metode seperti winsorizing atau penghapusan data ekstrem.
o Noise Reduction: Data yang mengandung noise (kesalahan atau ketidaksesuaian) dapat diperbaiki dengan teknik seperti smoothing, binning, atau filtering.
• Transformasi Data: Langkah ini mengubah data ke dalam format yang lebih sesuai untuk analisis:
o Normalisasi: Mengubah skala data ke dalam rentang tertentu (misalnya 0 hingga 1) untuk menghindari dominasi fitur dengan nilai besar.
o Standarisasi: Mengubah data sehingga memiliki distribusi dengan mean 0 dan standar deviasi 1, yang berguna untuk model berbasis jarak seperti SVM dan KNN.
o Encoding: Mengubah data kategorikal menjadi numerik agar dapat digunakan dalam model machine learning. Teknik yang umum digunakan antara lain One-Hot Encoding dan Label Encoding.
• Reduksi Data: Mengurangi dimensi data untuk meningkatkan efisiensi komputasi dan mengurangi kompleksitas model:
o PCA (Principal Component Analysis): Metode statistik yang mereduksi dimensi dataset dengan tetap mempertahankan informasi penting.
o Feature Selection: Memilih fitur yang paling relevan dengan analisis untuk mengurangi noise dan meningkatkan performa model.
• Integrasi Data: Menggabungkan data dari berbagai sumber atau tabel ke dalam satu dataset yang kohesif, sehingga analisis dapat dilakukan dengan lebih efektif.
Proses ini melibatkan penghapusan duplikasi dan penyelarasan format data dari berbagai sumber.
3. Dampak Pre-processing terhadap Hasil Analisis Kualitas pre-processing data berpengaruh besar terhadap performa model dalam machine learning dan data mining.
Data yang bersih dan terstruktur dengan baik dapat:
• Meningkatkan akurasi model dengan mengurangi bias dan variansi.
• Menghindari overfitting dengan menghilangkan fitur yang tidak relevan atau terlalu berisik.
• Mempercepat waktu pemrosesan dengan mengurangi kompleksitas dataset.
Sebaliknya, data yang tidak diproses dengan baik dapat menghasilkan model yang kurang akurat, bias, atau bahkan gagal dalam membuat prediksi yang valid.
4. Studi Kasus Sebagai contoh, dalam analisis data pelanggan untuk memprediksi churn (kehilangan pelanggan), pre-processing data dapat dilakukan sebagai berikut:
• Pembersihan Data: Menghapus pelanggan dengan data yang tidak lengkap atau menggantinya dengan nilai estimasi.
• Transformasi Data: Menggunakan One-Hot Encoding untuk mengubah kategori seperti "jenis langganan" menjadi data numerik dan melakukan normalisasi pada variabel seperti durasi penggunaan layanan.
• Reduksi Data: Menggunakan PCA untuk mengurangi jumlah variabel tanpa mengorbankan informasi penting.
• Integrasi Data: Menggabungkan data pelanggan dari berbagai sumber seperti riwayat transaksi dan interaksi layanan.
Dengan pre-processing yang baik, model machine learning dapat lebih akurat dalam memprediksi pelanggan yang berisiko berhenti berlangganan, sehingga perusahaan dapat mengambil langkah-langkah strategis untuk mempertahankan mereka.
Secara keseluruhan, pre-processing data merupakan langkah krusial dalam analisis data yang menentukan keberhasilan model dalam memberikan wawasan yang akurat dan dapat diandalkan.
