KNOWLEGDE DISCOVERY in DATABASE (KDD)

KNOWLEGDE DISCOVERY in DATABASE (KDD)

Tujuan : Mahasiswa Dapat memahami konsep KDD yang merupakan tujuan akhir dari Data Warehouse

dan Data Mining

Data Warehouse

Defnisi :

 Data Warehouse adalah Pusat repositori informasi yang mampu memberikan database berorientasi subyek untuk informasi yang bersifat historis yang mendukung DSS (Decision Suport System) danEIS (Executive Information System).

 _{Salinan dari transaksi data yang terstruktur secara spesifk pada} query dan analisa.

 Salinan dari transaksi data yang terstruktur spesifk untuk query dan laporan

Tujuan :

Empat karakteristik data

warehouse

• _{Subject oriented} • _Integrated

Empat karakteristik data

warehouse

• _{Subject oriented}

– Data yang disusun menurut subyek berisi hanya informasi yang penting bagi pemprosesan decision support.

– Database yang semua informasi yang tersimpan di kelompokkan berdasarkan subyek tertentu misalnya: pelanggan, gudang, pasar, dsb.

– Semua Informasi tersebut disimpan dalam suatu sistem data warehouse.

Empat karakteristik data

warehouse

• _Integrated

– Jika data terletak pada berbagai aplikasi yang terpisah dalam suatu lingkungan operasional, encoding data sering tidak seragam sehinggga bila data dipindahkan ke data warehouse maka coding akan diasumsikan sama seperti

Empat karakteristik data

warehouse

• _{Time variant}

Data warehouse adalah tempat untuk storing data selama 5 sampai 10 tahun atau lebih, data digunakan untuk

Empat karakteristik data

warehouse

• _Non-volatile

Perbedaan Data Warehouse

dan Database

• _{Data Warehouse}

– _{Tidak terikat suatu}

aplikasi

– _{Data terpusat} – _Historical

– _{Denormalisasi kecil} – _{Multiple subject}

– _{Sumber dari dari semua}

internal maupun eksternal source

– _Fleksibel

– _{Data oriented}

– _{Umurnya panjang} – _{Ukuran besar}

– _{Single complex structure}

• _Database

– _{Aplikasi DSS secara}

spesifk

– _{Tidak terpusat oleh user}

area

– _{Sebagian historical} – _{Denormalisasi besar} – _{One central subject of}

concern of user

– _{Sumber dari sebagian}

internal maupun eksternal source

– _{Tidak feksibel, terbatas} – _{Project oriented}

– _{Umurnya pendek}

– _{Ukuran dari kecil menjadi}

besar

ARSITEKTUR DATA

WAREHOUSE

Pilihan berikut harus dibuat didalam perancangan data warehouse

• process model

Tipe apa yang akan dimodelkan? • grain

Apa dasar data dan level atom data yang akan disajikan?

• dimensi

Dimensi apa yang dipakai untuk masing-masing record tabel fakta?

• ukuran

ARSITEKTUR DATA

WAREHOUSE

OLAP (On-line analytical processing)

 OLAP adalah suatu sistem atau teknologi yang dirancang

untuk

mendukung proses analisis kompleks dalam rangka mengungkapkan

kecenderungan pasar dan faktor-faktor penting dalam bisnis

 OLAP ditandai dengan kemampuannya menaikkan atau

menurunkan

dimensi data sehingga kita dapat menggali data sampai pada level yang

sangat detail dan memperoleh pandangan yang lebih luas mengenai

objek yang sedang kita analisis.

 OLAP secara khusus memfokuskan pada pembuatan data agar

dapat

diakses pada saat pendefnisian kembali dimensi.

 OLAP dapat digunakan membuat rangkuman dari multidimensi

data

yang berbeda, rangkuman baru dan mendapatkan respon secara online,

dan memberikan view dua dimensi pada data cube multidimensi secara

Perbedaan data warehouse dan data mining

Tahap pemprosesan dalam Data Mining

Penerapan Data Mining di

Perusahaan

 _{Analisa Perusahaan dan Manajemen Resiko}

 _{Perencanaan Keuangan dan Evaluasi Aset}

Data Mining dapat membantu untuk melakukan analisis dan prediksi cash fow serta melakukan contingent claim analysis untuk mengevaluasi aset. Selain itu juga dapat menggunakannya untuk analisis trend.

 _{Perencanaan Sumber Daya (Resource Planning)}

Dengan melihat informasi ringkas (summary) serta pola pembelanjaan dan

pemasukan dari masing-masing resource, dapat memanfaatkannya untuk melakukan resource planning.

 _{Persaingan (Competition)}

 _{Sekarang ini banyak perusahaan yang berupaya untuk dapat melakukan}

competitive intelligence. Data Mining dapat membantu untuk memonitor pesaing-pesaing dan melihat market direction mereka.

 _{dapat melakukan pengelompokan customer dan memberikan variasi}

harga/layanan/bonus untuk masing-masing grup.

 _{Menyusun strategi penetapan harga di pasar yang sangat kompetitif. Hal ini}

DATA MINING &

KDD

DATA MINING

 Data Mining adalah kegiatan untuk

menemukan informasi atau pengetahuan yang berguna secara otomatis dari data yang jumlahnya besar.

 Data Mining merupakan salah satu proses

dari keseluruhan proses yang ada pada

KDD

 _{Knowledge Discovery in Databases (KDD) merupakan}

sekumpulan proses untuk menemukan pengetahuan yang bermanfaat dari data.

 _{Kumpulan proses dalam KDD meliputi : pembersihan data (data}

cleaning), integrasi data (data integration), pemilihan data (data selection), transformasi data (data transformation),

penambangan data (data mining), evaluasi pola (pattern evaluation), dan presentasi pengetahuan (knowledge presentation).

 _{Berdasarkan defnisi ini terlihat bahwa data mining hanya}

DATA MINING &

KDD

DATA MINING &

KDD

DATA

WAREHOUSE

DATA

DATA

WAREHOUSE

DATA

WAREHOUSE

DATA MINING

DATA MINING

KDD

KDD vs. DM

 Menurut Cabena, Data Mining =

Knowledge Discovery in Database (KDD).

 Menurut Jiawei Han, Data Mining

merupakan Subset atau salah satu

tahap dari KDD saja. Sehingga, batasan ini yang selanjutkan digunakan.

 Data Mining bertujuan mengekplorasi

TAHAPAN KNOWLEDGE

DISCOVERY IN DATABASE

Menurut Peter Cabena, Tahapan – tahapan dalam KDD adalah sebagai berikut :

 Penentuan Sasaran Bisnis (Business

Objective Determination)

 Persiapan Data (Preparation Data)

 _{Data Selection}

 Data Preprocessing  Data Transformation

 Data Mining

 Anaysis of Result

Business Objective

Determination - 1

 _{Merupakan sebuah tahapan yang mendefnisikan}

permasalahan atau tantangan bisnis dengan jelas. Hal ini merupakan aspek yang sangat esensial dalam setiap proyek data mining.

 _{Contoh Sasaran Bisnis :}

Mengembangkan suatu strategi marketing untuk

mempertahankan loyalitas customer di Jawa Tengah dan Jawa Timur untuk produk soft drink dengan brand dan ukuran tertentu (200ml dalam kotak alumunium) selama bulan April, Mei , Juni yang akan datang. Perusahaan

Business Objective

Determination - 2

 _{Sehingga dampak keseluruhan KDD adalah :}

 – Data Selection: dipilih customers yang membeli

produk soft drink 200 ml dalam kotak alumunium di Jawa Tengah dan Jawa Timur.

 – Data Transformation: customers yang membeli

produk soft drink 200 ml dalam kotak alumunium disorting dalam 10 kategori, yang masing-masing membedakan tingkat loyalitasnya: membeli produk tersebut 0-10%, 11-20%, ... , 81-90%, 91-100%

Persiapan Data (Preparation

Data) -1

 Merupakan tahapan untuk mempersiapkan

data yang diperlukan untuk proses data

mining. Tujuannya adalah agar data yang digunakan benar-benar sesuai dengan

permasalahan yang akan dipecahkan, dapat dijamin kebenarannya, dan dalam format yang sesuai/tepat.

 Tahap yang paling banyak mengkonsumsi

resources (manusia, biaya, waktu) yang tersedia. Biasanya mencapai 60%

Persiapan Data (Preparation

Data) -2

 _{Data Selection}

 Mengidentifkasi semua sumber informasi internal dan

eksternal dan memilih sebagian saja dari data yang diperlukan untuk aplikasi data mining.

 Data Preprocessing

 _{Meyakinkan kualitas data yang telah dipilih pada}

tahapan sebelumnya. 2 issue yang sering dihadapkan pada tahapan ini adalah Noisy Data dan Missing Value.

 Data Transformation

 _{Mengubah data ke dalam model analitis serta}

Data Mining -1

 _{Melakukan proses pencarian pengetahuan}

terhadap data yang ditransformasikan pada tahap sebelumnya.

 Contoh Pengetahuan berbentuk Association Rule

untuk kasus "Soft Drink“:

 IF soft drink sejenis dengan ukuran yang lebih besar

(bukan botol kecil) dibeli lebih dari 58% dalam sejarah pembelian soft drink seorang consumer

 _{THEN consumer tersebut diprediksi Loyal.}

 Pemilihan tugas data mining : pemilihan goal dari

Data Mining -2

 Proses Data mining yaitu proses mencari

pola atau informasi menarik dalam data terpilih dengan menggunakan teknik atau metode tertentu. Teknik, metode, atau

algoritma dalam data mining sangat bervariasi. Pemilihan metode atau

algoritma yang tepat sangat bergantung pada tujuan dan proses KDD secara

Anaysis of Result

 Menginterpretasikan dan mengevaluasi

output dari tahap mining: patterns.

 Pendekatan analisa yang digunakan akan

Assimilation of Knowledge

 Menggunakan hasil mining yang telah

DATA MINING dan PROSES KDD - 2

 _{Pembersihan data (Data Cleaning)}

 _{Digunakan untuk membuang data yang tidak konsisten dan noise.}  _{Intergrasi Data (Data Integration)}

 _{Data yang diperlukan untuk data mining tidak hanya berasal dari satu database} tetapi juga berasal dari beberapa database atau fle teks. Hasil integrasi data sering diwujudkan dalam sebuah data warehouse karena dengan data

warehouse, data dikonsolidasikan dengan struktur khusus yang efsien. Selain itu data warehouse juga memungkinkan tipe analisa seperti OLAP.

 _{Transformasi data}

 _{Transformasi dan pemilihan data ini untuk menentukan kualitas dari hasil data} mining, sehingga data diubah menjadi bentuk sesuai untuk di-Mining.

 _{Aplikasi Teknik Data Mining}

 _{Aplikasi teknik data mining sendiri hanya merupakan salah satu bagian dari} proses data mining. Ada beberapa teknik data mining yang sudah umum dipakai.

 _{Evaluasi pola yang ditemukan}

 _{Dalam tahap ini hasil dari teknik data mining berupa pola-pola yang khas} maupun model prediksi dievaluasi untuk menilai apakah hipotesa yang ada memang tercapai.

 _{Presentasi Pengetahuan}

Daftar Pustaka

 Djoni Darmawikarta, Mengenal Data

Warehouse, 2003

 Yudho Giri Sucahyo, Data Mining,2003  Yudho Giri Sucahyo, Penerapan Data

Mining, 2003



Jefrey A. Hofer, Mary B. Prescott, Fred

R. McFadden ;

Modern Database Management