Pengantar Data Mining. Kuliah 1

(1)

Pengantar Data Mining

(2)

Agenda

`

_Pendahuluan

`

_{Pengertian Data Mining}

`

_{Pengertian Data Mining}

`

_{Knowledge Discovery in Database (KDD)}

`

_{Arsitektur Sistem Data mining}

`

_{Arsitektur Sistem Data mining}

`

_{Tugas‐tugas dalam Data mining}

`

_Aplikasi

`

_Aplikasi

(3)

Motivasi

`

_{Masalah eksplorasi data}

`

_{Perkembangan dalam teknologi basis data dan tool terotomasi}

`

_{Perkembangan dalam teknologi basis data dan tool terotomasi}

untuk pengumpulan data telah mengakibatkan menumpuknya

data dalam basis data, data warehouses dan tempat

penyimpanan data lainnya.

Kaya akan data, tapi miskin akan pengetahuan!

`

_{Solusi: Data warehousing dan data mining}

` Data warehousing dan

on‐line analytical processing

Ek

k i

h

ik (

l

`

_{Ekstraksi pengetahuan yang menarik (aturan, pola, atau}

kendala) dari basis data berukuran besar.

(4)

Motivasi

`

_{Informasi ‘tersembunyi’ dalam data}

`

_{Analisis secara manual membutuhkan waktu yang cukup lama}

Motivasi

`

_{Analisis secara manual membutuhkan waktu yang cukup lama}

untuk mencari informasi yang menarik

`

_{Kebanyakan data tidak pernah dianalsisis setelah dikumpulkan}

3,000,000 3,500,000 4,000,000 The Data Gap 1,500,000 2,000,000 2,500,000 p Total new disk (TB) since 1995 0 500,000 1,000,000 1995 1996 1997 1998 1999 Number of analysts 1995 1996 1997 1998 1999

From: R. Grossman, C. Kamath, V. Kumar, “Data Mining for Scientific and Engineering Applications”

(5)

Mengapa Menambang Data?

g p

g

Sudut pandang komersil

`

_{Telah banyak data yang dikumpukan}

`

Web data e commerce

`

Web data, e‐commerce

`

_{grocery stores}

`

Bank/Credit Card transactions

T k

l i k

j di

`

_{Teknologi komputer menjadi}

lebih murah dan powerful

`

_{Tekanan kompetisi semakin kuat}

`

_{Tekanan kompetisi semakin kuat}

`

_{Menyediakan layanan yang lebih baik, contoh: dalam}

Customer Relationship Management

(6)

Mengapa Menambang Data?

Sudut pandang keilmuan

Mengapa Menambang Data?

Sudut pandang keilmuan

`

_{Data dikumpulkan dan disimpan dengan}

kecepatan tinggi (GB/hour)

p

gg (

)

`

_{remote sensor pada satellite}

`

_{microarray pembangkit gene}

expression data

`

_{Simulasi keilmuan}

`

_{Teknik tradisional tidak cukup untuk menganalisis data}

d

iki

demikian

`

_{Data mining membantu ilmuwan dalam}

`

_{Klasifikasi dan segmentasi data}

_g

`

_{Formulasi hipotesis}

11/27/2008 5

(7)

Jumlah halaman Web yang diindeks oleh Google search engine

(Sumber: Internet Archive, http: www.archive.org) (Sumber: Internet Archive, http: www.archive.org)

(8)

Pengertian Data Mining

`

_{Data mining (knowledge discovery in databases):}

` _{Ekstraksi informasi atau pola yang menarik}(non‐trivial, implicit,

previously unknown dan potentially useful) dalam basis data berukuran besar.

I til h l i

`

_{Istilah lain:}

` Knowledge discovery(mining) in databases (KDD), knowledge

extraction, data/pattern analysis, data archeology, data dredging, information harvesting business intelligence dll

information harvesting, business intelligence, dll.

`

_{Yang bukan termasuk data mining task?}

` _{Pemrosesan (deductive) query.}

` _{Sistem pakar}

(9)

Pengertian Data Mining

z

_{Yang merupakan data mining task?}

z

_{Yang bukan data}

i i

t k?

_–

_{Mencari nama tertentu yang lazim}

di wilayah/daerah tertentu. (Contoh:

O’Brien, O’Rurke, O’Reilly… nama

mining task?

–

Mencari nomor

telpon dalam direktori

,

y

yang lazim di wilayah Boston)

–

Mengelompokan dokumen‐

d k

i i

telpon dalam direktori

telpon

dokumen yang mirip yang

dikembalikan oleh search engine

berdasarkan konteksnya (misalkan

–

Melakukan kueri

pada Web search

engine untuk mencari

_{Amazon rainforest, Amazon.com,)}

engine untuk mencari

informasi tentang

“Amazon”

(10)

Hubungan data mining dengan bidang lain

`

_{Berkaitan erat dengan bidang machine learning/AI,}

i i

i ik d

i

b i d

pattern recognition, statistika, dan sistem basis data

`

_{Teknik tradisonal menjadi}

tid k

i k

tidak sesuai karena

`

Data berukuran besar

`

_{Tingginya dimensi data}

Machine Learning/ Pattern Recognition Statistics/ AI `

_{Tingginya dimensi data}

`

_{Data yang heterogen,}

dan terdistribusi

Recognition Data Mining Database systems systems 9 11/27/2008

(11)

Data Mining: Gabungan dari multi disiplin

g

p

Database

Technology

Statistics

Data Mining

Machine

Learning

g

Visualization

Learning

Pattern

Recognition

Algorithm

Other

Disciplines

(12)

Data Mining: sebuah proses dalam KDD

g

p

`

Data mining: elemen utama

_{Pattern Evaluation}

daam proses knowledge

discovery.

Data Mining

Pattern Evaluation

Task-relevant Data

Data Warehouse Selection

Data Cleaning

Data Integration

Databases

(13)

Data Mining: sebuah proses dalam KDD

1.

Pembersihan data

: menghilangkan noise dan data yang tidak

konsisten.

2

Pengintegrasian data

: data digabungkan dari berbagai sumber

2.

Pengintegrasian data

: data digabungkan dari berbagai sumber.

3.

Seleksi data

: data yang relevan dengan proses analisis diambil dari

basis data.

4

Transformasi data

: data ditransformasikan atau digabungkan ke

4.

Transformasi data

: data ditransformasikan atau digabungkan ke

dalam bentuk yang sesuai untuk di‐mine dengan cara dilakukan

peringkasan atau operasi agregasi.

5.

Data mining

: merupakan proses yang penting dalam KDD dimana

5.

ata mining

: merupakan proses yang penting dalam K

dimana

metode‐metode cerdas diaplikasikan untuk mengekstrak pola‐

pola data.

6.

Evaluasi pola

: untuk mengidentifikasi pola‐pola yang menarik

ik

h

b d

k

yang merepresentasikan pengetahuan berdasarkan suatu ukuran

kemenarikan.

7.

Presentasi pengetahuan

: merepresentasikan pengetahuan yang

(14)

Data Mining: sebuah proses dalam KDD

g

p

Input data

Information

(15)

Data Mining dan Business Intelligence

Increasing potential to support

business decisions End User

Business

Decision Making

Data Presentation Business

Analyst Data A l Data Presentation Visualization Techniques Data Mining f Analyst Information Discovery Data Exploration

Statistical Summary, Querying, and Reporting

DBA

Statistical Summary, Querying, and Reporting

(16)

Arsitektur Sistem Data Miningg

Graphical User Interface Pattern Evaluation

Knowl

Database or Data Data Mining Engine

Knowl edge-Base

data cleaning, integration, and selection Database or Data

Warehouse Server

Database Data World-Wide _ROther Info_it _i Database

Warehouse Web Repositories

(17)

Arsitektur Sistem Data Mining

1.

Basis data

, data warehouse atau tempat penyimpanan informasi

lainnya.

2

Basis data dan data warehouse server

Komponen ini

2.

Basis data dan data warehouse server

. Komponen ini

bertanggung jawab dalam pengambilan data yang relevan,

berdasarkan permintaan pengguna.

3.

Basis pengetahuan

, merupakan domain knowledge yang

3.

Basis pengetahuan

, merupakan domain knowledge yang

digunakan untuk memandu pencarian atau mengevaluasi pola‐

pola yang dihasilkan.

4.

Data mining engine

, terdiri modul‐modul fungsional data mining

seperti karakterisasi, asosiasi, klasifikasi, dan analisis cluster.

5.

Modul evaluasi pola

, menggunakan ukuran‐ukuran kemenarikan

dan berinteraksi dengan modul data mining dalam pencarian

pola pola menarik

pola‐pola menarik.

6.

Antarmuka pengguna grafis

, media komunikasi dengan pengguna

(18)

Data yang ditambang?

y

g

`

_{Basis data relasional}

`

_{Data warehouse}

`

_{Basis data transaksional}

`

_{Tempat penyimpanan data lainnya}

`

Basis data object‐oriented dan basis data object‐relational

i d

i l

`

_{Basis data spatial}

`

_{Data time‐series dan data temporal}

`

_{Data teks dan basis data multimedia}

`

_{Data teks dan basis data multimedia}

`

_WWW

(19)

Tugas‐tugas dalam Data Mining

Tugas tugas dalam Data Mining

`

_{Metode Prediksi}

`

_{Metode Prediksi}

`

_{Menggunakan beberapa variabel (atribut) untuk memprediksi}

nilai yang tidak diketahui atau nilai yang akan datang dari

variabel (atribut) lain.

`

_{Metode Deskripsi}

`

_{Metode Deskripsi}

`

_{Menemukan pola‐pola (korelasi, trend, cluster, trayektori, dan}

anomali) yang meringkas hubungan dalam data.

(20)

Tugas‐tugas dalam Data Mining (1)

`

_Association

(

correlation dan causality)

` _{Multi‐dimensional vs single‐dimensional association} ` _{Multi dimensional vs. single dimensional association}

` age(X, “20..29”) ^ income(X, “20..29K”) Æ buys(X, “PC”) [support = 2%, confidence = 60%]

` _{contains(T “computer”) Æ contains(x “software”) [1% 75%]} ` _{contains(T, “computer”) Æ contains(x, “software”) [1%, 75%]} `

_{Klasifikasi dan Prediksi}

` Menemukan model (fungsi) yang menjelaskan dan membedakan kelas atau kosep untuk prediksi mendatang

` _{Contoh: mengklasifikasikan negara berdasarkan iklim}

` Presentasi: decision‐tree, classification rule, neural network

` Presentasi: decision tree, classification rule, neural network

` _{Prediksi: Mempredikasi nilai numerik yang tidak diketahui atau yang}

hilang

(21)

Tugas‐tugas dalam Data Mining (2)

g

g ( )

`

_{Analisis cluster}

` _{Label kelas tidak diketahui: mengelompokkan data untuk membentuk} ` _{Label kelas tidak diketahui: mengelompokkan data untuk membentuk}

kelas‐kelas yang baru, contoh: mengelompokkan data untuk mencari pola distribusinya

` Clustering berdasarkan prinsip : memaksimumkan kemiripan intra‐kelas

` Clustering berdasarkan prinsip : memaksimumkan kemiripan intra kelas

dan memiminumkan kemiripan interkelas ` Analisis outlier O tli bj k d t tid k ik ti il k d i d t ` _{Outlier: objek data yang tidak mengikuti perilaku umum dari data} ` _{Dapat dipandang sebagai noise atau eksepsi tetapi berguna dalam fraud} detection, rare events analysis ` _{Trend dan analisis evolusi} ` _{Trend dan deviasi: analisis regresi}

(22)

Pola yang menarik?

`

_{Data mining dapat membangkitkan ribuan pola : tidak semua}

`

_{Data mining dapat membangkitkan ribuan pola : tidak semua}

pola tersebut menarik

` Pendekatan: Human‐centered, query‐based, focused miningq y f g

`

_{Ukuran kemenarikan}

` Sebuah pola dikatakan menarik jika pola tersebut mudah dimengerti oleh pengguna, valid pada data baru atau data tes dengan derajat kepastian (certainty), berguna, novel, atau memvalidasi hipotesis yang dicari oleh pengguna

pengguna.

(23)

Aplikasi 1: Analisis dan Manajemen Pasar

` _{Sumber data?—transaksi kartu kredit, data pengguna kartu yang setia (loyal), kupon} discount, panggilan keluhan pengguna, studi gaya hidup publik T k i ` _{Target marketing} ` Mencari cluster dari konsumen “model” yang memiliki karakteristik yang sama: minat, level pendapatan, perilaku belanja, dll, ` Menentukan pola pembelian konsumen pada setiap waktup p p p ` _{Cross‐market analysis—Menemukan asosiasi/korelasi antar penjualan produk dan} melakukan prediksi berdasarkan asosiasi tersebut ` _{Customer profiling—Tipe konsumen seperti apa yang akan membeli prosuk tertentu} (clustering atau klasifikasi) ` Customer requirement analysis ` Mengidentifikasi produk terbaik untuk konsumen‐konsumen yang berbeda

` Memprediksi faktor faktor yang akan menarik perhatian konsumen baru

` Memprediksi faktor‐faktor yang akan menarik perhatian konsumen baru

` Summary information

(24)

Aplikasi 1: Klasifikasi

`

_{Direct Marketing}

`

_{Tujuan: mengurangi biaya pengiriman surat dengan}

`

_{Tujuan: mengurangi biaya pengiriman surat dengan}

mentargetkan

sekelompok konsumen yang mungkin akan

membeli produk baru.

`

_P

_{d k t}

`

_Pendekatan:

` _{Menggunakan data produk serupa yang telah dipasarkan} sebelumnya. ` _M _{t h i k} _{t k} _{t k} _{b li} ` _{Mengetahui konsumen mana yang memutuskan untuk membeli} (buy) dan konsumen mana yang memutuskan selainnya. Keputusan

{buy, don’t buy} membentuk class attribute.

` _{Mengumpulkan berbagai data demografi dan gaya hidup dari} ` _{Mengumpulkan berbagai data demografi, dan gaya hidup dari}

konsumen yang memutuskan membeli dan tidak membeli. Bentuk usahanya, tempat tinggalnya, pendapatannya, dll.

` Menggunakan informasi ini sebagai atribut‐atribut input untuk gg g p

pembelajaran model classifier. _{From [Berry & Linoff] Data Mining Techniques, 1997}

11/27/2008 23

(25)

Aplikasi 2: Klasifikasi

`

_{Fraud Detection}

`

_{Tujuan: memprediksi kasus‐kasus yang mengandung}

`

_{Tujuan: memprediksi kasus kasus yang mengandung}

kecurangan dalam transaksi dalam transaksi kartu kredit.

`

_Pendekatan:

` _{Menggunakan transaksi kartu kreditdan informasi mengenai} ` _{Menggunakan transaksi kartu kreditdan informasi mengenai} pemegang kartu kredit sebagai atribut. Kapan konsumen melakukan pembelian, barang apa yang dibelinya, berapa sering dia melakukan pembayaran menggunakan kartu kedit pada periode waktu tertentu, dll ` _{Memberikan label transaksi yang telah lalusebagai transaksi yang} mengandung kecurangan (fraud) atau transaksi yang normal (fair). Kategori ini membentuk atribut kelas

Kategori ini membentuk atribut kelas.

` Pembelajaran model untuk kelas transaksi.

(26)

Aplikasi 3: Klasifikasi

`

_{Perpindahan konsumen ke kompetitor (Customer Attrition}

/Churn):

`

Tujuan: memprediksi apakah seorang konsumen akan pindah

ke produk kompetitor

ke produk kompetitor.

`

Pendekatan:

` Menggunakan catatan transaksi secara rinci untuk setiap konsumen lampau dan saat ini, untuk menentukan atribut. Seberapa sering konsumen melakukan panggilan, dimana dia melakukan panggilan, kapan konsumen tersebut sering melakukan panggilan, status k t t ik h dll keuangannya, status pernikahan, dll. ` _{Menentukan label konsumen sebagai loyal atau tidak loyal.} ` Tentukan model untuk loyalty.

From [Berry & Linoff] Data Mining Techniques, 1997

11/27/2008 25

(27)

Aplikasi 1: Clustering

`

_{Segmentasi Pasar:}

`

_{Tujuan: membagi pasar ke dalam bagian‐bagian konsumen}

`

_{Tujuan: membagi pasar ke dalam bagian bagian konsumen}

yang berbeda dimana sebuah bagian dapat dipilih sebagai

target pasar.

`

_Pendekatan:

`

_Pendekatan:

` Mengumpulkan atribut‐atribut yang berbedadari konsumen berdasarkan informasi yang terkait gerografisnya dan gaya hidupnya. ` _{Menemukan cluster dari konsumen konsumen yang serupa}

` _{Menemukan cluster dari konsumen‐konsumen yang serupa.}

` _{Mengukur kualitas clustering dengan mengobservasi pola pembelian} dari konsumen‐konsumen dalam kelas yang sama terhadap

(28)

Aplikasi 1: Penentuan Aturan Asosiasi

`

_{Pemasaran dan promosi penjualan:}

`

Misalkan aturan yang diperoleh

`

Misalkan aturan yang diperoleh

{Cola, … } ‐‐> {Potato Chips}

`

Potato Chips sebagai consequent

=>

dapat digunakan untuk

t k

h

dil k k

t k

i k tk

menentukan apa yang harus dilakukan untuk meningkatkan

penjualannya.

`

_{Cola dalam antecedent}

=>

dapat digunakan untuk melihat produk

k

t

h jik jik

j

l

C l dih

tik

mana yang akan terengaruh jika jika penjualan Cola dihentikan.

`

_{Cola dalam antecedent dan Potato chips dalam consequent}

=>

dapat digunakan untuk melihat produk apa yang seharusnya

dij

l d

d

C l

t k

ik

j

l

dijual dengan dengan Cola untuk mempromosikan penjualan

Potato chips!

11/27/2008 27

(29)

Aplikasi 2: Penentuan Aturan Asosiasi

p as : e e tua

tu a

sos as

`

_{Manajemen penempatan barang di supermarket.}

`

_{Tujuan: mengidentifikasi item‐item yang dibeli secara}

`

_{Tujuan: mengidentifikasi item‐item yang dibeli secara}

bersamaan oleh banyak pembeli.

`

_{Pendekatan: Memproses data point‐of‐sale yang}

dikumpulkan dengan barcode scanner untuk menemukan

kebergantungan antar item.

`

_{Contoh aturan‐‐}

`

_{Contoh aturan‐‐}

` _{If a customer buys diaper and milk, then he is very likely to buy beer}_.

(30)

Rujukan

`

_{Tan P., Michael S., & Vipin K. 2006. Introduction to Data}

mining. Pearson Education, Inc.

`