Mengapa DM:
Banjir Data
• Twitter: 8000an tweet per detik 600 juta tweet per hari.
• Facebook: 30 milyar item (link, status, note, foto dst) per bulan. 500 juta user menghabiskan 700 milyar menit per bulan di situs FB.
• Indomaret: 4500an gerai, asumsikan 3 transaksi per menit = 12 juta transaksi per hari se Indonesia.
• Kartu kredit visa: berlaku di 200 negara. 10 ribu transaksi per detik 850 juta transaksi per hari.
Mengapa Datamining
We are drowning in data,
but starving for
Mengapa data mining?
• Digitalisasi, kemajuan sistem informasi
data, data, data (Tera Peta)
• Web berita, blog, twitter, forum, flickr, fb,
youtube
Evolusi DB
• 60-an: koleksi data (file system primitif)
• 70-80: MIS (Sistem Informasi Management)
• 80-sekarang: OO, Deductive, Spatial, Multimedia • 90-sekarang: Web based (XML, web mining),
Datawarehouse, OLAP, Text Database, Text + Data mining
• 05-sekarang: Stream data management and mining, Cloud, Web
Apa Data Mining?
• Data mining (pencarian pengetahuan dari
data)
– Mengekstrak secara otomatis pola atau
pengetahuan yang menarik (tidak sederhana, tersembunyi, tidak diketahui sebelumnya,
berpotensi berguna) dari data dalam jumlah sangat besar.
Apa Datamining? (lanj)
• Nama alternatif: Knowledge discovery
(mining) in databases (KDD), knowledge
extraction, data/pattern analysis, data
archeology, data dredging, information
harvesting, business intelligence dsb
• Keuntungan bagi organisasi yang menerapkan
data mining?
Keuntungan Datamining
• Perusahaan fokus ke informasi yg berharga di
datawarehouse/databasenya.
• Meramalkan masa depan perusahaan
dapat mempersiapkan diri
Contoh:
Midwest grocery chain menggunakan DM untuk menganalisisi pola pembelian: saat pria membeli
popok di hari Kamis dan Sabtu, mereka juga membeli minuman.
Analisis lebih lanjut: pembeli ini belanja di hari kamis dan sabtu, tapi di hari kamis jumlah item lebih sedikit. Kesimpulan yang diambil: pembeli membeli minuman untuk dihabiskan saat weekend.
Tindak lanjut: menjual minuman dengan harga full di hari Kamis dan Sabtu. Mendekatkan posisi popok dan minuman.
Contoh Aplikasi
Bank me-mining transaksi customer untuk
mengidentifikasi customer yang kemungkinan
besar tertarik terhadap produk baru.
Setelah teknik ini digunakan, terjadi
peningkatan 20 kali lipat penurunan biaya
dibandingkan dengan cara biaya.
Contoh Aplikasi
Perusahaan kartu kredit memining
data customer untuk mengelompokan
customer yang memiliki nilai tinggi
Proses Datamining
Pembersihan Data Data Integration Databases Data Warehouse Task-relevant Data Selection Data Mining Pattern EvaluationData Mining dan Business Intelligence
Semakin mendukung pengambilan keputusan End User Business Analyst Data Analyst DBA Pengambil an Keputusan Presentasi Data Teknik Visualiasi Data Mining Penemuan Informasi Eksplorasi DataStatistical Summary, Querying, and Reporting
Data Preprocessing/Integrasi, Data Warehouses Sumber Data
Database, Web, Paper, Files, Web, eksperimen
Data Mining: Multi Disiplin Ilmu
Data Mining Teknologi DB Statistik Machine Learning Pattern RecognitionAlgoritma Ilmu Lain
Mengapa tidak analisis data biasa?
• Jumlah data yang sangat besar
– Algoritma harus scalable untuk menangani data yang sangat besar (tera)
• Dimensi yang sangat besar: ribuan field • Data Kompleks
– Aliran data dan sensor
– Data terstruktur, graph, social networdk, multi-linked data – Database dari berbagai sumber, database lama
– Spasial (peta), multimedia, text, web – Software Simulator
Tugas (task) dari Data Mining
Prediksi: Bagaimana perilaku atribut tertentu dalam data dimasa datang? (predictive)
Time series
Pattern Sequence
Independent-dependent relation
Klasifikasi: mengelompokkan data ke dalam kategori berdasarkan sampel yang ada (label diskrit)
Feature selection
Clustering: mengklasterkan obyek tanpa ada sampel sebagai contoh (descriptive)
Association Rules
• Tujuan
Memberikan aturan yang berkaitan dengan kehadiran set item dengan set item yang lain Contoh:
Association Rules
Market-basket model
Mencari kombinasi beberapa produk
Letakkan SHOES dekat dengan SOCK sehingga jika seorang customer membeli satu dia akan membeli yang lain
Transaksi: seseorang membeli beberapa items dalam itemset di supermarket
Klasifikasi
marriedsalary Acct balance
age Yes <20k Poor risk >=20k <50k Fair risk >=50 Good risk no <5k Poor risk >=25 <25 >5k
12/30/2011
RID Married Salary Acct balance Age Loanworthy 1 No >=50 <5k >=25 Yes 2 Yes >=50 >=5k >=25 Yes 3 Yes 20k..50k <5k <25 No 4 No <20k >=5k <25 No 5 No <20k <5k >=25 No 6 Yes 20k..50k >=5k >=25 Yes Class attribute Expected information ) ,..., ( * ... ) ( 1 1 1 jn j n j jn j S S I S S S A E
Salary I(3,3)=1 Information gain Gain(A) = I-E(A) E(Married)=0.92 Gain(Married)=0.08 E(Salary)=0.33 Gain(Salary)=0.67 E(A.balance)=0.82 Gain(A.balance)=0.18 E(Age)=0.81 Gain(Age)=0.19 age Class is “no” {4,5} >=50k 20k..50k <20kClass is “no” {3} Class is “yes” {6}
Class is “yes” {1,2} Entropy <25 >=25
n i i i n p p S S S I 1 2 2 1, ,... ) log (Klasifikasi
Ex# Country Marital
Status
Income
hooligan
1 England Single 125K Yes
2 England Married Yes
3 England Single 70K Yes
4 Italy Married 40K No
5 USA Divorced 95K No
6 England Married 60K Yes
7 England 20K Yes
8 Italy Single 85K Yes
9 France Married 75K No 10 Denmark Single 50K No 10 Training Set Model Learn Classifier Country Marital Status Income Hooligan England Single 75K ? Turkey Married 50K ? England Married 150K ? Divorced 90K ? Single 40K ? Itlay Married 80K ? 10 Test Set
Text Classification
Ex#
Hooligan
1 An English football fan
… Yes
2 During a game in Italy … Yes
3 England has been beating France … Yes
4 Italian football fans were cheering … No
5 An average USA
salesman earns 75K No 6 The game in London
was horrific Yes 7 Manchester city is likely
to win the championship Yes 8 Rome is taking the lead
in the football league Yes
10 Training Set Model Learn Classifier Test Set Hooligan
A Danish football fan ?
Turkey is playing vs. France. The Turkish fans … ?
Klastering
Klastering adalah proses mengelompokkan obyek-obyek yang mirip ke dalam satu klaster. Obyek bisa berasal dari data base customer,
Klastering
Berapa Konsep
Salah satu hal yang sangat penting adalah penggunaan ukuran kemiripan (similarity) Jika datanya numerik, fungsi kemiripan (
similarity function) berdasarkan jarak sering digunakan
Euclidean metric (Euclidean distance), Minkowsky metric, Manhattan metric. Korelasi, cosinus, kovariance
Hiraki, Kmeans, Fuzzy, SOM, Support Vector Clustering
Aturan yang menyatakan asosiasi antara beberapa atribut sering disebut Affinity Analysis atau Market Basket Anaysis.
Analisis asosiasi (Association Rule) merupakan salah satu teknik yang digunakan untuk menemukan aturan asosiatif antara suatu kombinasi item.
Misalnya aturan asosiatif dari analisis pembelian di suatu pasar swalayan adalah dapat diketahuinya berapa besar kemungkinan seorang pelanggan membeli roti bersamaan dengan susu, pasta gigi dengan sikat gigi, bir dengan pampers, dsb.
Dengan pengetahuan tsb pemilik pasar swalayan dapat mengatur penempatan barangnya atau merancang kampanye pemasaran terkait dengan pengetahuan yang didapat.
Aturan asosiasi biasanya dinyatakan dalam bentuk:
1. “50% dari transaksi yang memuat item roti dan mentega juga memuat susu. Sedangkan 40% dari seluruh transaksi memuat ketiga item itu”.
2. “Seorang konsumen yang membeli roti dan mentega punya kemungkinan 50% juga membeli susu. Aturan ini cukup signifikan karena mewakili 40% dari transaksi yg ada”.
{roti, mentega} {susu} (support=40%, confidence=50%)
Aturan tersebut dapat berarti:
Support = P (A B) =
∑
Transaksi yang mengandung A dan B∑
Transaksi Nilai confidence dari aturan A B diperoleh dengan:
Confidence = P (B | A) =
∑
Transaksi yang mengandung A dan B∑
Transaksi yang mengandung A Nilai support dari aturan A B diperoleh dengan:
Misalkan dari suatu database transaksi didapatkan data sbb:
Transaksi Dalam bentuk tabular
Beberapa pengertian:
Sebuah itemset merupakan himpunan item-item yang berada
dalam himpunan item yang dijual, yaitu {teh, gula, kopi, susu, roti}.
k-itemset adalah itemset yang berisi k item. Misalnya {teh, gula}
adalah 2-itemset, {teh, gula, roti} adalah 3-itemset.
Frequent itemset menunjukkan itemset yang memiliki frekuensi
kemunculan lebih dari minimum yang ditentukan ().
Himpunan dari frequent k-itemset dilambangkan dengan Fk.
Calon 2-itemset Calon 3-itemset Jika = 2, maka:
F2= { {teh, gula}, {gula, kopi}, {gula, susu}, {gula, roti}, {kopi, susu}, {susu, roti}} F3= { {gula, susu, kopi} }
5C2 = 10 5C3 = 10
Ingat!, nilai confidence dari aturan A B diperoleh dengan:
Confidence = P (B | A) =
Calon aturan asosiasi dari F3
Jika ditetapkan nilai confidence minimal adalah 60%, maka aturan yg bisa terbentuk adalah aturan 2 dan 3.
Berdasarkan contoh transaksi yang diberikan, hitunglah!
Jawaban: