3.pertemuan Ketiga - Repository UNIKOM

(1)

(2)

Real World

Domain Aplikasi

Modelling (logical & Physical)

• Logical scheme (User’s view, Semantic comp.)

• Physical Scheme (performance)

• Query Language

• Security (disaster, privacy)

(3)

CASE :

Komponen : tgl. pasang, tgl. Rusak, km pakai, origin, lokasi pakai

Q : Menentukan kesesuaian antara origin komponen, dengan kondisi operasi komponen

Mhs : Prodi, IP, lama kuliah, Asal SMA, Asal SD, Suku

Q : Menentukan keterkaitan antara SUKU dengan prestasi pada prodi tertentu.

Tgl. Pasang

Tgl. Pasang Tgl. RusakTgl. Rusak KM PakaiKM Pakai OriginOrigin Lokasi PakaiLokasi Pakai

Okt.05

Okt.05 Agu.06Agu.06 53.00053.000 KoreaKorea JakartaJakarta

Mar.05

Mar.05 Jul.06Jul.06 40.00040.000 TaiwanTaiwan BandungBandung Jan.06

Jan.06 Sep.06Sep.06 35.00035.000 JepangJepang JakartaJakarta

Prodi IP Lama Kuliah Asal SMA Asal SD Suku

IF

IF 3,63,6 1111 JogyaJogya JogyaJogya JawaJawa EL

EL 3,43,4 1010 MakssarMakssar MakssarMakssar MinangMinang AR

AR 3,73,7 1212 BandungBandung MajalayaMajalaya SundaSunda TL

(4)

db-1

db-n

CTIL dw QUERY(OLAP)

DATA

MINING ATURAN

INFORMATION

Pattrern of

Information KNOWLEDGE

(5)

DATA WAREHOUSE



An Overview of DW and OLAP Tech

[S.Chaudhuri and U.Dayal]



DATA MINING : Concepts and

Techniques [Jiawei Han and

Micheline Kamber]

(6)

Data Warehouse

(7)

Decision Support dan OLAP

 DSS: teknologi informasi untuk membantu “knowledge DSS: teknologi informasi untuk membantu “knowledge

worker” (seperti eksekutif, manajer, analis) membuat

keputusan lebih cepat dan tepat

• Bagaimana volume penjualan berdasarkan daerah dan Bagaimana volume penjualan berdasarkan daerah dan kategori produk pada tahun sebelumnya?

kategori produk pada tahun sebelumnya?

• Bagaimana hubungan antara harga saham dari pembuat Bagaimana hubungan antara harga saham dari pembuat komputer dengan keuntungan triwulan selama 10 tahun komputer dengan keuntungan triwulan selama 10 tahun terakhir?

terakhir?

• Apakah diskon 10% akan meningkatkan volume penjualan?Apakah diskon 10% akan meningkatkan volume penjualan?

 OLAP merupakan sebuah elemen dari DSSOLAP merupakan sebuah elemen dari DSS

 Data mining merupakan sebuah kakas analisis data yang Data mining merupakan sebuah kakas analisis data yang

“powerful” dengan performansi yang tinggi bagi DSS

(8)

OLAP

(

On-Line Analytical Processing)



Multidimensional (ROLAP, MOLAP)



Analysis



Information / Presentation

(9)

PROSES

OLAP : On-Line Analytical Processing

Karakteristik :

1.

Akses data [seluruhnya] dari sudut

pandang tertentu.



akses

Sekuensial

2.

Sering menggunakan “rekapitulasi”

berdasarkan kategori tertentu

(kategorisasi).

(10)

OLAP Operations



Drill down(decrease level

aggregation)



Pull up(increase level aggregation)



Slice and Dice (selection &

projection)

(11)

OLAP Servers



Relational OLAP (ROLAP): extended relational

DBMS yang melakukan mapping operasi terhadap

data multidimensi menjadi operasi relasional

standar



Multidimensional OLAP (MOLAP): special purpose

server yang secara langsung

mengimplementasikan data dan operasi

multidimensi



Hybrid OLAP (HOLAP): memberikan kepada

pemakai/administrator sistem kebebasan untuk

memilih partisi yang berbeda

(12)

Traditional OLTP



Pada sistem konvensional, DBMS digunakan

untuk

online transaction processing

(OLTP)

• entri pesanan: tampilkan pesanan xx-yy-zz dan update entri pesanan: tampilkan pesanan xx-yy-zz dan update field statusnya

field statusnya

• perbankan: transfer Rp.500.000,- dari rekening nomor perbankan: transfer Rp.500.000,- dari rekening nomor XXX ke rekening nomor YYY

XXX ke rekening nomor YYY

 pemrosesan data pemrosesan data clericalclerical

 data bersifat detil dan data bersifat detil dan up-to-dateup-to-date

 pekerjaan terstruktur dan bersifat pengulanganpekerjaan terstruktur dan bersifat pengulangan  unit kerja berupa transaksi yang singkatunit kerja berupa transaksi yang singkat

 membaca dan/atau menulis sejumlah kecil recordmembaca dan/atau menulis sejumlah kecil record

(13)

OLTP vs OLAP

OLTP

OLAP

pengguna clerk, IT professional knowledge worker

fungsi operasi harian pengambilan keputusan

perancangan BD application-oriented subject-oriented

data terkini, up-to-date, detil,

relasional yang flat, terisolasi

historis, summarized, multidimensi, terintegrasi, terkonsolidasi

penggunaan berulang adhoc

akses baca/tulis pembacaan yang sangat banyak

unit kerja transaksi pendek dan sederhana query kompleks

jml record diakses puluhan jutaan

jml pengguna ribuan ratusan

ukuran BD 100MB-GB 100GB-TB

(14)

Data Warehouse

 Sumber data bagi aplikasi sistem pengambilan keputusan Sumber data bagi aplikasi sistem pengambilan keputusan

(DSS) dan sistem informasi eksekutif (EIS)

 Dikelola secara terpisah dari basis data operasionalDikelola secara terpisah dari basis data operasional  Bukan (tidak harus) merupakan basis dataBukan (tidak harus) merupakan basis data

 Prinsip data warehouse:Prinsip data warehouse:

• subject-orientedsubject-oriented • integratedintegrated

• time-varyingtime-varying • non-volatilenon-volatile

 Kumpulan data yang digunakan terutama untuk Kumpulan data yang digunakan terutama untuk

pengambilan keputusan di dalam organisasi

(15)

DATA WAREHOUSE



Gudang “DATA”



Integrasi seluruh data dari “topik”

tertentu (tingkat organisasi) dalam

satu kesatuan akses (logik),

sehingga memungkinkan adanya

proses “analisis” terhadap

karakteristik organisasi, dalam

rangka pengambilan keputusan.

(16)

Karakteristik Umum



Subject Oriented :

orientasi pembuatan model

lebih menekankan aspek “integrasi akses”, bukan

model yang lebih menekankan kemudahan

eksekusi transaksi operational (seperti halnya

pada database).

 Data lengkap untuk subject tertentu. Data lengkap untuk subject tertentu.



Integrated :

menyatukan data dari berbagai

sumber (heterogenous resources : database,

spread-sheet, file, etc.).

 Dapat diakses dari Dapat diakses dari berbagai sudut pandang.

berbagai sudut pandang.



Time variant :

data teritengrasi dengan deskripsi

“waktu” (historical data).

 Data lengkap dari sisi Data lengkap dari sisi periode (historical).

(17)

Data Warehouse - Arsitektur

Operational Database

periodic warehouse content stocking

periodic w

arehouse content sto

cking _perio

dic war ehou se cont ent stoc king Operational Database Operational Database Operational Database Application 1 database read/write operations Application 2 database read/write operations Executive Information System informational queries Application 3 database read/write

(18)

Data Warehouse - Subject

oriented



Diorientasikan kepada subjek-subjek utama yang

terkait dengan korporasi yang telah didefinisikan

di dalam model data



Basis data operasional mengandung sejumlah

subjek yang menjadi kandidat pengelompokan

dalam data warehouse

• Perusahaan asuransi: pelanggan, produk, transaksi atau Perusahaan asuransi: pelanggan, produk, transaksi atau aktifitas, policy, claim, rekening, dll.

aktifitas, policy, claim, rekening, dll.

• Toko buku: pelanggan, buku, majalah, pegawai, Toko buku: pelanggan, buku, majalah, pegawai, supplier

supplier



Pengorganisasian basis data operasional dapat

dilakukan dengan cara beragam

(19)

Data Warehouse - Integrated



Tidak terdapat konsistensi dalam pengkodean,

penamaan, … antara sumber data yang berbeda



Saat data dipindahkan ke data warehouse, harus

dikonversi ke suatu konvensi tertentu

CDs = 1 Cassettes = 2

Prices = Canadian$ Prices = US$

CDs = "CD" Cassettes = "CAS" 8-tracks ="8T" CDs = 2

Cassettes = 1 8-tracks = 3

DB1 DB2 DB3 DB4 - Tucson DB5 - Toronto CDs = 1

Cassettes = 2 8-tracks = 3

Warehouse

(20)

Data Warehouse - Non Volatile



Data operasional diakses secara

reguler dan manipulasi atau update

juga dilakukan terhadap data dalam

lingkungan pengoperasian



Data pada data warehouse di

load

pada waktu-waktu tertentu dan

diakses. Update terhadap data tidak

pernah muncul di dalam lingkungan

(21)

Data Warehouse - Time

Variance

 Horizon waktu bagi data warehouse jauh lebih panjang dari Horizon waktu bagi data warehouse jauh lebih panjang dari

pada yang terdapat di sistem operasional

 Basis data operasional menyimpan nilai Basis data operasional menyimpan nilai currentcurrent dari data. dari data.

Data pada data warehouse akan berbentuk sekumpulan

snapshots

snapshots yang diambil pada waktu-waktu tertentu yang diambil pada waktu-waktu tertentu

 Struktur kunci dari data operasional Struktur kunci dari data operasional tidak selalutidak selalu

mengandung elemen waktu. Struktur kunci dari data

warehouse

warehouse selaluselalu mengandung elemen waktu mengandung elemen waktu

 Konsep-konsep pada basis data temporal berlaku terhadap Konsep-konsep pada basis data temporal berlaku terhadap

data warehouse

(22)

Alasan Data Warehouse yang

terpisah dari basis data

 PerformansiPerformansi

• organisasi data khusus, metode akses, dan metode implementasi organisasi data khusus, metode akses, dan metode implementasi dibutuhkan untuk mendukung view dan operasi multidimensi

dibutuhkan untuk mendukung view dan operasi multidimensi yang merupakan ciri dari OLAP

yang merupakan ciri dari OLAP

• query kompleks untuk OLAP akan menurunkan performansi dari query kompleks untuk OLAP akan menurunkan performansi dari transaksi operasional

transaksi operasional

• kontrol konkurensi dan pemulihan pada OLTP tidak kompatibel kontrol konkurensi dan pemulihan pada OLTP tidak kompatibel dengan analisis OLAP

dengan analisis OLAP

 FungsiFungsi

• data yang hilang: data historis biasanya tidak dikelola basis data data yang hilang: data historis biasanya tidak dikelola basis data operasional

operasional

• konsolidasi data: agregasi dan sumarisasi data dari berbagai konsolidasi data: agregasi dan sumarisasi data dari berbagai sumber

sumber

(23)

ARSITEKTUR DW



PROSES/FASILTIAS UMUM :

•

Pemasukan DATA [cleaning, integration,

transformation, and reduction]

•

Akses Data (READ)

(24)

Multitiered Architecture

metadata Monitor &_Integrator

Extract Transform Load

Refresh

Operational DBs

other

Sources _Data

Warehouse

Data Marts

Serve Analysis_Query

Reports Data mining

Tools OLAP

(25)

Sumber Data

 Sumber data sering kali sistem-sistem operasional, yang Sumber data sering kali sistem-sistem operasional, yang

menyediakan data pada level terendah

 Sumber data didesain untuk penggunaan operasional, dan Sumber data didesain untuk penggunaan operasional, dan

bukan untuk kebutuhan pengambilan keputusan

bukan untuk kebutuhan pengambilan keputusan __ fakta ini fakta ini direfleksikan oleh data

direfleksikan oleh data

 Sumber data yang banyak sering kali berasal dari sistem Sumber data yang banyak sering kali berasal dari sistem

yang berbeda yang berjalan di perangkat keras yang

berbeda dengan perangkat lunak yang dibangun

berbeda dengan perangkat lunak yang dibangun in-housein-house

atau sudah dikustomisasi

 Sumber data yang banyak memunculkan sejumlah besar Sumber data yang banyak memunculkan sejumlah besar

isu

(26)

Data Preprocessing

(27)

The need of data preprocessing



Problems with huge real-world

database

•

Incomplete data : missing value

•

Noisy

•

Inconsistent



Influence data mining process,

especially pattern mined

(28)

Techniques



Data cleaning



Data integration



Data transformation



Data reduction



Improve the quality of the pattern

mined and/or the time required for

the actual mining

(29)

Data Cleaning

Correct the :



Anomaly in the data



Data Inconsistent



Missing entries

(30)

Pembersihan Data (Data

Cleaning)



Hal yang penting bagi data warehouse,

karena data dari berbagai sumber sering

kali ‘kotor’



Terdapat tiga kelas kakas:

•

Migrasi Data: transformasi data sederhana

•

Scrubbing Data: menggunakan pengetahuan

yang

domain-specific

•

Audit Data: menemukan aturan dan

keterhubungan melalui proses pembacaan

(scan) terhadap data (menemukan keterurutan)

(31)

Data Cleaning – Missing values



Tuples have no recorded value for

several attributes



Ignore the tuple



Fill in the missing value

•

Using global constant

•

Using ‘measured’ values : attribute

mean, most probable value

(32)

Data Cleaning – Noisy



Random error or variance in a

measured variable



Binning



smooth a sorted data value by

consulting its ‘neighborhood’



(33)



Clustering



Detect the outliers by grouping

similar values

Regression



smooth data by fitting data to a

function, such as regression



linear regression, multiple linier

regression

(34)

Data Integration



Combine data from multiple sources into

coherent data store



Schema integration: entity identification

problem



Redundancy: detected by correlation

analysis



Detection & resolution of data value

conflict: semantic heterogenity & different

representation

(35)

Data Transformation



Data are transformed or consolidated

into forms appropriate for mining



Involve:

•

Smoothing

•

Aggregation

•

Generalisation

(36)

Data Reduction



Reduce representation of data set

that is much smaller in volume, while

maintains the integrity of the original

data.



Strategies:

•

Data cube aggregation

•

Dimension reduction

(37)

Load dan Refresh

 Loading ke data warehouse mencakup sejumlah Loading ke data warehouse mencakup sejumlah

pemrosesan lainnya: memeriksa batasan integritas,

pengurutan, sumarisasi, pembangunan indeks, dll.

 Refreshing sebuah data warehouse berarti mempropagasi Refreshing sebuah data warehouse berarti mempropagasi

perubahan terhadap data sumber ke data yang tersimpan

di dalam data warehouse

• kapan harus melakukan refreshkapan harus melakukan refresh

 ditentukan oleh penggunaan, tipe dari sumber data, dll.ditentukan oleh penggunaan, tipe dari sumber data, dll.

• bagaimana cara refreshbagaimana cara refresh

 data shipping: menggunakan triggers untuk mengubah tabel log data shipping: menggunakan triggers untuk mengubah tabel log

snapshot dan mempropagasi data yang berubah itu ke data

warehouse

 transaction shipping: mengirimkan perubahan yang terdapat di log transaction shipping: mengirimkan perubahan yang terdapat di log

transaksi

(38)

Monitor



Mendeteksi perubahan yang terjadi

terhadap sumber informasi yang

merupakan “interest” dari data warehouse

•

mendefinisikan triggers

•

mengawasi perubahan yang terjadi pada file

log

•

membuat program



Mempropagasi perubahan dalam bentuk

yang umum ke integrator

(39)

Integrator



Menerima perubahan dari monitor

•

mengubah data ke dalam bentuk yang

sesuai dengan skema yang terdapat pada

data warehouse



Mengintegrasikan perubahan ke dalam

data warehouse

•

menggabungkan data dengan data lain yang

telah ada

•

menyelesaikan kemungkinan anomali yang

dapat muncul

(40)

Metadata Repository

 Metadata administratifMetadata administratif

• basis data sumber dan isinyabasis data sumber dan isinya • deskripsi gatewaydeskripsi gateway

• skema data warehouse, view, dan definisi data turunanskema data warehouse, view, dan definisi data turunan • dimensi dan hirarkidimensi dan hirarki

• query dan laporan yang pre-definedquery dan laporan yang pre-defined • lokasi dan isi dari data martslokasi dan isi dari data marts

• partisi datapartisi data

• ekstraksi data, pembersihan, aturan transformasi, nilai defaultekstraksi data, pembersihan, aturan transformasi, nilai default • aturan untuk refresh dan purge terhadap dataaturan untuk refresh dan purge terhadap data

(41)

Struktur Data DW



DATA CUBE (multi dimentional)

PENJUALAN

PRODUK

CABANG

(42)

PENJUALAN

PRODUK

CABANG

WAKTU/SAAT

Multi-dimensional view (mis.) :

1. Penjualan “produk” dari waktu ke waktu

(43)

CABANG PRODUK WAKTU KUSTOMER Group Propinsi Kota Negara Nama/orang Kategori Jalan Hari Minggu Bulan Nama/produk Brand Kategori

1. Rekapitulasi multi-view / multi-dimensi dapat dilayani

Oleh DB, jika : TERINTEGRASI (dpt diakses secara logik sebagaiOleh DB, jika : TERINTEGRASI (dpt diakses secara logik sebagai

Satu kesatuan, LENGKAP (dalam arti sampai ke level primitif,Satu kesatuan, LENGKAP (dalam arti sampai ke level primitif,

Yang biasanya dicakup oleh DB OLTP), dan ………..Yang biasanya dicakup oleh DB OLTP), dan ………..

2. DBMS pada umumnya mengembangkan fasilitas untuk dapat

(44)

Metadata Repository

2



Data bisnis

• peristilahan dan definisi bisnisperistilahan dan definisi bisnis

• kepemilikan datakepemilikan data

• charging policiescharging policies



Metadata operasional

• data lineage: sejarah migrasi data dan urutan data lineage: sejarah migrasi data dan urutan transformasi yang dikenakan

transformasi yang dikenakan

• kekinian data: aktif, archived, purgedkekinian data: aktif, archived, purged

• informasi monitoring: statistik penggunaan data informasi monitoring: statistik penggunaan data warehouse, laporan kesalahan, audit trails

(45)

Data Marts

 Sebuah data mart (disebut juga data warehouse Sebuah data mart (disebut juga data warehouse

departemental) adalah sebuah sistem yang mengumpulkan

data yang dibutuhkan oleh sebuah departemen atau

aplikasi yang terkait

 Data marts dapat diimplementasikan di dalam data Data marts dapat diimplementasikan di dalam data

warehouse dengan cara membuat view yang khusus,

spesifik untuk aplikasi tertentu

 Data marts dapat juga diimplementasikan sebagai Data marts dapat juga diimplementasikan sebagai

materialized view

materialized view subjek departemental yang difokuskan subjek departemental yang difokuskan kepada subjek tertentu

kepada subjek tertentu

• materialized views adalah view yang tupel hasilnya disimpanmaterialized views adalah view yang tupel hasilnya disimpan

 Data marts dapat memiliki representasi yang berbeda dan Data marts dapat memiliki representasi yang berbeda dan

menggunakan OLAP engines tersendiri

(46)

Tools lainnya



Antar muka pemakai yang

memungkinkan pemakai melakukan

interaksi dengan data warehouse

•

kakas untuk query dan pelaporan

•

kakas untuk melakukan analisis

(47)

Perancangan Sistem

 Perencanaan kapasitas - pendefinisian arsitekturPerencanaan kapasitas - pendefinisian arsitektur  Integrasi servers, media penyimpanan, clientsIntegrasi servers, media penyimpanan, clients  Perancangan skema data warehouse, viewsPerancangan skema data warehouse, views

 Perancangan organisasi fisik data warehouse: penempatan Perancangan organisasi fisik data warehouse: penempatan

data, partisi, metode akses

 Menghubungkan sumber: gateways, ODBC driversMenghubungkan sumber: gateways, ODBC drivers

 Perancangan dan implementasi scripts untuk ekstraksi Perancangan dan implementasi scripts untuk ekstraksi

data, load, dan refresh

(48)

Pembangunan Data Warehouse



Top Down

•

Membuat rancangan data warehouse

keseluruhan

•

Menentukan sumber data dan mekanisme

pengintegrasian data ke data warehouse



Bottom Up

•

Membuat data marts untuk setiap sub sistem

yang ada

•

Menggabungkan data marts-data marts yang

telah terbentuk untuk menghasilkan sebuah