Pentingnya Data Warehouse dalam Dunia Bisnis. By : Feris Thia PT. Putera Handal Indotama

(1)

By : Feris Thia

PT. Putera Handal Indotama

(2)

Agenda



Apa itu Data Warehouse ?



Pemanfaatan Data Warehouse oleh Stakeholder Perusahaan /

Business Entity.



_{Apa saja proses di dalam Data Warehouse ?}



_{Aplikasi ETL (Extract, Transform and Load).}



_{Kaitan Data Warehouse dengan Multi Dimensional Modelling}

dan Business Intelligence.

(3)

DATA WAREHOUSE

(4)

(5)

Apa itu Data Warehouse ?



_{Data warehouse adalah “replikasi”}

data yang berisi :



data mentah (= sumber).



konsolidasi data dari berbagai

sumber.



summary / aggregate data.



data yang sudah ditransformasikan.



metadata.



data bersih dan berkualitas tinggi.



_{Tujuan :}



Reporting



Sumber data subsistem (Data Mart )

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(6)

Kenapa Data Warehouse ?



_{ADAPTASI PERKEMBANGAN BISNIS !}



_{Proses bisnis yang selalu berubah}

CEPAT.



_{Kecepatan proses bisnis tidak diikuti}

oleh kemampuan adaptasi sistem IT.



Untuk itu dibutuhkan satu sistem ad

hoc / temporary untuk adaptasi bisnis.



Perlu data hasil konsolidasi output

dari sistem ad hoc dan sistem

berjalan.



Data Warehouse adalah solusinya.

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(7)

Kenapa Data Warehouse ?



_{INTEGRASI DATA !}



_{Data / aset informasi bisnis tersebar}

dimana-mana :



Data customer ada di dua sistem



Data target penjualan ada di spreadsheet

masing-masing komputer staff



Transaksi PO kepada supplier ada di sistem

aplikasi desktop Access masing-masing

staff



dll



Diperlukan sentralisasi & sinkronisasi

terhadap data-data tersebut.



Data Warehouse adalah solusinya.

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(8)

Kenapa Data Warehouse ?



_{PERFORMA SISTEM REPORTING !}



_Kecepatan

_pembacaan

_analisis

seringkali dari data historis yang

sudah sangat besar



Diperlukan agregasi dan summary

data



Data Warehouse adalah solusinya.

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(9)

(10)

DATA WAREHOUSE

=

(11)

PEMANFAATAN DALAM BISNIS

(12)

Data Warehouse sebagai Aset



Data yang lebih reliable

dengan kualitas tinggi



_{Akses informasi yang lebih}

cepat



Memiliki view terhadap

bisnis secara keseluruhan

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(13)

Manfaat dalam Bisnis



Dapat mengerti pelanggan dengan

lebih baik



Memperbaiki kampanye iklan /

marketing



Meningkatkan pelayanan pelanggan



Memperkecil Resiko



Membuat perencanaan bisnis yang

lebih baik



Membuat keputusan dengan lebih

cepat



dll

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(14)

Stakeholder Data Warehouse



Manajemen dan Direksi



Memiliki pandangan terhadap keseluruhan bisnis.



Divisi / Unit Bisnis



Memiliki data yang lebih lengkap dan cepat dalam menganalisa

perilaku operasional subjek dari masing-masing unit



Contoh subjek : pelanggan (marketing), karyawan (hrd), produk

(riset), dll.



Divisi IT / IS



Memiliki produktivitas yang lebih baik dalam mengejar

perkembangan bisnis dengan sistem terkomputerisasi.



Meningkatkan pemanfaatan teknologi secara lebih baik terutama

database.



Memecah proses yang kompleks dari suatu view database

relasional.

(15)

ETL (EXTRACT, TRANSFORMATION

& LOAD)

(16)

Proses di Data Warehouse



Data Integration & Extraction



Optimization and Staging (I/O Balance)



Cleansing Data



Normal Distribution



Pyramid View



Rules



Aggregating Data



Validation / Test Case



Audit Trail



Retain Historical References (Slowly

Changing Dimension)



etc

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(17)

ETL (Extract, Transform & Load) Tools



Aplikasi yang dirancang khusus untuk

mengintegrasikan, mengolah dan

menyimpan data dengan berbagai

keperluan dan media.



Ciri-ciri :



Batch Processing



I/O Optimization Capabilities



Kaya akan modul pengolahan data



Error handling



dll

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(18)

ETL (Extract, Transform & Load) Tools



Contoh Produk :



Pentaho Data Integration (Kettle)



Microsoft SQL Server Integration

Service (SSIS)



Informatica



IBM Data Stage



_Talend



_dll

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(19)

Microsoft SQL Server Integration Services

(20)

(21)

(22)

Kenapa ETL ?



Produktivitas yang tinggi !



Meningkatkan efektivitas dan efisiensi

divisi IT :



Fokus akan integrasi dan pengolahan

data !



Dibandingkan ke kompleksitas algoritma

menggunakan scripting / programming

language umum.



Dirancang untuk mampu menangani I/O

balancing sehingga meningkatkan kinerja

pengolahan data.

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(23)

Extract



What information do you need ?



What data sources to extract ?



What is the extraction strategy ?



How do we detect CHANGE ?



How to link everything ?



etc

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(24)

Transform



Change the portion of data

structure and value



_{Do we need to discretize data ?}



_{Do we need to split them ? Join}

them ? Union them ?



Data Cleansing ?



_etc

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(25)

Load



What portions of data need to be

loaded ?



Do we need a staging ?



What destinations are supported ?



How is the performance ?



etc

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(26)

Simple Demo



Scenario



Email Registration List



Extracting information



Further treatment need

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(27)

DATA WAREHOUSE AND BUSINESS

INTELLIGENCE (BI)

(28)

Data Warehouse & BI !



Data hasil dari proses :



pengambilan (extract)



pembersihan (clean)



penyesuaian data (conform)



dari struktur OLTP -> OLAP



Multi Dimensional Modelling !



Ralph Kimball

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(29)

Apa itu OLTP ?



OLTP = OnLine Transaction Processing



Aplikasi yang dirancang khusus untuk

menangani operasional sehari-hari



Bersifat mission critical



Biasanya meliputi aplikasi seperti :



ERP : Enterprise Resource Planning



CRM : Customer Relationship Management



SCM : Supply Chain Management



dll



Contoh :

 SAP

 Microsoft Axapta / Dynamics

 G.O.L.D.  dll Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(30)

Apa itu OLAP ?



OnLine Analytical Processing



Aplikasi yang dirancang khusus untuk

laporan analisis dan merupakan

komponen penting Business

Intelligence (BI)



Skema database berbeda dengan

skema database OLTP



Objek dari OLAP adalah Cube dimana

kita bisa memandang data dari

berbagai dimension cube !

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(31)

Apa itu OLAP ?



Database OLAP biasanya adalah

suatu data warehouse



Tipe : ROLAP, MOLAP dan HOLAP



Contoh Produk OLAP :



Microsoft SQL Server Analysis

Service (MSAS)



Pentaho Analysis (Mondrian)



PALO



_{Dan lain-lain}

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(32)

Kenapa OLAP dan Bukan SQL ?



Aplikasi analisa yang baik

membutuhkan kemampuan query

data ke sistem koordinat posisi row

/ column secara dinamis.

Contoh : Excel



SQL hanya mengenal

pengembalian row set dari data

dan tidak mengenal sistem

koordinat axis.



Oleh sebab itu SQL sangat

bergantung pada subquery atau

temporary table.

.

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(33)

Kenapa OLAP dan Bukan SQL ?



_{OLAP menjawab kebutuhan tersebut}

dengan query khusus : MDX (Multi

Dimensional Expression) !



Contoh perhitungan kompleks yang

akan sulit dilakukan SQL :



Perhitungan year to date penjualan

bulan ini dengan perhitungan pada

bulan yang sama tahun

sebelumnya



Menghitung rasio kontribusi dari

penjualan bulan ini terhadap

kuartal terkait dan rasio terhadap

keseluruhan tahun



dll

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________

(34)

(35)

MULTI DIMENSIONAL MODELLING

(36)

Multi Dimensional Modelling



Fact Table and Dimension Table



_{Star Schema}

(37)

(38)

(39)

(40)

Related Terms



Fact and Dimension Table



Star and Snowflake Schema



Aggregates



Slowly Changing Dimension

(SCD)



Change Data Capture (CDC)



Late Arrival Data



Junk Dimensions



etc

Notes : ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________ ____________________