AMTI
Data Management: Data,
Databases and Warehousing
Databases and Warehousing
Forms for Modeling Data (ERD)
• Entities : suatu kesatuan data yang unik yang
memisahkannya dari entitas lainnya
• Attributes : ciri khas yang menempel pada entitas,
biasa disebut field/column
Chapter 3 3
• Relations : relasi yang terjadi antar entitas yang
dihubungkan oleh atribut masing-masing entitas
E-R Diagrams
• Rectangles represent entity sets.
• Diamonds represent relationship sets.
• Lines link attributes to entity sets and entity sets to relationship sets.
• Ellipses represent attributes
• Double ellipses represent multivalued attributes. • Dashed ellipses denote derived attributes.
E-R Diagram With Composite, Multivalued, and Derived Attributes
Example of primary and foreign keys.
Hierarchy of Data
Hierarchy of Data (cont’d)
Indexing
• Indexing sering dilupakan
• Indexing pada tabel biasanya dilakukan otomatis pada primary key
– Tidak demikian dengan field lainnya – Tidak demikian dengan field lainnya
• Field yang sering digunakan untuk query select klause where SEBAIKNYA diindex!
– Index berdasarkan ASCII / Numerik – Index berdasarkan binary
Indexed sequential access method (ISAM)
Computer based system data IS
3-13
Computer-based files of this type cause problems such as redundancy, inconsistency, and data isolation.
3-14
(a) Centralized database. (b) Distributed database with complete or partial copies of the central database in more than one location.
Data Problems
Copyright 2010 John Wiley & Sons, Inc.
Adv of DBMS
DBMS
Ex: MySQL, FoxPro, SQLServer, Postgres, Access, SQLite, Oracle
3-17
Database management system provides access to all data in the database.
DBMS connector
• Dibutuhkan juga DBMS connector yang berguna untuk menghubungkan antara DBMS dengan bahasa pemrograman yang sifatnya general
yang sifatnya general
• Connector sangat ditentukan oleh bahasa pemrogramannya
• Contoh: JDBC, ODBC, Connector for .NET (ADO.NET)
Data Warehouse
• Kumpulan bermacam-macam data yang bersifat subject oriented, integrated, time
variant, dan persistent dalam mendukung
proses pembuatan keputusan.
• Sumber data berasal dari berbagai macam • Sumber data berasal dari berbagai macam
format, software, platform dan jaringan yang beda.
– Biasanya berasal dari berbagai departemen
• Data pada datawarehouse harus tersimpan dalam sebuah format yang baku (standar).
Karakteristik DW
• Data terintegrasi dari berbagai sumber yang berasal dari proses transaksional (OLTP)
• Data harus dibuat konsisten
• Merupakan aggregate data/kesimpulan data, bukan data yang detail
• Data tersimpan dalam format yang standar sehinngga • Data tersimpan dalam format yang standar sehinngga
proses query dan analisa dapat dilakukan dengan cepat
Data Mart
• Data yang terdapat dalam data warehouse dapat dibagi perbagian sesuai dengan kebutuhan dalam informasi -> Data Mart
• Data mart memiliki karakteristik yang sama
dengan data warehouse, perbedaannya hanya dengan data warehouse, perbedaannya hanya terdapat pada jumlah data yang dimiliki.
• Dalam data mart, data yang ada hanya berasal dari satu bagian atau satu departemen saja, sedangkan pada data warehouse, data yang ada berasal dari seluruh bagian dalam perusahaan
Data Warehouse
• Data di dalam data warehouse mempunyai karakter khusus berupa time-series dalam bentuk data historical
• Data terdiri dari suatu seri dari “pemotretan” keadaan yang ditandai dengan waktu dan
keadaan yang ditandai dengan waktu dan nilai data pada saat “pemotretan” tersebut • Hal ini dapat digunakan untuk melakukan
trend analysis dari data tersebut
• Data warehouse tidak diupdate secara terus menerus, tapi secara periodik
DW = OLAP
• On-Line Analytical Processing
• Umumnya digunakan oleh pembuat kebijakan seperti analis dan manajer • Data yang ada di dalam sebuah data • Data yang ada di dalam sebuah data
warehouse umumnya berasal dari bermacam-macam OLTP (On-Line Transaction Processing) systems
• Dikarakterisasikan oleh data reading (pelaporan, queries) bukan data entry
The use of DW
Copyright 2010 John Wiley & Sons, Inc.
Why DW Fails
Copyright 2010 John Wiley & Sons, Inc.
DW vs DM
• DW: A generic term for a system of storing,
retrieving and managing large amounts of data
– Software often includes sophisticated compression
and hashing techniques for fast searching and
filtering filtering
• DM: type of data warehouse designed mainly to address a specific function or department’s needs
– Often uses aggregation or summarization of the data to enhance query performance
– Important, however, to maintain the ability to access the underlying base data to enable drilldown
The Data Warehouse & Data Management
Model of an enterprise data warehouse.
ETL : Extraction, Transformation, and Loading
3-31
(Source: From Syncsort, synchsort.com. Used with permission.)
• Lots of data is being collected and warehoused
– Web data, e-commerce – purchases at department/
grocery stores
– Bank/Credit Card transactions
Why Mine Data? - Commercial Viewpoint
transactions
• Data collected and stored at enormous speeds (GB/hour)
– remote sensors on a satellite – telescopes scanning the skies – scientific simulations
What is Data Mining?
• Exploration & analysis, by automatic or semi-automatic means, of
large quantities of data in order to discover
the extraction of predictive information from large databases.
• Data trend, connection and behavior pattern analysis
Data Mining
pattern analysis
• Data quality -> data cleaning
• Data mining tools -> ex: RapidMiner • Use for predictive and description
Data Mining Tasks...
• Classification [Predictive] • Clustering [Descriptive]
• Association Rule Discovery [Descriptive] • Sequential Pattern Discovery
• Sequential Pattern Discovery [Descriptive] • Regression [Predictive]
• Visualisasi adalah konversi data ke dalam format visual atau tabel sehingga karakteristik dari data dan relasi diantara item data atau atribut dapat di analisis atau dilaporkan
Data Visualization
Teknik Visualisasi
Teknik Visualisasi Data
Teknik Visualisasi data
Teknik Visualisasi data
Apa itu Business Intelligence?
• Business Intelligence is the processes,technologies, and tools that help us change data into information, information to knowledge, and knowledge into plans that guide organization. • Technologies for gathering, storing, analysing
dan providing access to data to help enterprise
• Technologies for gathering, storing, analysing
dan providing access to data to help enterprise
users make better business decisions. • Business Intelligence menjelaskan tentang
suatu konsep dan metode bagiamana untuk
meningkatkan kualitas pengambilan keputusan bisnis berdasarkan sistem yang berbasiskan data.
Tiga Aspek Penting Business
Intelligence
1. Converting Data Into Information 2. Making Better Decisions Faster 2. Making Better Decisions Faster 3. Rational Approach to Management
• Database systems and database integration • Data warehousing, data stores and data
marts
• Enterprise resource planning (ERP) systems • Query and report technologies
Technologies Supporting BI
• Query and report technologies • Data mining and analytics tools • Decision support systems
• Customer relation management software • Product lifecycle and supply chain
BI careers cross over all industries:
• BI solution architects and integration specialists
• Business and BI analysts
Examples of BI Careers
• Business and BI analysts
• BI application developers and testers • Data warehouse specialists
• Database analysts, developers and testers • Database support specialists
BI Component
• Data
– Data store collection by individual applications
• Production systems
– Gathering of all data stores
• Data warehousing • Data warehousing
• Presentation
– Scorecards & Dashboards – Enterprise Reporting
– OLAP Analysis
– Advanced & Predictive Analysis – Alerts & Proactive Notification
NEXT
• Networking: Discovery, Communication, Collaboration
