DATA WAREHOUSE OLAP DAN NORMALISASI DATA
1. Data Warehouse atau disingkat DW dapat dipahami dalam beberapa sudut pandang: Wujud Sistem dan sumber data:
Data Warehouse merupakan sistem database yang menampung:
Data-data terdahulu yang secara operasional tidak digunakan lagi
Data-data terkini yang sementara digunakan dalam sebuah sistem yang secara operasional terpisah dari sistem database yang sementara aktif digunakan untuk tujuan operasional.
Data-data eksternal yang mendukung dan melengkapi kebutuhan yang diperlukan
Tujuan:
Tujuan dari DW yang merupakan sistem database yang menampung data-data yang telah disebutkan diatas adalah untuk keperluan analisis dan pelaporan bagi manajemen agar dapat dijadikan bahan pengambilan keputusan yang tepat. Dengan kata lain, data yang ada bukan digunakan untuk keperluan operasional transaksional.
Karakter
- Subject Oriented, data yang diproses adalah hanya data yang dibutuhkan secara subyektif sesuai dengan kebutuhan organisasi tertentu.
- Integrated, data disuplai dari berbagai sumber dan diintegrasikan kedalam proses terintegrasi yang menghasilkan laporan dan bahan analisa yang dibutuhkan
- Non-volatile, data tidak dapat dimodifikasi meski dapat terus ditambah dan dibaca.
- Time Variant, menghasilkan data akurat sesuai dengan periode data meski ditampilkan pada sembarang waktu.
2. Dalam arsitektur Data Warehouse pada organisasi dapat diimplementasikan suatu sistem secara online yang dikenal dengan Online Integrated Data Warehousing[1], yang menggambarkan terjadinya tahapan pembaruan data setiap terdapat data dari sumber data yang masuk kedalam Data Warehouse.
- Relational OLAP (ROLAP)
- Hybrid OLAP (HOLAP)
Masing-masing jenis OLAP ini memiliki kelebihan dan kekurangan, diantaranya:
Tipe Kelebihan Kekurangan
MOLAP/OLAP - Berkinerja sangat baik: kubus MOLAP optimal pada penyimpanan, pengindeksan multidimensi dan caching.
- Ukuran pada disk relatif kecil data dibandingkan dengan data yang tersimpan dalam database relasional karena teknik kompresi.
- ekstraksi data yang efektif dicapai melalui penataan data secara dini
- Perhitungan otomatis pada agregat tingkat yang lebih tinggi dari data.
- Set data sangat padat pada dimensi rendah - Model Array memberikan pengindeksan
yang alami.
- Membutuhkan tambahan proses (biasaya pada data baru)
- Terbatas dalam menangani data disebabkan perhitungan data dilakukan saat kubus dibangun, dan kubus itu sendiri hanya menagani pada tingkat ringkasan.
- Beberapa metode MOLAP melakukan redundancy data
- Memerlukan investasi tambahan, termasuk didalamnya sumber daya manusia yang kompoten
ROLAP - Mampu menangani jumlah data dalam volume yang sangat besar tergantung batasan ukuran relational database yang digunakan
- Dapat memanfaatkan fungsi yang melekat dalam database relasional
- Kinerja berpotensi untuk lambat, karena pada dasarnya ROLAP menggunakan query SQL
- Dibatasi oleh fungsi SQL, walaupun beberapa vendor telah menerapkan penanganan untuk resiko dari keterbatasan ini
HOLAP - Menggabungkan kelebihan dari MOLAP dan ROLAP
- Teknology kubusnya lebih cepat untuk menampilkan ringkasan informasi
- Dapat memanfaatkan kedua kubus (pre-calculate dan sumber data relasional)
- Belum terdapat kejelasan kesepakatan penggunaannya dalam industri.
3. Dalam perpektif administratif, data warehouse hanya membutuhkan hardware seperti server layaknya mainframe secara konseptual. Namun dalam tataran implementatif, biasanya dibutuhkan hardware khusus salahsatunya berupa platform server presentasi yang dikenal sebagai warehouse appliances termasuk didalamnya hardware yang telah terkonfigurasi secara khusus.
Adapun Parallel Processing Hardware Architecture adalah inovasi hardware untuk keperluan Data Warehouse. Pada market dikenal hardware dengan 3 jenis dasar paralel proses: Symmetric multiprocessing (SMP), massively parallel processinf (MPP) dan non-uniform memory architecture (NUMA) [3].
4. Sebagai media arsitektural yang menampung data dari berbagai sumber dan platform maka pada implementasi Data Warehouse dibutuhkan sofware khusus selain software umum yang digunakan pada kebanyakan server (operating system dan lainnya). Software khusus tersebut berupa software yang dapat menjalankan proses ETL (extract, transform, load) dan fungsi business intellegence yang menjadi tujuan dari Data Warehouse seperti Software EIS (Exceutive Information System) dan Software DDS (Decision Support System).
Software khusus tersebut diatas banyak digunakan dalam sistem Data Warehouse, mengingat fungsi utama dari DW adalah memang untuk tujuan analisa dan pengambilan keputusan, sedangkan dalam teknisnya, proses ETL merupakan proses utama yang berjalan didalamnya. Olehnya software-software khusus diatas mutlak ada dalam pengimplementasi Data Warehouse.
5. Untuk peningkatan efesiensi proses, pada database dikembangkan beberapa model. Diantaranya yang paling sering digunakan adalah normalisasi dan denormalisasi basis data. Normalisasi (normalized database) merupakan model yang mengefesiensikan pengorganisasian data melalui 3 (tiga) proses:
- Pertama, mengeliminasi data yang sama yang tidak begitu berguna (redundant data), sebagai contoh data yang sama dalam dua atau lebih tabel yang berbeda dirangkum dalam satu tabel
- Kedua memastikan dependensi data, maksudnya data yang dikehendaki harus dipastikan berada dalam tabel yang tepat pada database.
- Ketiga, memastikan data yang ada, tersimpan secara logikal
Ketiga proses diatas dimaksudkan untuk mengefesiensikan sumberdaya (termasuk media penyimpanan), sehingga proses dapat berjalan dengan lancar. Disamping itu normalisasi dibutuhkan untuk menghindari kemungkin adanya kerusakan data yang diakibatkan oleh beberapa anomali proses (contohnya anomali insertion, deletion dan update)
Dalam model normalized database dikenal beberapa model perangkuman, diantaranya yang sering digunakan adalah First Normal Form (1NF) , Second Normal Form (2NF), Third Normal Form (3NF), Boyce-Codd Normal Form, Fourth Normal Form dan Fifth Normal Form. Tahap Normalisasi dimulai dari tahap paling ringan (1NF) hingga paling ketat (5NF)
Denormalisasi (denormalized database) dapat dipahami sebagai kebalikan dari normalisasi, merupakan proses optimalisasi performa pembacaan database dengan meredundansi data kedalam tabel tertentu atau dengan melakukan pengelompokan data. [5]
Menurut Inmon, denormalisasi dapat dilakukan dengan teknik penempatan normalized
data ke dalam lokasi fisikal untuk menambah performa sebuah sistem (Inmon, 2005:495) dengan beberapa teknik:
- Membuat array (susunan) data
- Meredundansi (menyebarkan data yang sama ke dalam tabel berbeda) secara bijaksana - Membuat indeksasi yang kreatif (Inmon, 2005:136)
Normalisasi Denormalisasi
Efesiensi insert, update dan delete Efesiensi read dan select
Efesiensi sumberdaya ruang Inefesiensi sumberdaya ruang
Biasanya relasional Dapat berupa multidimensional
Harus logical Dapat ditempatkan secara physical
Contoh sederhana normalized dan denormalized database
6. Untuk menjawab soal ini kami memilih untuk mencantumkan semua kemungkinan interpretasi dari redaksi soal yang ada (data dan database):
- Structured data
Adalah data yang dapat diidentifikasi dan dituliskan dengan standar yang berlaku dalam DBMS (Database Management System) dan divisualisasikan dalam rupa report, field, index, database, records dan semacamnya. Contohnya adalah data jumlah transaksi, data laporan kondisi perusahaan, data tabel keuangan dan lainnya. Jenis data ini oleh Inmon biasa dikategorikan sebagai data internal.
- Unstructured data
Merupakan data yang tidak memiliki model tertentu dan tidak dapat diinterpretasikan ke dalam ringkasan nilai [7].
Dalam banyak kesempatan Inmon berulang-ulang menjelaskan bahwa unstructured data dalam data warehouse terdiri dari data dokumen dan data komunikasi, data dokumen contohnya konten yang terdapat pada surat, buku, artikel, narasi laporan, gambar dan lainnya baik berada dalam database maupun terpisah dalam sebuah file tertentu yang disebut sebagai data eksternal. Sedangkan data komunikasi contohnya, nomer telepon, alamat email, alamat website dan seterusnya. (Inmon, 2005:325)
- Structured database
Adalah sistem pengorganisasian data melalui bahasa terstruktur dalam bentuk schema, table, query, report dan view serta object lainnya, contohnya MySQL, MS SQL, Oracle, mariaDB dan lainnya.
- Unstructured database
Adalah database yang menyimpan apa yang tidak mungkin atau sulit disimpan dalam sistem database tradisional [6], contohnya database NoSQL, Volt DB, 10Gen dan lainnya.
7. Traditional Data Warehouse merupakan sistem distribusi database yang memproses read-only analytical queries menjadi data historikal yang bersumber dari database operasional [8]. Menurut Kimball, traditional data warehouse dapat juga disebut sebagai static warehouse, meskipun didalamnya terjadi proses antara data statis dan komponen real-time (Kimball, 2013:365). Pada arsitekturnya terdiri dari 4 (empat) layer yakni: sumber data, back-end, global data warehouse dan front end, dimana kumpulan proses yang berjalan didalamnya dikenal dengan istilah ETL (Extraction, Transformation, Loading) [9]
8. Data Warehouse banyak ditemukan contohnya pada
- Beberapa lembaga/organisasi dalam pemerintahan dan swasta yang memberikan pelayanan publik seperti sektor pendidikan, kesehatan, informasi dan berita, keamanan, penelitian dan lainnya.
- Perusahaan bisnis produk dan jasa seperti bisnis retail, jasa transportasi dan lainnya.
- Militer
9. Data Warehouse dibutuhkan ketika:
- Suatu organisasi atau perusahaan telah memiliki data operasional dan transaksional yang sangat besar
- Pengelolaan data ingin dilakukan secara professional dengan standar enterprise - Dibutuhkan laporan dan analisa dari sumber data operasional yang sangat sulit dihasilkan langsung dari sumber data atau dengan cara manual lewat (spreadsheets) contohnya.
- Kesulitan tersebut dapat diakibatkan oleh, data yang ada terlalu banyak, waktu yang digunakan terlalu lama, data laporan yang dihasilkan dikhawatirkan memiliki tingkat kualitas yang rendah.
10.Data Warehouse dibutuhkan karena
- Data Warehouse telah terbukti dapat meningkatkan Bisnis Intelligence yang diperoleh melalui pelaporan dan analisa serta mendukung menajemen dalam pengambilan keputusan yang tepat (Inmon, 2005:29).
- Data yang dihasilkan berasal dari internal yang tidak pernah dilakukan penghapusan serta data eksternal yang mendukung, sehingga dapat dijamin kualitas dan konsistensi historikalnya
- Berpotensi besar mendatangkan Return of Investment secara cepat.
Referensi
[1]Peter Baofu, The Future of Post-Human Migration: A Preface to a New Theory of Sameness, Otherness, and Identity Cambridge Scholars Publishing, Jan 3, 2013, p. 319
[2]Data Warehousing > Concepts > MOLAP, ROLAP, And HOLAP, http://www.1keydata.com/datawarehousing/molap-rolap.html
[3] Kimball, Ralph and Ross, Margy. The Data Warehouse Toolkit Third Edition (2013) Wiley,p.140
[4] W.H Inmon Building the Data Warehouse, 4th Edition, Wiley (2005)
[5]S. K. Shin and G. L. Sanders. Denormalization strategies for data retrieval from data warehouses. Decision Support Systems, 42(1):267-282, October 2006.
Data Warehouses, Morgan Kaufmann, Waltham 2012:95
[8]Edmond Lau & Samuel Madden, Recovery and High Availability in Updatable, Distributed Data Warehouses, CSAIL Cambridge, 2006
