1
Tugas
Data Warehouse
Arsitektur Data Warehouse
Renhard Soemargono
1562001
PROGRAM STUDI SISTEM INFORMASI
FAKULTAS TEKNOLOGI INFORMASI
UNIVERSITAS ATMA JAYA MAKASSAR
2
Komponen Arsitektur
Pemahaman Arsitektur Data Warehouse
Pengertian Arsitektur
Arsitektur adalah semua struktur yang membawa semua komponen Data Warehouse bersama. Contohnya dalam sebuah sekolah yang memiliki komponen ruang kelas, ruang guru, tata usaha, perpustakaan, koridor, pintu, jendela, atap, lapangan, dan komponen lainnya. Ketika semua komponen tersebut dibawa dan dibangun, struktur yang menyatukan semuanya disebut arsitektur sekolah.
Dalam Data Warehouse, arsitektur termasuk sejumlah faktor. Arsitektur membutuhkan semua yang dibutuhkan untuk menyiapkan data dan menyimpan data. Di sisi lain, mencangkup semua yang dibutuhkan untuk menyiapkan.
Arsitektur Dalam 3 Area Utama
3 area utama dalam data warehouse adalah:1. Data acquisition (Akuisisi Data) 2. Data storage (Penyimpanan Data)
3. Information delivery (Penyampaian Informasi) Komponen-komponen dari data warehouse adalah:
1. Source data 2. Data staging 3. Data storage
4. Information delivery 5. Metadata
6. Management and control
Gambar berikut adalah gambar yang menjelaskan pengelompokan komponen-komponen data warehouse berdasarkan 3 area utama data warehouse.
3 Gambar 1: komponen arsitektur dalam 3 area utama
Karakteristik Unik
Perbedaan Tujuan dan Cakupan
Arsitektur harus mendukung persyaratan untuk menyediakan informasi strategis. Informasi strategis sangat berbeda dengan informasi yang diperoleh dari sistem operasional. Bila anda memberikan informasi dari aplikasi operasional, isi dan kuantitas informasi per sesi pengguna terbatas. Sebagai contoh, pada waktu tertentu, pengguna hanya tertarik pada informasi tentang satu pelanggan dan semua permintaan terkait. Dari data warehouse, pengguna tertarik untuk mendapatkan set hasil yang besar. Contoh hasil besar yang ditetapkan dari data warehouse anda adalah semua penjualan untuk tahun yang ditentukan oleh cabang, produk, dan daerah penjualan. Oleh karena itu, arsitektur data warehouse harus memiliki komponen yang akan bekerja untuk memberikan data kepada pengguna dalam volume besar dalam satu sesi. Pada dasarnya, sejauh mana sistem pendukung keputusan berbeda dari sistem operasional yang secara langsung diterjemahkan menjadi hanya satu prinsip penting: data warehouse harus memiliki arsitektur yang berbeda dan lebih rumit.
Dalam penentuan cakupan ada beberapa faktor yang perlu dipertimbangkan. Pertama, anda harus mempertimbangkan jumlah dan luas sumber data. Berapa banyak sistem warisan yang akan anda
4 ekstrak dari data? Apa sumber eksternal? Apakah anda berencana untuk memasukkan file departemen, spreadsheet, dan database pribadi? Bagaimana dengan menyertakan data yang diarsipkan? Ruang lingkup arsitektur dapat diukur lagi dalam bentuk transformasi data dan fungsi integrasi. Di data warehouse, granularitas data dan volume data juga merupakan pertimbangan penting.
Namun pertimbangan lain yang serius adalah dampak dari data warehouse yang ada
sistem operasional Karena data ekstraksi, perbandingan, dan rekonsiliasi, anda harus menentukan seberapa besar dampak negatif yang dimiliki data warehouse terhadap kinerja sistem operasional. Kapan ekstrak batch anda akan dijalankan dan bagaimana pengaruhnya terhadap sistem sumber produksi?
Isi Data
Data "read-only" di data warehouse berada di tengah sebagai komponen utama dalam arsitektur. Dalam sistem operasional, walaupun database penting, kepentingan ini tidak sesuai dengan penyimpanan data di data warehouse. Sebelum data dibawa ke data warehouse anda dan disimpan sebagai data read-only, sejumlah fungsi harus dilakukan. Fungsi yang melelahkan dan kritis ini tidak dibandingkan dengan konversi data yang terjadi dalam sistem operasional.
Di data warehouse anda, anda menyimpan data yang terintegrasi dari berbagai sumber. Setelah mengekstraksi data, yang dengan sendirinya merupakan proses yang rumit, anda mengubah data, membersihkannya, dan mengintegrasikannya ke staging area. Baru setelah itu anda memindahkan data yang terintegrasi ke dalam data warehouse sebagai data read-only. Data operasional bukan data "read-only".
Selanjutnya, arsitektur data warehouse anda harus mendukung penyimpanan data yang dikelompokkan menurut subyek bisnis, tidak dikelompokkan menurut aplikasi seperti dalam kasus sistem operasional. Data di data warehouse anda tidak mewakili potret yang berisi nilai variabel seperti pada waktu sekarang. Ini berbeda dan berbeda dari kebanyakan sistem operasional. Ketika kita menyebutkan data historis yang tersimpan di data warehouse, kita bicarakan volume data sangat besar. Sebagian besar perusahaan memilih untuk menyimpan data yang akan digunakan kembali 10 tahun di data warehouse. Beberapa perusahaan ingin menyimpan lebih
5 banyak lagi, jika datanya tersedia. Inilah alasan lain mengapa arsitektur data warehouse harus mendukung volume data yang tinggi.
Analisis Kompleks dan Respon Cepat
Arsitektur data warehouse anda harus mendukung analisis kompleks informasi strategis oleh pengguna. Proses pencarian informasi dalam sistem operasional menyusut dalam kompleksitas bila dibandingkan dengan penggunaan informasi dari data warehouse. Sebagian besar pengambilan informasi online selama sesi oleh pengguna adalah analisis interaktif. Pengguna tidak menjalankan kueri yang terisolasi, beralih dari data warehouse, dan kembali lagi nanti untuk kueri berikutnya. Sesi oleh pengguna terus berlanjut dan berlangsung lama karena pengguna biasanya memulai dengan kueri pada tingkat tinggi, meninjau hasil yang ditetapkan, memulai kueri berikutnya untuk melihat data dengan cara yang sedikit berbeda, dan seterusnya.
Arsitektur data warehouse anda harus, oleh karena itu, mendukung variasi untuk memberikan analisis. Pengguna harus bisa mengebor, menggulung, mengiris dan dadu data, dan bermain dengan Skenario "bagaimana-jika". Pengguna harus memiliki kemampuan untuk meninjau kumpulan hasil dalam pilihan output yang berbeda. Pengguna tidak lagi puas dengan kumpulan hasil tekstual atau hasil yang ditampilkan dalam format tabel. Setiap hasil yang ditetapkan dalam format tabel harus diterjemahkan ke dalam grafik-grafik.
Arsitektur data warehouse anda harus memudahkan pengambilan keputusan strategis dengan cepat. Harus ada komponen yang sesuai dalam arsitektur untuk mendukung respon cepat oleh pengguna untuk menghadapi situasi dengan menggunakan informasi yang diberikan oleh data warehouse anda.
Fleksibel dan Dinamis
Apalagi dalam hal desain dan pengembangan data warehouse, anda tidak tahu semua kebutuhan bisnis di depan. Dengan menggunakan teknik pembuatan paket informasi, anda dapat menilai sebagian besar persyaratan dan memodelkan persyaratan data secara dimensional. Namun demikian, bagian yang hilang dari persyaratan muncul setelah pengguna anda mulai menggunakan data warehouse. Apa implikasinya? anda harus memastikan arsitektur data warehouse anda cukup fleksibel untuk mengakomodasi persyaratan tambahan saat muncul.
6 Persyaratan tambahan mencakup item yang tidak terjawab dalam persyaratan bisnis. Apalagi kondisi bisnis itu sendiri berubah. Sebenarnya, mereka terus berubah. Mengubah kondisi bisnis memerlukan tambahan persyaratan bisnis untuk dimasukkan ke dalam data warehouse. Jika arsitektur data warehouse didesain fleksibel dan dinamis, maka data warehouse anda dapat memenuhi persyaratan ketika dibutuhkan.
Metadata-Driven
Seiring data bergerak dari sistem sumber ke pengguna akhir sebagai informasi strategis dan berguna, metadata mengelilingi keseluruhan gerakan. Komponen metadata arsitektur menyimpan data tentang setiap fase gerakan, dan, dalam arti sebenarnya, membuat pergerakan terjadi.
Dalam sistem operasional, tidak ada komponen yang setara dengan metadata di data warehouse. Kamus data dari DBMS sistem operasi hanyalah bayangan samar dari metadata di data warehouse. Jadi, dalam arsitektur data warehouse Anda, komponen metadata interleaves dengan dan menghubungkan komponen lainnya.
Kerangka Arsitektur
Arsitektur Pendukung Arus Data
Sekarang kita ingin mengasosiasikan komponen sebagai pembentuk kerangka kerja untuk mengkondisikan dan memungkinkan arus data dari awal sampai akhir. Seperti yang anda ketahui dengan baik, data itu akhirnya mencapai pengguna akhir sebagai informasi strategis yang berguna dimulai sebagai elemen data yang berbeda dalam berbagai sumber data. Kumpulan data dari berbagai sumber ini bergerak ke staging area. Data yang diekstraksi melewati proses persiapan terperinci di staging area sebelum dikirim ke data warehouse untuk disimpan dengan benar. Dari penyimpanan data warehouse, data yang ditransformasikan menjadi informasi bermanfaat diambil oleh pengguna atau dikirim ke desktop pengguna sesuai kebutuhan.
7 Gambar 2: Kerangka arsitektur pendukung arus data.
Arsitektur pendukung arus data terdiri atas 3 komponen, yaitu:
1. Data Source. Disini sumber data internal dan eksternal merupakan komponen arsitektur sumber data. Sumber data mengatur ekstraksi data untuk persiapan dan penyimpanan di data warehouse. Komponen arsitektur staging data mengatur transformasi, pembersihan, dan integrasi data.
2. Data Warehouse Repository. Komponen arsitektur penyimpanan data mencakup pemuatan data dari staging area dan juga menyimpan data dalam format yang sesuai untuk pengiriman informasi. Komponen arsitektur metadata juga merupakan mekanisme penyimpanan untuk menampung data tentang data pada setiap titik aliran data dari awal sampai akhir.
3. End User. Komponen arsitektur pengiriman informasi mencakup data mart, database multidimensional khusus, dan berbagai macam fasilitas query dan pelaporan.
Modul Manajemen dan Kontrol
Komponen arsitektur ini adalah modul keseluruhan yang mengelola dan mengendalikan keseluruhan lingkungan data warehouse. Ini adalah komponen payung yang bekerja pada berbagai tingkatan dan mencakup semua operasi. Komponen ini memiliki dua fungsi utama: pertama-tama untuk terus memantau semua operasi yang sedang berlangsung, dan selanjutnya masuk dan pulih
8 dari masalah saat terjadi kesalahan. Gambar di bawah menunjukkan bagaimana komponen manajemen berhubungan dengan dan mengelola semua operasi data warehouse.
Modul manajemen juga mengelola bagian penting dari data warehouse dan memulihkan dari kegagalan. Layanan manajemen meliputi pemantauan pertumbuhan dan pengarsipan data secara berkala dari data warehouse. Komponen arsitektur ini juga mengatur keamanan data dan memberikan akses yang sah ke data warehouse. Selain itu, komponen manajemen berinteraksi dengan komponen pengiriman informasi pengguna akhir untuk memastikan penyampaian informasi dilakukan dengan benar.
Arsitektur Teknis
Akuisisi Data
Area ini mencakup seluruh proses penggalian data dari sumber data, memindahkan semua data yang diekstraksi ke staging area, dan menyiapkan data untuk dibawa ke penyimpanan data warehouse. Dua komponen arsitektur utama yang diidentifikasi sebelumnya sebagai bagian dari area ini adalah sumber data dan data staging. Fungsi dan layanan di bidang ini berhubungan dengan Fungsi dan layanan di bidang ini berhubungan dengan dua komponen arsitektural ini. Variasi sumber data memiliki dampak langsung terhadap luas dan cakupan fungsi dan layanan. Fungsi dari akuisisi data adalah data extraction, data transformation, data cleansing, data integration, dan data staging.
9
Penyimpanan Data
Area ini mencakup proses pemuatan data dari staging area ke dalam penyimpanan warehouse. Semua fungsi untuk mengubah dan mengintegrasikan data selesai di area data stage. Data yang disiapkan di data warehouse seperti produk jadi yang siap ditumpuk di gudang industri.Bahkan sebelum loading data ke dalam data warehouse, metadata, yang merupakan komponen lain dari arsitektur, sudah aktif. Selama tahap ekstraksi data dan transformasi data itu sendiri, repositori metadata terpakai. Gambar di bawah menunjukkan tampilan arsitektur teknis untuk penyimpanan data yang diringkas.
Gambar 4: Penyimpanan data pada arsitektur teknis
Penyampaian Informasi
Area ini mencakup spektrum yang luas dari berbagai metode pembuatan informasi yang tersedia bagi pengguna. Bagi pengguna Anda, komponen pengiriman informasi adalah data warehouse. Mereka tidak berhubungan dengan komponen lainnya secara langsung. Bagi pengguna, kekuatan arsitektur data warehouse Anda terutama terkonsentrasi pada ketahanan dan fleksibilitas komponen pengiriman informasi.
10 Komponen penyampaian informasi memudahkan pengguna untuk mengakses informasi baik secara langsung dari data warehouse perusahaan secara keseluruhan, dari data mart tergantung, atau dari kumpulan data yang sesuai. Sebagian besar akses informasi di data warehouse adalah melalui query online dan sesi analisis interaktif. Kendati demikian, data warehouse Anda juga akan menghasilkan laporan reguler dan tertentu.
Hampir semua data warehouse modern menyediakan pemrosesan analitik online (OLAP). Dalam kasus ini, data warehouse utama memberi umpan data ke basis data multidimensi berpemilik multinasional (database MDDB) di mana data yang dirangkum disimpan sebagai informasi multi dimensi. Pengguna melakukan analisis multidimensi kompleks menggunakan informasi cubes di MDDBs. Lihat Gambar di bawah untuk melihat secara ringkas arsitektur teknis untuk pengiriman informasi.
11
Infrastruktur Sebagai Dasar Data Warehouse
Infrastruktur Pendukung Arsitektur
Infrastruktur data warehouse mencakup semua elemen dasar yang memungkinkan arsitektur diimplementasikan. Singkatnya, infrastruktur mencakup beberapa elemen seperti perangkat keras server, sistem operasi, perangkat lunak jaringan, perangkat lunak basis data, LAN dan WAN, alat vendor untuk setiap komponen arsitektur, orang, prosedur, dan pelatihan.
Unsur-unsur infrastruktur data warehouse dapat dikelompokkan menjadi dua kategori: infrastruktur operasional dan infrastruktur fisik. Perbedaan ini penting karena elemen dalam setiap kategori berbeda sifat dan fiturnya dibandingkan dengan kategori lainnya.
Gambar 6: Infrastruktur Pendukung Arsitektur
Infrastruktur Operasional
Infrastruktur operasional untuk mendukung setiap komponen arsitektural terdiri dari: • People (Orang)
• Procedures (Prosedur) • Training (Latihan)
• Management software (Perangkat Lunak Manajemen)
Ini bukan orang dan prosedur yang dibutuhkan untuk mengembangkan data warehouse. Inilah yang dibutuhkan untuk menjaga agar data warehouse tetap berjalan. Unsur-unsur ini sama
12 pentingnya dengan perangkat keras dan perangkat lunak yang menjaga agar data warehouse tetap berjalan. Mereka mendukung pengelolaan data warehouse dan menjaga efisiensinya.
Pengembang data warehouse banyak memperhatikan elemen perangkat keras dan sistem perangkat lunak infrastruktur. Memang benar melakukannya. Namun infrastruktur operasional seringkali terbengkalai. Meskipun Anda mungkin memiliki perangkat keras dan perangkat lunak yang tepat, data warehouse Anda memerlukan infrastruktur operasional agar berfungsi dengan baik. Tanpa infrastruktur operasional yang tepat, data warehouse Anda cenderung hanya lemas dan berhenti menjadi efektif. Perhatikan rincian infrastruktur operasional Anda.
Infrastruktur Fisik
Gambar di bawah menyoroti unsur-unsur utama infrastruktur fisik. Seperti yang Anda tahu, setiap sistem, termasuk data warehouse Anda, harus memiliki platform keseluruhan untuk tinggal. Intinya, platform terdiri dari komponen perangkat keras dasar, sistem operasi dengan perangkat lunak utilitas, jaringan, dan perangkat lunak jaringan. Seiring dengan keseluruhan platform adalah seperangkat alat yang berjalan di platform yang dipilih untuk melakukan berbagai fungsi dan layanan komponen arsitektur individu.
Gambar 7: Infrastruktur Fisik
Perangkat Keras dan Sistem Operasi
Perangkat keras dan sistem operasi membuat lingkungan komputasi untuk data warehouse Anda. Semua pekerjaan ekstraksi data, transformasi, integrasi, dan pementasan berjalan di perangkat keras yang dipilih berdasarkan sistem operasi yang dipilih. Bila Anda mengangkut data gabungan dan terpadu dari area pementasan ke data warehouse warehouse Anda, Anda menggunakan perangkat keras server dan perangkat lunak sistem operasi. Saat kueri dimulai dari workstation
13 klien, perangkat keras server, bersamaan dengan perangkat lunak basis data, menjalankan kueri dan menghasilkan hasilnya.
Berikut adalah beberapa panduan umum untuk pemilihan perangkat keras, tidak sepenuhnya spesifik untuk perangkat keras untuk data warehouse.
• Scalability. Ketika data warehouse Anda tumbuh dalam hal jumlah pengguna, jumlah kueri, dan kompleksitas kueri, pastikan perangkat keras pilihan Anda dapat ditingkatkan. • Support. Dukungan vendor sangat penting untuk pemeliharaan perangkat keras. Pastikan
dukungan dari vendor perangkat keras berada pada tingkat tertinggi.
• Vendor Reference. Penting untuk memeriksa referensi vendor dengan situs lain yang menggunakan perangkat keras dari vendor ini. Anda tidak ingin tertangkap basah dengan data warehouse Anda karena kerusakan perangkat keras saat CEO menginginkan beberapa analisis kritis selesai.
• Vendor Stability. Periksa stabilitas dan daya tahan vendor.
Selanjutnya mari kita cepat mempertimbangkan beberapa kriteria umum untuk pemilihan sistem operasi. Pertama-tama, sistem operasi harus kompatibel dengan perangkat keras. Daftar kriteria sebagai berikut:
• Scalability. Data warehouse tumbuh, dan tumbuh sangat cepat. Seiring dengan perangkat keras dan perangkat lunak database, sistem operasi harus dapat mendukung peningkatan jumlah pengguna dan aplikasi.
• Security. Ketika beberapa workstation klien mengakses server, sistem operasi harus dapat melindungi setiap klien dan sumber daya terkait. Sistem operasi harus menyediakan lingkungan yang aman bagi setiap klien.
• Reliability. Sistem operasi harus bisa melindungi lingkungan dari malfungsi aplikasi. • Availbility. Ini adalah konsekuensi wajar untuk keandalan. Lingkungan komputasi harus
terus tersedia setelah pengakhiran aplikasi abnormal.
• Preemptive Multitasking. Perangkat keras server harus dapat menyeimbangkan alokasi waktu dan sumber daya di antara banyak tugas. Selain itu, sistem operasi harus dapat membiarkan tugas prioritas yang lebih tinggi mendahului atau mengganggu tugas lain saat dan kapan diperlukan.
14 • Use multithreaded approach. Sistem operasi harus dapat melayani beberapa permintaan secara bersamaan dengan mendistribusikan threads ke beberapa prosesor dalam konfigurasi perangkat keras multiprosesor. Fitur ini sangat penting karena konfigurasi multiprosesor adalah arsitektur pilihan di lingkungan data warehouse.
• Memory Protection. Sekali lagi, di lingkungan data warehouse, sejumlah besar query umum terjadi. Itu berarti banyak permintaan akan dijalankan secara bersamaan. Fitur perlindungan memori dalam sistem operasi mencegah satu tugas melanggar ruang memori yang lain.
Berikut adalah 3 pilihan umum dalam pemilihan hardware dan sistem operasi. 1. Mainframe
• Sisa perangkat keras dari aplikasi lawas
• Terutama dirancang untuk OLTP dan bukan untuk aplikasi pendukung keputusan • Tidak hemat biaya untuk pergudangan data
• Tidak mudah terukur
• Jarang digunakan untuk data pergudangan saat sumber daya cadangan terlalu banyak tersedia untuk data mart kecil
2. Open System Servers
• Server UNIX, media pilihan untuk kebanyakan data warehouse • Umumnya kuat
• Diadaptasi untuk pemrosesan paralel 3. NT Servers
• Dukung data warehouse berukuran sedang • Kemampuan pemrosesan paralel terbatas
• Hemat biaya untuk data warehouse berukuran sedang dan kecil
Pemilihan Platform
Platform komputasi adalah kumpulan komponen perangkat keras, sistem operasi, jaringan, dan perangkat lunak jaringan. Entah itu fungsi sistem OLTP atau sistem pendukung keputusan seperti data warehouse, fungsinya harus dilakukan pada platform komputasi.
15 1. Single Platform.
Ini adalah pilihan paling sederhana dan sederhana untuk mengimplementasikan arsitektur data warehouse. Dalam opsi ini, semua fungsi dari ekstraksi data backend ke pemrosesan kueri front-end dilakukan pada platform komputasi tunggal. Ini mungkin pendekatan paling awal, ketika pengembang menerapkan data warehouse pada mainframe, minicomputer, atau server berbasis UNIX yang ada.
Karena semua operasi dalam perolehan data, penyimpanan data, dan area pengiriman informasi berlangsung di platform yang sama, opsi ini hampir tidak pernah menemukan masalah kompatibilitas atau antarmuka apa pun. Data mengalir dengan lancar dari awal sampai akhir tanpa konversi platform-ke-platform. Tidak ada middleware yang dibutuhkan. Semua alat bekerja di lingkungan komputasi tunggal.
Di banyak perusahaan, sistem warisan masih berjalan di mainframe atau minis. Beberapa perusahaan ini telah bermigrasi ke server berbasis UNIX dan yang lainnya beralih ke sistem ERP di lingkungan klien / server sebagai bagian dari transisi untuk mengatasi tantangan Y2K. Bagaimanapun, sebagian besar sistem warisan masih berada di mainframe, minis, atau server berbasis UNIX. Apa hubungan sistem legacy dengan data warehouse? Ingat, sistem warisan menyumbang sebagian besar data data warehouse. Jika perusahaan-perusahaan ini ingin mengadopsi solusi satu platform, platform pilihan itu harus berupa server mainframe, mini, atau UNIX.
16 2. Hybrid Option Platform
Setelah memeriksa sistem warisan dan aplikasi yang lebih modern di perusahaan Anda, kemungkinan besar Anda akan memutuskan bahwa pendekatan satu platform tidak dapat diterapkan untuk data warehouse Anda. Inilah kesimpulan sebagian besar perusahaan datang. Di sisi lain, jika perusahaan Anda termasuk dalam kategori di mana platform lawas akan mengakomodasi data warehouse Anda, maka dengan segala cara, ambil pendekatan solusi satu platform. Sekali lagi, solusi single-platform, jika memungkinkan, adalah solusi yang lebih mudah.
Bagi kita semua yang tidak seberuntung itu, kita harus mempertimbangkan pilihan lain. Mari kita mulai dengan ekstraksi data, operasi besar pertama, dan ikuti arus data sampai dikonsolidasikan ke gambar beban dan menunggu di area stage. Sekarang kita akan melangkah melalui arus data dan memeriksa opsi platform.
17 Gambar 10: Platform untuk staging area
Server Hardware
Memilih perangkat keras server adalah salah satu keputusan terpenting tim proyek data warehouse akan dihadapi. Mungkin, untuk kebanyakan gudang, pemilihan perangkat keras server bisa menjadi keputusan tersulit. Skalabilitas dan kinerja query optimal adalah kuncinya.
Anda tahu bahwa data warehouse Anda ada untuk satu tujuan utama-untuk memberikan informasi kepada pengguna Anda. Ad hoc, tak terduga, kompleks query dari data warehouse adalah metode yang paling umum untuk pengiriman informasi. Jika perangkat keras server Anda tidak mendukung pemrosesan kueri yang lebih cepat, keseluruhan proyek dalam bahaya.
18 Ada beberapa pilihan dalam perangkat keras server, diantaranya yaitu:
1. SMP (Symmetric Multiprocessing).
Anda dapat mempertimbangkan opsi ini jika ukuran data warehouse Anda diperkirakan sekitar dua atau tiga ratus gigabyte dan persyaratan konkurensi masuk akal.
Ciri-Ciri:
• suatu arsitektur yang shared-everything, • Mesin olah paralel yang paling sederhana.
• Masing-Masing processor mempunyai akses penuh kepada memori secara bersama melalui suatu umum bus.
• Komunikasi antara processor terjadi melalui memori umum. • Disk dapat dikontrol oleh semua procesor
Gambar 12: SMP (Symmetric Multiprocessing) 2. Clusters
Anda dapat mempertimbangkan opsi ini jika data warehouse Anda diperkirakan akan tumbuh dengan baik.Ciri-ciri:
• Masing-Masing node terdiri dari satu atau lebih processor dan berhubungan dengan memori.
• Memori tidak shared di antara node tapi shared hanya di dalam masing-masing node.
• Komunikasi terjadi dalam kecepatan tinggi.
19 • Arsitektur ini adalah suatu cluster dari node.
Gambar 13: Cluster 3. MPP (Massively Parallel Processing)
Pertimbangkan opsi ini jika Anda sedang membangun data warehouse berukuran menengah atau besar di kisaran 400-500 GB. Untuk gudang yang lebih besar di kisaran terabyte, mencari kombinasi arsitektur khusus.
Ciri-ciri:
• Ini adalah suatu arsitektur yang shared-nothing.
• Arsitektur ini lebih terkait dengan mengakses disk dibanding akses memori. • Bekerja secara baik dengan suatu sistem operasi yang mendukung akses disk
transparan.
• Jika suatu table database ditempatkan pada disk tertentu, akses ke disk itu tergantung seluruhnya pada processor yang memiliki disk
• Internode komunikasi adalah dengan koneksi antar processor ke processor lainnya.
20 4. ccNUMA or NUMA (Cache-coherent Nonuniform Memory Architecture).
Pilihan ini merupakan pendekatan yang lebih agresif untuk Anda. Anda dapat memutuskan mesin NUMA yang terdiri dari satu atau dua simpul SMP, namun jika perusahaan Anda tidak berpengalaman dalam teknologi perangkat keras, opsi ini mungkin tidak sesuai untuk Anda.
Ciri-ciri:
• Ini adalah arsitektur yang paling baru; dikembangkan pada awal 1990
• NUMA arsitektur seperti suatu SMP besar mematahkan SMPs yang lebih kecil. Dimana yang lebih mudah untuk dibangun.
• Perangkat keras pertimbangkan semua unit memori sebagai suatu raksasa memori. Sistem mempunyai memori nyata tunggal menunjuk pada keseluruhan alamat memori mesin dimulai dengan 1 pada tangkai / node yang pertama dan berllanjut ke tangkai / node berikutnya. Masing-Masing tangkai / node berisi suatu direktori alamat memori di dalam tangkai / node tersebut.
• Di dalam arsitektur ini, jumlah waktu yang diperlukan untuk mendapatkan kembali suatu nilai memori bervariasi sebab tangkai / node yang pertama mungkin memerlukan nilai yang berada di memori dari tangkai / node ketiga. Hal inilah yang merupakan alasan mengapa arsitektur ini disebut arsitektur akses memori non uniform
21
Perangkat Lunak Basis Data
Karena data pergudangan menjadi lebih umum, Anda akan melihat fitur data warehouse disertakan dalam produk perangkat lunak. Itulah yang dilakukan vendor database. Pengaitan terkait data warehouse menjadi bagian dari penawaran database. Perangkat lunak basis data yang dimulai untuk digunakan dalam sistem OLTP operasional ditingkatkan untuk memenuhi sistem pendukung keputusan. DBMS juga telah ditingkatkan untuk mendukung database yang sangat besar.
Beberapa produk RDBMS sekarang termasuk dukungan untuk area akuisisi data dari data warehouse. Pemuatan dan pengambilan kembali data dari sistem database lain menjadi lebih mudah. Beberapa vendor telah memberikan perhatian khusus pada fungsi transformasi data. Fitur replikasi telah diperkuat untuk membantu penyegaran massal dan penambahan data warehouse secara bertahap.
Bit-dipetakan indeks bisa sangat efektif dalam lingkungan data warehouse untuk indeks pada bidang yang memiliki sejumlah kecil nilai yang berbeda. Misalnya, dalam tabel database yang berisi wilayah geografis, jumlah kode wilayah yang berbeda sedikit. Tapi sering, kueri melibatkan seleksi menurut daerah. Dalam kasus ini, pengambilan dengan indeks yang dipetakan sedikit pada nilai kode wilayah bisa sangat cepat.
Terlepas dari perangkat tambahan ini, yang lebih penting berhubungan dengan load balancing dan kinerja query. Kedua fitur ini sangat penting dalam sebuah data warehouse. Data warehouse Anda adalah query-sentris. Segala sesuatu yang bisa dilakukan untuk meningkatkan kinerja query sangat diminati. Vendor DBMS menyediakan fitur pemrosesan paralel untuk meningkatkan kinerja kueri.
Pilihan Pemprosesan Paralel
Pilihan pemrosesan paralel dalam perangkat lunak basis data hanya ditujukan untuk mesin dengan beberapa prosesor. Sebagian besar perangkat lunak database saat ini dapat memparalelkan sejumlah besar operasi. Operasi ini meliputi: pemuatan data secara massal, pemindaian tabel penuh, query dengan kondisi pengecualian, query dengan pengelompokan, seleksi dengan nilai yang berbeda, agregasi, sortasi, pembuatan tabel menggunakan subqueries, membuat dan membangun kembali indeks, memasukkan baris ke dalam tabel dari tabel lainnya, kendala yang memungkinkan, transformasi bintang (teknik pengoptimalan saat memproses query melawan
22 skema STAR), dan seterusnya. Perhatikan bahwa ini adalah daftar operasi yang mengesankan yang dapat diproses RDBMS secara paralel.
Setiap sesi mengakses database melalui proses server. Query dikirim ke DBMS dan pengambilan data dilakukan dari database. Data diambil dan hasilnya dikirim kembali, semua berada di bawah kendali proses dedicated server. Perangkat lunak operator dispatcher bertanggung jawab untuk membelah pekerjaan, mendistribusikan unit yang akan dilakukan di antara kumpulan proses server query yang ada, dan menyeimbangkan beban. Akhirnya, hasil proses query dirakit dan dikembalikan sebagai satu set hasil konsolidasi.
Ada beberapa teknik pemprosesan paralel, diantaranya sebagai berikut: 1. Interquery Parallelization
Dalam metode ini, beberapa proses server menangani banyak permintaan secara bersamaan. Beberapa pertanyaan mungkin dilayani berdasarkan konfigurasi server Anda dan jumlah prosesor yang tersedia. Anda dapat berhasil memanfaatkan fitur DBMS di sistem SMP ini, sehingga meningkatkan throughput dan mendukung pengguna yang lebih bersamaan.
2. Intraquery Parallelization
Dengan menggunakan teknik paralelisasi intraquery, DBMS membagi query ke dalam operasi tingkat rendah dari indeks membaca, membaca data, menggabungkan data, dan sort data. Kemudian masing-masing operasi dasar dijalankan secara paralel pada satu prosesor. Hasil akhir yang ditetapkan adalah konsolidasi hasil intermediasi. Terbagi atas 3 jenis yaitu:
a. Horizontal Parallelism
Dengan menggunakan teknik paralelisasi intraquery, DBMS membagi query ke dalam operasi tingkat rendah dari indeks membaca, membaca data, menggabungkan data, dan sort data. Kemudian masing-masing operasi dasar dijalankan secara paralel pada satu prosesor. Hasil akhir yang ditetapkan adalah konsolidasi hasil intermediasi. b. Vertical Parallelism
Semacam ini paralelisme terjadi di antara tugas yang berbeda, bukan hanya satu tugas dalam kueri seperti dalam kasus paralelisme horizontal. Semua operasi kueri
23 komponen dieksekusi secara paralel, namun dengan cara pipelined. Ini mengasumsikan bahwa RDBMS memiliki kemampuan untuk menguraikan query menjadi subtugas; setiap subtugas memiliki semua operasi baca indeks, data dibaca, bergabung, dan sortir. Kemudian setiap subtugas mengeksekusi data secara serial. Dalam pendekatan ini, catatan database idealnya diproses dengan satu langkah dan segera diberikan ke langkah selanjutnya untuk pengolahan, sehingga menghindari waktu tunggu. Tentu saja, dalam metode ini, DBMS harus memiliki tingkat kecanggihan yang sangat tinggi dalam menguraikan tugas.
c. Hybrid Method
Dalam metode ini, dekomposisi query mendekripsi query secara horisontal dan vertikal. Tentu, pendekatan ini menghasilkan hasil terbaik. Anda akan menyadari pemanfaatan sumber daya, kinerja optimal, dan skalabilitas tinggi.
Gambar 16: Interquery Parallelization dan Intraquery parallelization oleh DBMS.
Pemilihan DBMS
Terlepas dari kriteria bahwa DBMS yang dipilih harus memiliki load balancing dan opsi pemrosesan paralel, fitur kunci lainnya yang tercantum di bawah ini harus dipertimbangkan saat memilih DBMS untuk data warehouse Anda.
24 • Query governor—untuk mengantisipasi dan membatalkan permintaan
• Query optimizer—untuk mengurai dan mengoptimalkan kueri pengguna • Query management—untuk menyeimbangkan eksekusi berbagai jenis query • Load utility—untuk pemuatan data berkinerja tinggi, pemulihan, dan restart • Metadata management—dengan katalog data atau kamus aktif
• Scalability—baik dari segi jumlah pengguna maupun volume data • Extensibility—memiliki ekstensi hibrida ke database OLAP • Portability—di seluruh platform
• Query tool APIs—untuk alat dari vendor terkemuka
• Administration—memberikan dukungan untuk semua fungsi DBA
Collection of Tools
Pikirkan aplikasi OLTP, mungkin sistem rekening giro di bank umum. Bila Anda, sebagai pengembang, merancang dan menerapkan aplikasi, berapa banyak perangkat lunak pihak ketiga yang Anda gunakan untuk mengembangkan aplikasi semacam itu? Tentu saja, jangan hitung bahasa pemrograman atau software database. Maksud kami alat vendor pihak ketiga lainnya untuk pemodelan data, perangkat lunak perancangan GUI, dan sebagainya. Anda mungkin menggunakan beberapa, jika ada sama sekali. Demikian pula, ketika teller bank menggunakan aplikasi ini, dia mungkin tidak menggunakan perangkat lunak pihak ketiga.
Tapi lingkungan data warehouse berbeda. Bila Anda, sebagai anggota tim proyek, mengembangkan data warehouse, Anda akan menggunakan alat pihak ketiga untuk tahap perkembangan yang berbeda. Anda dapat menggunakan generator kode untuk menyiapkan perangkat lunak dalam rumah untuk ekstraksi data. Saat data warehouse digunakan, pengguna Anda akan mengakses informasi melalui alat kueri pihak ketiga dan membuat laporan dengan penulis laporan. Perangkat lunak merupakan bagian infrastruktur yang sangat penting dalam lingkungan data warehouse.
Alat perangkat lunak tersedia untuk setiap komponen arsitektur data warehouse. Gambar di bawah menunjukkan kelompok alat yang mendukung berbagai fungsi dan layanan di data warehouse. Perangkat perangkat lunak sangat penting dalam data warehouse. Seperti yang telah Anda lihat
25 dari gambar ini, alat mencakup semua fungsi utama. Tim proyek data warehouse hanya menulis sebagian kecil perangkat lunak yang diperlukan untuk melakukan fungsi ini.
Gambar 17: Tools untuk data warehouse
Arsitektur Pertama, Lalu Tools.
Dalam pengembangan data warehouse, abaikan tools, desain arsitektur terlebih dahulu. setelah arsitektur selesai, pilih tools yang sesuai dengan fungsi dan layanan yang ditetapkan untuk komponen arsitektural.
Data Modeling
• Memungkinkan pengembang untuk menciptakan dan memelihara model data untuk sistem sumber dan target database data warehouse. Jika perlu, model data dapat dibuat untuk staging area.
• Menyediakan kemampuan teknik maju untuk menghasilkan skema database.
• Menyediakan kemampuan reverse engineering untuk menghasilkan data model dari entri kamus data dari database sumber yang ada.
• Berikan kemampuan pemodelan dimensi kepada perancang data untuk membuat skema STAR.
26
Data Transformation
• Transformasi data yang diekstraksi ke dalam format dan struktur data yang sesuai. • Berikan nilai default sesuai spesifikasi.
• Fitur utama meliputi pemisahan lapangan, konsolidasi, standardisasi, dan deduplikasi.
Data Loading
• Load data yang ditransformasikan dan dikonsolidasikan dalam bentuk load images ke dalam data warehouse warehouse.
• Beberapa pemuat menghasilkan kunci primer untuk tabel yang sedang dimuat.
• Untuk memuat gambar yang tersedia pada mesin RDBMS yang sama dengan data warehouse, prosedur precode yang tersimpan pada database itu sendiri dapat digunakan untuk loading.
Data Quality
• Membantu menemukan dan memperbaiki kesalahan data.
• Dapat digunakan pada data di area pementasan atau pada sistem sumber secara langsung. • Membantu mengatasi ketidakkonsistenan data pada gambar beban.
Queries and Reports
• Izinkan pengguna menghasilkan laporan yang grafis intensif dan canggih. • Bantu pengguna merumuskan dan menjalankan kueri.
• Dua klasifikasi utama adalah report writer, report servers.
Online Analytical Processing (OLAP)
• Izinkan pengguna menjalankan kueri dimensi kompleks. • Aktifkan pengguna untuk menghasilkan kueri kalengan.
• Dua kategori pemrosesan analisis online adalah analisis online multidimensional
• pengolahan (MOLAP) dan pemrosesan analitis online relasional (ROLAP). MOLAP bekerja dengan basis data multidimensi berpemilik yang menerima umpan data dari data warehouse utama. ROLAP menyediakan kemampuan pemrosesan analisis online dari basis data relasional dari data warehouse itu sendiri.
27
Alert Systems
• Sorot dan dapatkan perhatian pengguna berdasarkan pengecualian yang ditentukan. • Sediakan alert dari data warehouse database untuk mendukung keputusan strategis. Tiga
jenis peringatan dasar adalah: dari sistem sumber individual, dari data warehouse perusahaan terpadu, dan dari data mart individual.
Middleware and Connectivity
• Transparan akses ke sistem sumber di lingkungan yang heterogen. • Transparan akses ke database dari berbagai jenis pada berbagai platform.
• Alatnya cukup mahal namun terbukti sangat berharga untuk menyediakan interoperabilitas di antara berbagai komponen data warehouse.
Data Warehouse Management
• Membantu administrator data warehouse dalam pengelolaan sehari-hari. • Beberapa alat fokus pada proses load dan melacak sejarah load.
28
Sumber
Paulraj Ponniah. 2001. Data Warehousing Fundamentals: a Comprehensive Guide for IT
