BAB 6
Physical Database Design
Dalam arsitektur sistem yang ditunjukkan pada Gambar 6 1, kami memiliki satu ETL server, dua server database( berkerumun), dua laporan server( beban seimbang), dan dua OLAP server. Kami telah 12TB baku ruang disk di SAN terdiri dari 85 disk, masing- masing dengan 146GB kapasitas dan 15, 000 RPM. Semua koneksi jaringan ke SAN adalah melalui jaringan
serat, dan untuk ketersediaan tinggi kita memiliki dua switch Fibre Channel. Kami memperkirakan bahwa jumlah PC klien yang akan menggunakan data warehouse adalah antara 300 dan 500.Amadeus Hiburan data warehouse digunakan untuk mendukung CRM kegiatan, baik cus- gan APC analisis dan manajemen kampanye operasi. Ini berarti kampanye data respon perlu dimuat ke gudang data banyak kali sehari, dan kampanye seg- pemikiran perlu query data warehouse banyak kali sehari. Pengguna perlu menjalankan membeli analisis terhadap data pesanan di gudang data beberapa kali sehari.
Mengalokasikan ruang disk pada SAN untuk analisis Layanan idealnya harus dipisahkan dari database server untuk alasan yang sama sehingga Anda dapat mengoptimalkan dan menyempurnakan penggunaan disk secara terpisah. Hal ini dilakukan dengan mengkonfigurasi disk pada jaringan area penyimpanan (SAN) menjadi dua set terpisah drive logis.Beberapa pertimbangan untuk ukuran server database dari data warehouse adalah sebagai berikut:
o Jumlah dan kompleksitas dari laporan, aplikasi, dan langsung query
memukul DDS: Faktor utama yang menentukan spesifikasi server
database adalah beban kerja dari aplikasi query.DDS adalah pengguna menghadap ke database.
o Apakah kita mengambil ELT atau ETL pendekatan dalam mengisi NDS / ODS: Sebuah pendekatan ELT load data ke server database dalam
format baku (dengan kata lain, sama seperti format sistem sumber) dan kemudian menggunakan kekuatan server database untuk mengubah data ke dalam format NDS atau ODS dalam operasi berbasis set melalui prosedur yang tersimpan
o Perhitungan dari panggung untuk NDS/ BPO dan kompleksitas aturan
firewall: Jika proses ini berjalan di terpisah ETL server, maka mereka
jangan mempengaruhi database server ukuran.
o Bagaimana menyimpan data secara fisik dirancang( pengindeksan,
partisi, dan sebagainya): Data fisik- dasar desain mempengaruhi
database konfigurasi server karena jika kita memanfaatkan fisik tertentu fitur database.
SQL Server yang tersedia dalam enam edisi: Express, Evaluasi, Pengembang, Workgroup, Stan- dard, dan Enterprise. empat pertama adalah untuk percobaan, pengembangan, dan aplikasi kecil. Untuk data kelas enterprise solusi pergudangan di lingkungan produksi seperti di Amadeus Hiburan studi kasus, secara praktis kita dapat menggunakan hanya dua terakhir, Standard Edi- tion atau Enterprise Edition. SQL Server Standard Edition mendukung empat CPU dan tak terbatas RAM. Kemampuan ini sesuai dengan Amadeus Hiburan studi kasus. Tapi karena ketersediaan tinggi dan persyaratan kinerja, untuk Amadeus Hiburan studi kasus kita perlu SQL Server Enterprise Edition. Alasan utama adalah bahwa fitur berikut tidak tersedia di Edisi Standar:
o Tabel dan indeks partisi: Fitur-fitur ini memungkinkan kita untuk secara fisik membagi meja ke dalam potongan yang lebih kecil bahwa kita dapat memuat dan permintaan secara terpisah.
o Laporan Server penyebaran skala-out: Ini berarti kita dapat
menjalankan Reporting Services pada multi server web ple, semua mengakses database layanan pelaporan yang sama di SQL Server yang sama.
o Analisis Layanan dipartisi kubus: Fitur ini memungkinkan kita untuk membagi sebuah kubus ke dalam potongan yang lebih kecil bahwa kita dapat memuat dan query secara terpisah.
o Semiadditive aggregate functions: These are functions that work with measures that can be summed up in some dimensions but not in other dimensions.
Kita perlu berurusan dengan lisensi. Secara umum, ada dua SQL Server model lisensi:
o Per- prosesor lisensi: Kami membeli lisensi untuk setiap prosesor di server. Tidak peduli berapa banyak pengguna yang kita miliki.
o Server + lisensi CAL: Kami membeli lisensi untuk server dan lisensi akses klien (CAL) untuk setiap klien mengakses server.
Pertimbangan penyimpanan
Database lain akan menciptakan adalah metadata. Hal ini tidak besar, mungkin 10 20GB. Allo- cating 50GB akan cukup. ini diperkirakan berdasarkan isi dari metadata database. The metadata database toko tujuh jenis metadata: definisi data dan pemetaan metadata, struktur data metadata, sistem sumber metadata, ETL proses metadata, kualitas data metadata, audit metadata, dan penggunaan metadata.
Sebuah volume sistem berkas digunakan untuk ETL penyimpanan sementara, mungkin 20 persen menjadi 30 persen dari ukuran data volume, dalam RAID 5. Persentase ini ditentukan berdasarkan sumber mana tabel sistem akan perlu untuk dipentaskan di file daripada dalam database.Kami juga perlu membuat sebuah kuorum volume untuk mendukung cluster failover, pada tingkat RAID 1. Quorum volume drive dapat diakses oleh setiap node di cluster. Hal ini digunakan untuk arbitrase antara node cluster dan untuk menyimpan data yang digunakan untuk pemulihan setelah komunikasi gagal- ure dalam cluster.
Konfigurasi Databases
Sekarang kami telah merancang database, mari kita membuat mereka dalam SQL Server. Berikut adalah beberapa poin yang Anda mungkin ingin mempertimbangkan saat membuat database. Mari kita mengambil studi kasus tainment Amadeus masukkan-sebagai contoh dalam poin ini:
o Menjaga nama database pendek dan ringkas. DDS, NDS, Stage, dan Meta akan melakukan.
o Menjaga pengumpulan semua data warehouse database yang sama, sebaiknya sesuai standar instalasi SQL Server perusahaan ditentukan oleh SQL Server DBA.
o Pertimbangkan sensitivitas kasus yang sangat hati-hati. Hasil query akan berbeda tergantung pada sensitivitas kasus.
o Mengatur file data untuk mendukung sebelumnya filegroup pengaturan, yang berarti bahwa saat membuat database, tempat file data sesuai filegroup lokasi.
o Ukuran file log tergantung pada ukuran beban harian, model pemulihan, dan metode pembebanan (ETL atau ELT, panggung atau tidak tahap.
o Untuk database metadata, kita perlu mengatur modus pemulihan penuh. Kualitas data dan aplikasi front-end juga akan menulis ke metadata.
Untuk tahap database, kami tidak perlu otomatis memperbarui statistik karena kita bukan usu- sekutu indeks tabel. Kami masih ingin sederhana model pemulihan, dan kami masih tidak perlu autoshrink untuk tahap database. Ingatlah untuk menempatkan tahap file log pada disk yang berbeda dari NDS dan DDS log, ini adalah penting bagi ETL kinerja karena meminimalkan pertentangan dari log lalu lintas antara menyimpan data. Ingatlah untuk mengatur modus pemulihan penuh untuk database metadata. Karena ukuran database metadata kecil dan karena cara kita menggunakan database metadata lebih seperti query tipe OLTP dari query data warehouse
Membuat DDS Struktur Database
Setelah kami menciptakan database, kami sekarang dapat membuat tabel berdasarkan desain logis bahwa kita dibuat dalam bab sebelumnya. Mari kita mulai dengan DDS. Ini memiliki lima tabel fakta dan empat belas dimensi. Mari kita melakukan penjualan produk tabel fakta terlebih dahulu. Kami akan melakukan empat dimensi yang menggunakan pertama dan kemudian tabel fakta. Kami didefinisikan keempat tabel dimensi di bab sebelumnya. Jadi, buka SQL Server 2005 Manajemen Studio, terhubung ke pengembangan Anda contoh SQL Server, dan mulai menciptakan tabel. Anda dapat menggunakan Manajemen Studio sudut- dan- klik fungsi tionality jika Anda inginkan, atau Anda dapat script itu.
Membuat normalisasi penyimpanan data
NDS adalah sedikit berbeda dari DDS. Perbedaan utama adalah normalisasi. Dalam beberapa halaman berikutnya, saya akan membahas tabel pada Gambar 6-2 dan cara membuat mereka secara fisik. Saya juga akan membahas bagaimana mengatur tabel di filegroups berbeda terletak pada disk yang berbeda.
Tabel di NDS dapat dikategorikan menjadi tiga kelompok: tabel transaksi, tabel master dan tabel atribut. Tabel transaksi berisi acara bisnis dan berasal dari tabel fakta DDS. Tabel Guru mengandung badan usaha dan berasal dari DDS tabel dimensi. Atribut tabel berisi atribut entitas bisnis dan berasal dari dimensi atribut kolom. Sebagai contoh, mari kita membahas tiga meja di bagian bawah diagram:
o communication_subscription: Tabel communication_subscription adalah tabel transaksi. Itu berasal dari Komunikasi Langganan fakta meja di DDS. Ini berisi acara bisnis ketika seorang pelanggan berlangganan surat kabar.
o communication: Tabel komunikasi adalah tabel master. Itu berasal dari dimensi komunikasi di DDS. Ini berisi badan usaha.
o Language: Tabel bahasa adalah tabel atribut. Dalam DDS, bahasa
adalah kolom (atribut) dalam dimensi komunikasi. Karena di NDS kita perlu untuk menormalkan tabel, kita harus menempatkan bahasa dalam tabel sendiri. Hal ini diperlukan untuk menghilangkan redundansi data.
Tabel Ringkasan
Dari banyak hal yang dapat meningkatkan data warehouse kinerja, tabel ringkasan adalah di bagian paling atas daftar.( Yang kedua adalah tabel partisi, dan ketiga adalah pengindeksan.) Hal ini karena data yang pengguna butuhkan adalah sudah precalculated. Kami akan membahas tiga hal satu per satu di tiga bagian utama.
Partisi
Ada dua jenis partisi: partisi vertikal dan horisontal partisi. Partisi vertikal membelah tabel vertikal menjadi beberapa tabel yang lebih kecil, dengan masing-masing tabel yang berisi beberapa kolom dari tabel asli. Partisi horizontal membelah tabel Horizontal menjadi beberapa tabel yang lebih kecil, dengan masing-masing tabel yang berisi beberapa baris dari tabel asli. Pada bagian ini, saya sedang berbicara tentang partisi horisontal, bukan partisi vertikal.
Dalam DDS, kita memiliki tabel fakta dan kita memiliki tabel dimensi. Mereka membutuhkan pengindeksan yang berbeda dan kunci primer. Saya akan membahas tabel dimensi pertama dan kemudian tabel fakta. Setiap tabel dimensi memiliki kolom kunci pengganti. Ini adalah (1,1) kolom identitas, dan nilai-nilai yang unik. Kami membuat ini kolom kunci pengganti kunci utama dari tabel dimensi. Kami juga membuat kolom kunci pengganti clustered index dari tabel dimensi.
Kesimpulan
Desain database adalah landasan dari data warehousing. Kami akan membangun ETL dan aplikasi pada yayasan ini, jadi kami harus bisa melakukannya dengan benar. Dalam bab ini, kita membahas rincian dari platform perangkat keras dan sistem arsitektur, perhitungan ruang disk, pembuatan database, dan meja dan melihat penciptaan.
Kami juga bahas tiga faktor yang dapat meningkatkan kinerja data warehouse: tabel ringkasan, partisi, dan pengindeksan. Kita perlu memastikan bahwa mereka diatur dengan benar dari awal, ketika kita membuat database.
