vi
DAFTAR ISI
DISERTASI ... i
HALAMAN PENGESAHAN ... ii
PERNYATAAN ... iii
HALAMAN MOTO DAN PERSEMBAHAN ... iv
PRAKATA ... v
DAFTAR ISI ... vi
DAFTAR GAMBAR ... xi
DAFTAR TABEL ... xv
INTISARI ... xviii
ABSTRACT ... xx
BAB I PENDAHULUAN ... 1
1.1 Latar Belakang ... 1
1.2 Perumusan Masalah ... 6
1.2 Tujuan Penelitian ... 7
1.3 Batasan Penelitian ... 8
1.4 Kontribusi Penelitian ... 8
1.5 Struktur Disertasi ... 12
BAB II TINJAUAN PUSTAKA ... 13
2.1 Model dan Arsitektur Alokasi Sumber Daya ... 13
2.2 Strategi Alokasi Sumber Daya ... 16
2.3 Metode Alokasi Sumber Daya ... 20
BAB III LANDASAN TEORI ... 25
3.1 Pusat Data ... 25
3.2 Komponen Pusat Data ... 28
3.3 Dedicated dan Dynamic Strategies ... 31
3.4 Alokasi Sumber Daya Dinamis ... 33
3.5 Model Batch dan Online ... 35
3.5.1 Batch ... 35
3.5.2 Online dan Realtime ... 37
3.6 Metadata ... 37
3.7 Kriteria Volume, Variety, Velocity dan Veracity ... 40
3.8 File Information Tool Set (FITS) ... 42
3.9 Metode Match-Aggregate-Pipeline ... 46
3.10 XenServer ... 47
3.11 Parameter Kinerja Pusat Data ... 49
3.12 Live Migration pada KVM dan OpenVZ ... 51
3.12.1 KVM (Kernel Based Virtual Machine) ... 51
3.12.2 OpenVZ (Container Virtualization) ... 52
3.12.3 Distributed Replicated Block Device (DRBD) ... 55
BAB IV METODE PENELITIAN ... 58
4.1 Tahapan Penelitian ... 58
4.2 Pemetaan Penelitian ... 59
4.3 Pengumpulan Data dan Alat ... 61
4.4 Identifikasi Masalah Penelitian ... 64
4.5 Metode Self-Assignment Data Management ... 66
4.6 Pengaturan Komponen dan Workflow Pusat Data ... 73
4.6.1 Komponen dan Workflow ... 73
4.6.2 Pengujian Kinerja Sumber Daya Pusat Data ... 75
4.7 Kinerja Pusat Data pada Migrasi VM ... 77
4.7.1 Migrasi VM ... 77
4.7.2 Pengujian Kinerja pada Migrasi VM ... 78
4.8 Evaluasi dan Perbandingan Metode dan Arsitektur ... 80
4.8.1 Evaluasi pada Metadata ... 80
4.8.2 Evaluasi Pada Kinerja Pusat Data ... 82
4.8.3 Evaluasi Pada Arsitektur Grid-LIPI dan VSC-Univie. ... 83
viii
BAB V IDENTIFIKASI TASK/JOB DENGAN SELF-ASSIGNMENT DATA
MANAGEMENT ... 84
5.1 Identifikasi Karakteristik Task ... 84
5.2 Proses Identifikasi Karakteristik Task ... 84
5.2.1 Proses Ekstraksi ... 85
5.2.2 Identifikasi Metadata dengan Match ... 90
5.2.3 Analisis dengan Aggregate ... 91
5.2.4 Pengelompokan dengan Pipeline ... 92
BAB VI KINERJA SUMBER DAYA PUSAT DATA PADA DEDICATED DAN DYNAMIC RESOURCE ALLOCATION ... 95
6.1 Lingkungan Pusat Data ... 95
6.1.1 Arsitektur Pusat Data ... 95
6.1.2 Manajemen dan Alokasi Sumber Daya ... 102
6.2 Pengaturan Workflow ... 104
6.2.1 Task Management (TM) ... 106
6.2.2 Resource Capacity Management (RCM) ... 106
6.2.3 Komunikasi dan Transisi ... 107
6.2.4 Interaksi ... 110
6.3 Analisis Kinerja Alokasi Sumber Daya pada CPU Index ... 117
6.3.1 Dedicated Resource Allocation ... 117
Metode FIFO ... 117
Metode SADM (4V) ... 119
6.3.2 Dynamic Resource Allocation ... 120
Metode FIFO ... 120
Metode SADM (4V) ... 122
6.3.3 Analisis Load Index ... 123
6.4 Analisis Kinerja Alokasi Sumber Daya pada Memory Usage ... 124
6.4.1 Dedicated Resource Allocation ... 125
Metode FIFO ... 125
Metode SADM ... 127
6.4.2 Dynamic Resource Allocation ... 129
Metode FIFO ... 129
Metode SADM ... 131
6.4.3 Analisis Pada Memory Usage ... 133
6.5 Analisis Kinerja pada Million Instruction Per Second (MIPS) ... 134
6.6 Analisis Kinerja Berdasar Topology ... 136
6.6.1 Dedicated Resource Allocation ... 136
6.6.2 Dynamic Resource Allocation ... 138
6.7 Analisis Komparasi Dedicated dan Dynamic Resource Allocation ... 141
BAB VII KINERJA SUMBER DAYA PUSAT DATA PADA BEBAN PUNCAK ... 146
7.1 Migrasi Virtual Machine dengan Shared Storage ... 146
7.2 Tahapan Pengujian ... 147
7.3 Analisis Kinerja pada Migrasi VM ... 150
7.3.1 Migrasi VM dengan OpenVZ & KVM ... 150
7.3.2 Pengiriman Dokumen ... 154
7.3.3 Throughput ... 155
7.3.4 Analisis Kinerja ... 156
BAB VIII EVALUASI ... 158
8.1 Evaluasi Terhadap Identifikasi Karakteristik Task ... 158
8.1.1 Hasil Identifikasi Metadata dengan FITS ... 159
8.1.2 Evaluasi Hasil Matching-Aggregate-Pipeline dan MapReduce ... 165
8.1.3 Analisis Hasil Identifikasi Task ... 169
8.2 Evaluasi dengan Arsitektur Grid-LIPI dan VSC-02 ... 169
8.2.1 CPU Index ... 169
8.2.2 Memory Usage ... 172
8.2.3 Perbandingan MIPS ... 174
8.3 Evaluasi pada Kinerja Beban Puncak ... 177
8.3.1 Analisis Pada Migration & Delivery Time ... 177
8.3.2 Analisis Pada Performance Kecepatan Disk dan Networks. ... 179
x
BAB IX KESIMPULAN DAN SARAN ... 183
9.1 Kesimpulan ... 183
9.2 Saran ... 186
DAFTAR PUSTAKA ... 187
LAMPIRAN ... 199
Lampiran 1 Daftar File Penelitian ... 199
Lampiran 2 Implementasi pada Data Management ... 217
2.1 Implementasi Ekstraksi ... 217
2.2 XML ke Array ... 219
2.3 Implementasi Match-Aggregate-Pipeline ... 221
2.4 Implementasi Basis Data di MongoDB ... 223
2.5 Implementasi Menampilkan Parameter 4V ... 226
2.6 XML Output ... 228
Lampiran 3. ... 230
Lampiran 4 ... 234
DAFTAR GAMBAR
Gambar 3.1 Struktur Hirarki Data Center (Teng, 2012) ... 29
Gambar 3.2 Alur Kerja Tools FITS (File Informatioan Tools Set) ... 43
Gambar 3.3 Konsep penggunaan Agregation Pipeline (MongoDB) ... 47
Gambar 3.4 Posisi DRBD pada Sistem Linux (Cheng, 2014) ... 56
Gambar 4.1 Tahapan Penelitian ... 58
Gambar 4.2 Ilustrasi Pada Alokasi Sumber Daya ... 65
Gambar 4.3 Proses Self-Assignment Data Management ... 68
Gambar 4.4 Alur Kerja Alokasi Sumber Daya ... 74
Gambar 4.5 Skema Pengujian ... 77
Gambar 4.6 Penggunaan Metadata pada Identifikasi & Proses Task ... 80
Gambar 4.7 Skema Pengujian Pada Identifikasi Metadata ... 81
Gambar 5.1 Proses Ektraksi pada Self-Assignment Data Management ... 86
Gambar 5.3 Proses Analisis dengan Aggregate ... 92
Gambar 5.4 Proses Pipeline untuk Struktur Metadata ... 93
Gambar 6.1 Arsitektur Pusat Data pada GamaCloud ... 97
Gambar 6.2 VSC-02 Network dan Konfigurasi (http://vsc.ac.at) ... 101
Gambar 6.3a Mekanisme Komunikasi (Yu, 2010) ... 107
Gambar 6.3b Komunikasi Entitas SADM ... 108
Gambar 6.4 Transisi dari Task Management-Inisiasi (Adaptasi dari Yu, 2010) . 109 Gambar 6.5 Transisi Pada Task (Adaptasi dari Yu, 2010) ... 110
Gambar 6.6a Interaksi pada Yu (2010) ... 111
Gambar 6.6b Interaksi antar Komponen Pusat Data ... 112
Gambar 6.7 Load Index pada Load dengan Metode FIFO Pada Dedicated Resource Allocation ... 117
Gambar 6.8 Perbandingan Load Index Master dan Resource dengan Metode FIFO Pada Dedicated Resource Allocation. ... 118
Gambar 6.9 Load Index dengan Metode SADM pada Dedicated Resource Allocation ... 119
Gambar 6.10 Perbandingan Load Index Master dan Resource Node dengan Metode SADM pada Dedicated Resource Allocation. ... 119
Gambar 6.11 Load Index Master dan Resource Node dengan Metode FIFO Pada Dynamic Resource Allocation. ... 121
xii
Gambar 6.12 Persentase Load Index Master dan Resource Node dengan Metode
FIFO pada Dynamic Resource Allocation. ... 122
Gambar 6.13 Load Index Master dan Resource Node dengan Metode SADM pada Dynamic Resource Allocation. ... 122
Gambar 6.14 Persentase Kinerja Master dan Resource Node pada Alokasi Sumber Daya 4V. ... 123
Gambar 6.15 Penggunaan Memory dengan Metode FIFO pada Dedicated Resource Allocation. ... 125
Gambar 6.16 Memory Usage Master dan Resource Node dengan Metode FIFO pada Dedicated Resource Allocation. ... 126
Gambar 6.17 Penggunaan Memory terhadap Performance Index dengan Metode FIFO Pada Dedicated Resource Allocation. ... 126
Gambar 6.18 Penggunaan Memory dengan metode SADM pada Dedicated Resource Allocation. ... 127
Gambar 6.19 Persentase Usage Memory terhadap Load pada SADM Dedicated Resource Allocation antara Master dan Resource Pool ... 128
Gambar 6.20 Penggunaan Memory terhadap Performance Index SADM Dedicated Resource Allocation ... 128
Gambar 6.21. Penggunaan Memory dengan Metode FIFO pada Dynamic Resource Allocation. ... 129
Gambar 6.22 Persentase Memory Usage pada Master dan Resource Node dengan Metode FIFO pada Dynamic Resource Allocation. ... 130
Gambar 6.23 Penggunaan Memory terhadap Performance Index dengan Metode FIFO Dynamic Resource Allocation ... 130
Gambar 6.24 Persentase Usage Memory dengan Metode SADM pada Dynamic Resource Allocation. ... 131
Gambar 6.25 Persentase Usage Memory dengan Metode SADM Pada Dynamic Resource Allocation. ... 132
Gambar 6.26 Penggunaan Memory terhadap Performance Index dengan SADM pada Dynamic Resource Allocation. ... 132
Gambar 6.27 Perbandingan Kinerja pada MIPS skor ... 135
Gambar 6.28 CPU Score pada Topologi Dedicated Resource Allocation. ... 137
Gambar 6.29 CPU Score pada Dynamic Resource Allocation berdasar Topologi ... 139
Gambar 6.30 Perbandingan Kinerja pada CPU Index ... 141
Gambar 6.31 Perbandingan Nilai Mean Memory Usage ... 143
Gambar 6.32 Perbandingan Score CPU Index ... 143
Gambar 6.33 Perbandingan CPU Score berdasarkan Topologi ... 144
Gambar 6.34 Perbandingan Memory Usage berdasarkan Topologi ... 145
Gambar 7.1 Waktu Migrasi OpenVZ dan KVM ... 152
Gambar 7.2 Perbandingan Packet Loss pada OpenVZ dan KVM ... 153
Gambar 8.1 Perbandingan Persentase Tingkat Kemunculan Hasil Ektraksi Metadata ... 164
Gambar 8.2 Match-Aggregate-Pipeline dan MapReduce pada Document ... 166
Gambar 8.3 Match-Aggregate-Pipeline dan MapReduce pada Image ... 167
Gambar 8.4 Match-Aggregate-Pipeline dan MapReduce pada Audio ... 168
Gambar 8.5 Match-Aggregate-Pipeline dan MapReduce pada Video ... 168
Gambar 8.6 Perbandingan Indek Kinerja CPU pada Arsitektur GamaCloud, Grid- LIPI dan VSC-02 ... 170
Gambar 8.7 Memory Usage Berdasarkan Arsitektur ... 173
Gambar 8.8 Perbandingan MIPS Pada Arsitektur GamaCloud, Grid-LIPI dan VSC-02 ... 175
Gambar 8.9 Persebaran MIPS dengan Eksekusi Load ... 176
Gambar 8.10 Perbandingan Antar Metode untuk Migration Time ... 177
Gambar 8.11 Perbandingan antar Metode untuk Packet Loss ... 178
Gambar 8.12 Hasil Pengujian Perbandingan antar Metode untuk Delivery Time – Tanpa Migrasi ... 178
Gambar 8.13 Hasil Pengujian Perbandingan antar Metode untuk Delivery Time – Dengan Migrasi ... 179
Gambar 8.14 Perbandingan pada Block Size 2000 ... 181
Gambar 8.15 Perbandingan Networks dengan Shared Storage pada Block Size 200.000. ... 181
Gambar 8.16 Perbandingan Networks pada Block Size 2.000 dan 200.000 ... 182
Gambar 9.1 Data Management Apps. ... 217
Gambar 9.2 Cuplikan Kode Proses Ekstraksi Metadata ... 218
Gambar 9.3 Contoh Keluaran XML Hasil Ekstraksi oleh FITS ... 219
Gambar 9.4 Proses XMLparser kedalam bentuk Array ... 220
Gambar 9.5 Source code Implementasi Metode Agregate pipeline. ... 222
Gambar 9.6 Source code reformat metadata ke dalam bentuk parameter Big Data ... 223
Gambar 9.7 Source Code mendapatkan parameter Big Data ... 227
xiv
Gambar 9.8 Query get Metdata ... 227
Gambar 9.9 DomDocument ... 227
Gambar 9.10 Struktur XML Metadata ... 228
Gambar 9.11 XML BigData ... 229
DAFTAR TABEL
Tabel 1.1 Keterkaitan Rumusan Masalah, Masalah Penelitian, Tujuan Penelitian
dan Kontribusi ... 9
Tabel 2.1 Model dan Arsitektur Alokasi Sumber Daya ... 15
Tabel 2.2 Perbandingan Penelitian Stratregi Alokasi Sumber Daya ... 23
Tabel 3.1 File Type ... 38
Tabel 3.2 Definisi Parameter Big Data ... 41
Tabel 3.3 Objek Parameter pada Elemen File Info ... 44
Tabel 3.4 Objek Parameter pada elemen file status ... 44
Tabel 3.5 Objek Parameter pada elemen Metadata di setiap Jenis file ... 45
Tabel 3.5 Objek Parameter pada elemen Metadata di setiap Jenis file (Lanjutan) 46 Tabel 4.1 Pendekatan Alokasi Sumber Daya ... 59
Tabel 4.1 Pendekatan Alokasi Sumber Daya (Lanjutan) ... 60
Tabel 4.1 Pendekatan Alokasi Sumber Daya (Lanjutan) ... 61
Tabel 4.2 Profil Data Penelitian ... 62
Tabel 4.3 Spesifikasi Perangkat Keras ... 62
Tabel 4.4. Perangkat Lunak Penelitian ... 62
Tabel 4.4. Perangkat Lunak Penelitian (Lanjutan) ... 63
Tabel 4.5. Spesifikasi Grid-LIPI (grid.lipi.go.id) ... 63
Tabel 4.6. Spesifikasi VSC-2 ... 64
Tabel 4.7 Objek Parameter pada Elemen File Info ... 69
Tabel 4.7 Objek Parameter pada Elemen File Info (Lanjutan) ... 70
Tabel 4.8 Objek Parameter pada elemen file status ... 70
Tabel 4.9 Objek Parameter pada elemen Metadata di setiap Jenis file ... 71
Tabel 4.10 Parameter Evaluasi ... 83
Tabel 5.1 Kemunculan Pada Dokumen ... 87
Tabel 5.2 Kemunculan pada Image ... 88
Tabel 5.3 Kemunculan Pada Audio ... 89
Tabel 5.4 Kemunculan Pada Video ... 90
Tabel 5.5 Klasifikasi Berbasis Volume ... 93
Tabel 5.6 Klasifikasi Berbasis Variety ... 94
xvi
Tabel 5.7 Klasifikasi Berbasis Velocity ... 94
Tabel 5.8 Klasifikasi Berbasis Veracity ... 94
Tabel 6.1 Komponen dan Spesifikasi Grid-LIPI (http://grid.lipi.go.id) ... 98
Tabel 6.2 Komponen dan Spesifikasi VSC-2 (http://vsc.ac.at) ... 99
Tabel 6.2 Komponen dan Spesifikasi VSC-2 (http://vsc.ac.at) Lanjutan ... 100
Tabel 6.3 Perubahan Kinerja pada Dedicated Resource Allocation ... 120
Tabel 6.4 Perubahan Kinerja pada Dedicated Resource Allocation ... 123
Tabel 6.5 Rata-rata CPU Index pada Dedycated Resource Allocation berdasarkan Topologi ... 137
Tabel 6.6 Memory Usage Dedicated Resource Allocation berdasar Topologi ... 138
Tabel 6.7 CPU Score Dynamic Resource Allocation berdasar Topologi ... 139
Tabel 6.8 Memory Usage Dedycated Resource Allocation berdasar Topologi .. 140
Tabel 6.9 Variance dan Median pada Indek Kinerja ... 142
Tabel 6.10 Nilai Mean, Variance dan Median Memory Usage ... 142
Tabel 7.1 Hasil Migrasi & Packet Loss ... 150
Tabel 7.1 Hasil Migrasi & Packet Loss (Lanjutan) ... 151
Tabel 7.2 Hasil pengujian pengiriman berkas menggunakan sftp ... 154
Tabel 7.3 Hasil Pengujian Performa Jaringan ... 155
Tabel 7.4 Hasil Pengujian Performa Disk tanpa Shared Storage ... 156
Tabel 7.5 Hasil Pengujian Performa Disk dengan Shared Storage ... 156
Tabel 8.1 Komposisi Data berdasarkan Jenis ... 159
Tabel 8.2 Frekuensi Metadata Teridentifikasi Pada Document ... 160
Tabel 8.3 Frekuensi Metadata Teridentifikasi Pada Image ... 161
Tabel 8.4 Frekuensi Metadata Teridentifikasi Pada Audio ... 162
Tabel 8.5 Frekuensi Metadata Teridentifikasi Pada Video ... 163
Tabel 8.6 Perbandingan antar Metode Ektraksi dengan Jenis Dokumen (dalam %) ... 164
Tabel 8.7 Hasil Proses Match-Aggregate-Pipeline yang dibandingkan dengan Map & Reduce ... 165
Tabel 8.8 Perbandingan Statistik Kinerja CPU Index pada GamaCloud, Grid-LIPI dan VSC-02 ... 171
Tabel 8.9 Statistik Memory Usage Pada Arsitektur GamaCloud, Grid-LIPI dan VSC-02 ... 174 Tabel 8.10 Statistik MIPS Pada Arsitektur GamaCloud, Grid-LIPI dan VSC-02
... 174
Tabel 8.11 Perbandingan Pada Performance Disk dan Networks ... 180
Tabel 9.1 Tabel Collection Meta_Collab ... 224
Tabel 9.2 Tabel Collection Users ... 225
Tabel 9.3 Tabel Collection Match ... 225
Tabel 9.4 Tabel Collection Big Data ... 226
Tabel 10.1 Kinerja Penggunaan Kapasitas Memory ... 230
Tabel 10.1 Kinerja Penggunaan Kapasitas Memory (Lanjutan) ... 231
Tabel 10.1 Kinerja Penggunaan Kapasitas Memory (Lanjutan) ... 232
Tabel 10.1 Kinerja Penggunaan Kapasitas Memory (Lanjutan) ... 233
Tabel 10.2 Kinerja Pada MIPS Score ... 234
Tabel 10.2 Kinerja Pada MIPS Score (Lanjutan) ... 235
Tabel 10.2 Kinerja Pada MIPS Score (Lanjutan) ... 236
Tabel 10.2 Kinerja Pada MIPS Score (Lanjutan) ... 237
