Dr. Yulius Denny Prabowo, S.Kom.,M.T.I (D6806) and sent to Department on October 02, 2023
Page 1 of 3 Verified by,
BINUS University
Academic Career:
Undergraduate / Master / Doctoral *)
Class Program:
International / Regular / Smart Program / Global Class / BINUS Online Learning *)
Mid Exam Compact Term Exam Final Exam Others Exam :
Term : Odd / Even / Compact *) Period (Only for BOL) : 1 / 2 *)
Kemanggisan Senayan Semarang
Alam Sutera Bandung
Bekasi Malang
Academic Year :
2023 / 2024
Exam Type* : Onsite / Online Faculty / Dept. : BINUS Online /
Computer Science Day / Date** : Monday – Monday/Oct 30 – Nov 06, 2023 Code - Course : COMP6725036 – Big
Data Technologies
Time** : 00:00 – 12:00 WIB Code - Lecturer : Lecturer Team
Exam : Open Book Open Notes
Specification*** Close Book Submit Project Open E-Book Oral Test
BULC (Only for BOL) : Bandung, Bekasi, Jakarta, Malang, Palembang, Semarang
Class : MEFE; MMEE; MNEE;
MKBE; MGDE; MGCE;
EMCB; EMCA Equipment*** :
Exam Booklet Laptop Drawing Paper – A3
Calculator Tablet Drawing Paper – A2
Dictionary Smartphone Notes
Student ID *** :
Name *** :
Signature *** :
◻) Strikethrough the unnecessary items **) For Online Exam, this is the due date ***) Only for Onsite Exam
Please insert the test paper into the exam booklet and submit both papers after the test.
The penalty for CHEATING is DROP OUT!
No Daftar Pertanyaan Bobot
1 Dalam ruang lingkup data ingestion, data diinput menggunakan beberapa macam pattern dan tujuan untuk menyelesaikan masalah dalam tahapan tersebut. Sebutkan 5 macam pattern tersebut!
20
2 Tuliskan keunggulan HDFS pada Hadoop Storage Layer 20
3 Sebuah kampus swasta terbaik di Indonesia membangun sebuah sistem untuk membantu meningkatkan prosentase kelulusan mahasiswanya dengan target 100%. Sistem tersebut akan bekerja secara terintegrasi untuk membantu manajemen dan mahasiswa selama proses perkuliahan. Diawal mahasiswa melakukan pendaftaran, universitas dapat memberikan rekomendasi jurusan yang sesuai dengan minat, nilai raport dan kemampuan finansial wali/mahasiswa. Saat proses krs, setiap mahasiswa mendapat masukan tingkat keberhasilan pengambilan matakuliah yang dipilih. Proses pembimbingan akademik mahasiswa dibagi
20
berdasarkan hasil belajar pada semester sebelumnya. Dan pada transkrip mahasiswa tersebut dilengkapi dengan ringkasan hasil belajar mahasiswa, bukan hanya berupa nilai dan IPK.
Untuk membangun sistem tersebut, rancanglah analisis Big Data yang akan dibangun, berdasarkan:
a. Jenis Analisis apa yang digunakan?
b. Tipe analisis apa yang digunakan?
c. Komputasi apa yang bisa digunakan?
d. Mode analisis apa yang dipilih?
e. Data Connector apa yang cocok?
f. Teknik Analisis apa yang dipakai?
g. Pola Analisis apa yang cocok?
4 Pemerintah Indonesia melalui Kementerian Kesehatan (Kemenkes) memutuskan ingin membuat kebijakan- kebijakan strategis terkait masalah kesehatan di tiap-tiap provinsi di Indonesia jika dikaitkan dengan rata- rata pendapatan warga di provinsi tersebut. Untuk tahap awal, pemerintah akan melihat data secara visual dengan berpedoman terhadap tiga faktor saja, yakni rata-rata pendapatan, indeks kesehatan, dan jumlah penduduk per provinsi. Sedangkan data yang digunakan pada tahap awal ini adalah untuk provinsi-provinsi di pulau Jawa pada tahun 2022. Detail data dapat dilihat pada tabel di bawah ini.
a. Sebutkan jenis teknik data visualization apa yang cocok untuk digunakan dalam memenuhi kriteria kasus di atas! Jelaskan juga mengapa Anda memilih teknik tersebut!
b. Tool apa yang bisa digunakan untuk memvisualisasikan data tersebut?
c. Buatlah contoh real hasil visualisasi data dari kasus di atas pada tahun 2022 tersebut! Tidak ada batasan tool yang digunakan untuk pembuatan contoh visual ini.
d. Menurut Anda, keputusan/kebijakan apa yang dapat diambil setelah Kemenkes melakukan visualisasi data? Sebutkan dan jelaskan minimal tiga (3) poin! Anda dipersilakan untuk berasumsi berdasarkan case di atas.
20
5 Anda bekerja disalah satu Perusahaan marketplace. Perusahaan marketplace ini harus mengatur platform mereka agar sesuai dengan keinginan customer dan penjual. Perusahaan marketplace ingin
mengimplementasikan big data untuk memecahkan permasalahan di website mereka seperti rekomendasi produk, pemilihan diskon, dan lain-lain. Buatlah suatu sistem big data yang bisa menyelesaikan
permasalahan di marketplace.
A. Jelaskan problem permasalahan dan tujuan akhir dari sistem yang dibuat B. Sebutkan input yang dibutuhkan sistem
C. Gambarkan dan jelaskan analytics flow yang dapat memecahkan permasalahan dari sistem
20 Provinsi
Indeks Kesehatan
Rata-rata Pendapatan (Per
Bulan)
Jumlah Penduduk
DKI Jakarta 97 24.863.000 10.640.000
Banten 80 5.082.500 12.500.000
Jawa Barat 82 4.086.500 48.038.000
Jawa Tengah 78 3.512.400 34.258.000
DI Yogyakarta 65 3.670.300 3.762.000
Jawa Timur 90 5.530.000 39.293.000
Dr. Yulius Denny Prabowo, S.Kom.,M.T.I (D6806) and sent to Department on October 02, 2023
Page 3 of 3 Verified by,
JAWABAN
Berikut contoh untuk weather data analysis sesuai di ppt big data case study hal 12
D. Jelaskan insight yang diperoleh setelah melalui seluruh analytics flow serta jelaskan tindakan apa yang dapat dilakukan untuk menindaklanjuti insight yg diperoleh.
1. Terdapat 5 pola atau pattern dalam ruang lingkup data ingestion yang digunakan untuk mengambil, memproses dan memasukkan data ke dalam system:
a. Batch Processing
Pola ini melibatkan pengumpulan dan pemrosesan data dalam jumlah besar dengan interval waktu tertentu, seperti: harian, mingguan, atau bulanan. Data diambil dalam batch dan kemudian diolah secara bersamaan.
Contohnya: ETL (Extract, Transform, Load) proses yang dilakukan secara batch untuk mengambil data dari berbagai sumber dan memasukkannya ke dalam data warehouse.
b. Real-time Streaming
Pola ini melibatkan pengambilan dan pengolahan data secara kontinu atau real-time saat data dihasilkan. Data diambil dan diproses secara segera setelah tersedia.
Contohnya: Pengambilan data sensor, log aktivitas, atau data perubahan yang harus segera diolah.
c. Change Data Capture (CDC)
Pola ini digunakan untuk mengidentifikasi dan menangkap perubahan dalam data yang telah ada. Data yang berubah atau diperbarui di identifikasi dan kemudian diproses untuk disimpan dalam sistem target. Hal tersebut berguna dalam situasi di mana perlu memantau perubahan dalam data yang ada secara efisien.
d. Log-Based Ingestion
Pola ini melibatkan pengambilan data dari log atau catatan peristiwa (event logs) yang dibuat oleh sistem atau aplikasi. Data log sering digunakan untuk melacak aktivitas dan perubahan dalam sistem, dan ini dapat menjadi sumber informasi berharga untuk analisis.
e. File-Based Ingestion
Pola ini melibatkan pengambilan data dari file atau dokumen, seperti CSV, Excel, XML, JSON, dan lainnya. Data dari file tersebut kemudian diimpor ke dalam sistem.
Pola ini berguna ketika data tersedia dalam format file yang perlu diolah dan dimuat ke dalam database atau sistem lainnya.
2. Hadoop Distributed File System (HDFS) merupakan komponen penting dalam ekosistem Hadoop dirancang khusus untuk mengatasi kebutuhan penyimpanan data yang besar dan terdistribusi. Salah satu keunggulan utama HDFS adalah skalabilitasnya. HDFS dirancang untuk mengelola data dalam skala yang sangat besar, dengan kemampuan menyimpan dan mengelola petabyte data secara efisien.
HDFS mampu menangani penyimpanan dan pengelolaan data yang tumbuh secara horizontal seiring dengan pertumbuhan bisnis tanpa perlu mengubah infrastruktur penyimpanan yang signifikan serta, HDFS juga memiliki keandalan yang tinggi. Data disimpan dalam HDFS secara terdistribusi di berbagai node dalam cluster Hadoop, dan replikasi data secara otomatis dilakukan. Hal ini mengurangi risiko kehilangan data karena kegagalan perangkat keras atau node yang rusak. Data yang hilang dapat dengan mudah dipulihkan dari salinan yang ada. Dengan demikian, HDFS memberikan ketahanan tinggi terhadap kegagalan.
Selain skalabilitas dan keandalan, HDFS juga dirancang untuk mendukung data analytics yang efisien dengan cara mendukung pengolahan data secara terdistribusi. Ini berarti data dapat dipindahkan ke titik pemrosesan data, mengurangi latensi jaringan, dan memungkinkan pemrosesan yang cepat dan paralel. Dengan demikian, HDFS memberikan dasar penyimpanan yang kuat dan efisien untuk ekosistem Hadoop, yang mendukung analisis data yang mendalam dan pemrosesan big data.
3. Jenis Analisis:
Analisis prediktif dimana data historis dan karakteristik mahasiswa dianalisis untuk memprediksi kelulusan mereka dan memberikan rekomendasi yang sesuai.
Tipe Analisis:
Analisis berdasarkan Machine Learning dan Data Mining. Data mahasiswa, seperti nilai rapot, hasil ujian masuk, dan data keuangan, akan digunakan untuk membangun model prediktif yang dapat memprediksi kelulusan dan memberikan rekomendasi jurusan.
Dr. Yulius Denny Prabowo, S.Kom.,M.T.I (D6806) and sent to Department on October 02, 2023
Page 3 of 3
Komputasi:
Pengolahan data dalam skala besar (Big Data) memerlukan infrastruktur komputasi yang kuat, seperti cluster komputasi yang mampu menangani volume data yang besar. Hadoop, Spark, dan platform cloud computing seperti AWS atau Azure dapat digunakan.
Mode Analisis:
Batch Processing dan Real-time Processing. Batch processing digunakan untuk analisis data historis dan memberikan rekomendasi jurusan saat pendaftaran. Real-time processing digunakan untuk memberikan masukan tingkat keberhasilan pengambilan mata kuliah dan proses pembimbingan akademik berdasarkan hasil belajar yang baru.
Data Connector:
Data connector yang cocok adalah yang memungkinkan penggabungan data dari berbagai sumber, termasuk data pendaftaran, hasil ujian masuk, data keuangan, dan data hasil belajar. Penggunaan ETL (Extract, Transform, Load) tools seperti Apache Nifi atau Apache Sqoop mungkin diperlukan.
Teknik Analisis:
Regresi logistik, Decision Trees, Clustering, dan Natural Language Processing (NLP) untuk menganalisis teks pada transkrip akademik dan ringkasan hasil belajar mahasiswa.
Pola Analisis:
Pola prediksi dan klasifikasi. Sistem akan mencari pola dalam data historis untuk memprediksi kelulusan dan memberikan rekomendasi jurusan yang sesuai. Selain itu, analisis pola perilaku mahasiswa dan penggunaan data dari transkrip akademik akan membantu dalam pembuatan ringkasan hasil belajar yang lebih informatif.
4. Jenis teknik data visualization:
Peta Choropleth merupakan metode visualisasi yang cocok untuk membandingkan data berdasarkan wilayah. Hal tersebut memungkinkan kita untuk dengan mudah melihat perbedaan dalam rata-rata pendapatan, indeks kesehatan, dan jumlah penduduk di tiap provinsi di Pulau Jawa, sehingga membantu membuat kebijakan yang relevan dan tepat sasaran.
Tool yang digunakan
Tableau, QlikView, Power BI, atau bahkan bahasa pemrograman seperti Python.
Verified by,
Contoh visualisasi
Kebijakan yang dapat dilakukan:
a. Alokasi Sumber Daya:
Berdasarkan visualisasi, mereka dapat mengalokasikan sumber daya kesehatan dan program-program kesehatan ke provinsi-provinsi dengan indeks kesehatan yang rendah atau jumlah penduduk yang tinggi.
b. Prioritasi Intervensi:
Dengan melihat data, mereka dapat memprioritaskan provinsi-provinsi yang memerlukan intervensi kesehatan lebih lanjut, terutama di daerah dengan rata-rata pendapatan rendah.
c. Evaluasi Kebijakan Terdahulu:
Visualisasi data dapat membantu mereka mengevaluasi efektivitas kebijakan kesehatan sebelumnya dan menentukan apakah ada perubahan yang perlu dilakukan.
Dr. Yulius Denny Prabowo, S.Kom.,M.T.I (D6806) and sent to Department on October 02, 2023
Page 3 of 3
5. Problem Permasalahan & Tujuan Akhir:
Salah satu permasalahan utama adalah menyediakan pengalaman berbelanja yang lebih personal dan memuaskan bagi pelanggan, sekaligus meningkatkan penjualan bagi penjual.
Adapun tujuan akhirnya sebagai berikut:
a. Rekomendasi Produk yang Personal: Memastikan bahwa setiap pelanggan menerima rekomendasi produk yang sesuai dengan preferensi, riwayat belanja, dan perilaku mereka. Hal tersebut dapat meningkatkan konversi dan memuaskan pelanggan.
b. Pemilihan Diskon yang Tepat: Menggunakan analisis data untuk menentukan penawaran diskon atau promosi yang sesuai dengan minat pelanggan dan kebijakan penjual. Hal ini akan membantu meningkatkan penjualan dan mempertahankan pelanggan.
c. Optimisasi Inventaris: Menggunakan data untuk memprediksi permintaan produk dan mengelola inventaris dengan lebih efisien. Hal ini membantu menghindari stok berlebihan atau kekurangan stok.
d. Deteksi Penipuan: Menggunakan analisis data untuk mendeteksi transaksi penipuan atau aktivitas mencurigakan di platform. Hal ini akan membantu meningkatkan keamanan dan kepercayaan pelanggan.
e. Analisis Sentimen Pelanggan: Memahami perasaan dan pendapat pelanggan melalui analisis sentimen terhadap ulasan produk dan umpan balik. Hal ini akan membantu perusahaan marketplace dalam membuat perubahan yang sesuai dan meningkatkan reputasi merek.
f. Optimisasi Penawaran Penjual: Menggunakan data untuk membantu penjual dalam mengoptimalkan harga, penempatan produk, dan promosi mereka. Hal ini akan membantu penjual dalam meningkatkan penjualan dan keuntungan mereka.
g. Analisis Tren Pasar: Melacak tren pasar dan produk yang sedang populer sehingga perusahaan marketplace dapat merespon dengan cepat.
Input yang Dibutuhkan Sistem:
a. Data Pengguna: Informasi tentang pelanggan, termasuk profil pengguna, riwayat belanja, preferensi produk, dan perilaku berbelanja.
b. Data Produk: Informasi tentang produk yang dijual di platform, termasuk deskripsi, kategori, harga, dan inventaris.
c. Data Transaksi: Data transaksi yang mencakup pembelian, pembayaran, dan interaksi pelanggan dengan platform.
d. Data Penawaran Diskon: Informasi tentang penawaran diskon, kupon, atau promosi yang tersedia di platform.
e. Data Ulasan dan Sentimen: Ulasan produk, peringkat, dan umpan balik pelanggan yang dapat digunakan untuk analisis sentimen.
f. Data Inventaris: Informasi tentang inventaris dan stok produk yang tersedia di gudang atau di tangan penjual.
g. Data Eksternal: Data eksternal seperti data tren pasar, data cuaca, atau data demografi yang dapat memengaruhi perilaku pelanggan.
Verified by,
h. Untuk mengimplementasikan sistem Big Data dalam konteks perusahaan marketplace guna memecahkan berbagai permasalahan seperti rekomendasi produk, pemilihan diskon, dan lainnya, kita dapat mengikuti alur Analytics Flow yang telah dijelaskan sebelumnya, dengan penyesuaian untuk kebutuhan marketplace. Berikut adalah langkah-langkah yang dapat diambil:
Data Collection:
1. Data dari aktivitas pengguna: pencarian produk, dan pembelian, dikumpulkan dari website marketplace.
2. Data produk: deskripsi, kategori, harga, dan ulasan, dikumpulkan dari penjual.
3. Data eksternal: data tren pasar atau data cuaca jika relevan.
Data Preparation:
1. Data pengguna dipersiapkan dengan membersihkan dan memproses data seperti menghapus data yang tidak relevan atau duplikat.
2. Data produk diperiksa dan diberi atribut seperti kategori, harga, dan rating.
3. Data eksternal dimasukkan dan diproses sesuai dengan kebutuhan.
Analysis Types:
1. Analisis statistik digunakan untuk memahami perilaku pengguna, tren produk, dan preferensi pelanggan.
2. Algoritma pemfilteran kolaboratif atau pemfilteran berbasis konten digunakan untuk rekomendasi produk.
3. Analisis regresi dapat digunakan untuk memprediksi harga atau permintaan produk.
Analytics Model:
1. Model analitik digunakan untuk menghasilkan rekomendasi produk yang dipersonalisasi untuk setiap pengguna.
2. Model pemilihan diskon digunakan untuk menentukan diskon yang tepat untuk produk tertentu.
3. Model pemantauan dan pelaporan digunakan untuk memantau kinerja platform marketplace.
Visualizations:
1. Hasil analisis dapat divisualisasikan dalam bentuk grafik, laporan, atau dashboard untuk memahami lebih baik bagaimana platform bekerja.
2. Visualisasi dapat membantu dalam pemahaman tren dan pola yang dapat digunakan untuk mengambil keputusan.
User:
1. Hasil rekomendasi produk, penawaran diskon, dan pemantauan aktivitas pengguna disampaikan secara interaktif kepada pengguna melalui website atau aplikasi mobile.
2. Informasi mengenai produk yang paling populer atau yang sedang tren dapat ditampilkan kepada pelanggan.
Dr. Yulius Denny Prabowo, S.Kom.,M.T.I (D6806) and sent to Department on October 02, 2023
Page 3 of 3
Data Processing Pattern:
1. Pengolahan data dilakukan dengan pola khusus Big Data seperti pemrosesan batch atau real-time, tergantung pada kebutuhan dan skala perusahaan marketplace.
2. Pengolahan data dapat memanfaatkan alat dan teknologi Big Data seperti Apache Hadoop, Apache Spark, atau platform cloud.
Insight yang diperoleh:
Pemahaman pelanggan yang lebih baik:
Dari analisis statistik dan pemfilteran, perusahaan mendapatkan pemahaman yang lebih baik tentang preferensi dan perilaku pelanggan. Perusahaan dapat melihat produk apa yang paling diminati, tren belanja, dan kategori yang paling populer di antara pelanggan mereka.
Rekomendasi produk yang personal:
Dengan model analitik yang digunakan untuk rekomendasi produk, perusahaan dapat memberikan rekomendasi yang lebih personal kepada pelanggan. Hal tersebut mengarah pada peningkatan konversi dan penjualan, serta kepuasan pelanggan yang lebih tinggi.
Optimisasi penawaran diskon:
Model pemilihan diskon membantu perusahaan dalam menentukan penawaran diskon yang tepat untuk produk tertentu. Hal ini dapat meningkatkan efektivitas promosi, mengurangi potensi kerugian, dan menarik lebih banyak pelanggan.
Pemantauan kinerja platform:
Dengan model pemantauan dan pelaporan, perusahaan dapat memantau kinerja platform mereka secara real-time. Perusahaan dapat mengidentifikasi masalah atau tren yang muncul dengan cepat dan mengambil tindakan yang sesuai.
Tindakan yang dapat diambil sebagai tindak lanjut:
Penyesuaian katalog produk:
Berdasarkan pemahaman yang lebih baik tentang preferensi pelanggan, perusahaan dapat mengkategorikan produk yang lebih relevan dan menghilangkan produk yang kurang diminati.
Optimisasi harga dan diskon:
Dengan insight tentang efektivitas penawaran diskon, perusahaan dapat mengoptimalkan strategi harga dan promosi untuk memaksimalkan pendapatan.
Peningkatan kualitas layanan:
Pemantauan kinerja platform dapat membantu perusahaan dalam mengidentifikasi masalah teknis atau layanan pelanggan. Perusahaan dapat meningkatkan respon terhadap keluhan pelanggan dan memastikan platform berjalan dengan baik.
Perencanaan persediaan:
Dengan pemahaman tren produk dan permintaan pelanggan, perusahaan dapat mengelola persediaan dengan lebih efisien. Hal ini menghindari stok berlebihan atau kekurangan stok.
Verified by,
Pengembangan produk baru:
Perusahaan dapat menggunakan wawasan tentang preferensi pelanggan untuk mengembangkan produk atau kategori baru yang dapat diminati pelanggan.
Peningkatan pemasaran:
Insight tentang perilaku pelanggan dapat digunakan untuk merancang kampanye pemasaran yang lebih efektif, yang mengarah pada peningkatan kesadaran merek dan penjualan.
