tidak terstruktur
1.4 Ekosistem Big Data Analytics
Berikut gambaran dari Ekosistem Big Data yang ditunjukkan oleh Gambar 1.15:
Gambar 1.16 Gambaran Ekosistem Big Data Keterangan:
1. Data Devices 2. Data Collectors
3. Data Aggregators: kompilasi informasi dari database dengan tujuan untuk mempersiapkan dataset gabungan untuk pengolahan data.
4. Data Users/ Buyers
Apa yang dimasud dengan Analytics? Sebuah titik awal untuk memahami Analytics adalah Cara untuk mengeksplorasi/ menyelidiki/ memahami secara mendalam suatu objek sampai ke akar-akarnya. Hasil analytics biasanya tidak menyebabkan banyak kebingungan, karena konteksnya biasanya membuat makna yang jelas. Perkembangan analytics dimulai dari DSS kemudian berkem-bang menjadi BI (BussinesIntelligence) baru kemudian menjadi ana-lytics yang ditunjukkan oleh Gambar 1.16 berikut:
Gambar 1.17 Perkembangan Analytics Decision Support Systems Business Intelligence
Analytics
1970s 1990s 2010BI dapat dilihat sebagai istilah umum untuk semua aplikasi yang mendukung DSS, dan bagaimana hal itu ditafsirkan dalam industri dan semakin meluas sampai di kalangan akademisi. BI berevolusi dari DSS, dan orang dapat berargumentasi bahwa Analytics berevolusi dari BI (setidaknya dalam hal peristilahan). Dengan demikian, Analytics merupakan istilah umum untuk aplikasi analisis data.
Big Data Analytics merupakan Alat dan teknik analisis yang akan sangat membantu dalam memahami big data dengan syarat algoritma yang menjadi bagian dari alat-alat ini harus mampu bekerja dengan jumlah besar pada kondisi real-time dan pada data yang berbeda-beda.
Bidang Pekerjaan baru Big Data Analytics:
- Deep Analytical Talent / Data scientists (Memiliki bakat analitik yang mendalam/ Ilmuwan Data): orang-orang dengan latar belakang yang kuat dalam algoritma-algoritma sistem cerdas, atau matematika terapan, atau ekonomi, atau ilmu pengetahuan lainnya melalui inferensi data dan ek-splorasi.
- Data Savvy Professionals (Para profesional Data Cerdas): Mereka tahu bagaimana untuk berpikir tentang data, bagaimana mengajukan jenis pertanyaan (goal) yang tepat sesuai dengan kebutuhan lembaga/perusahaan/lainnya dan mampu memahami dan mengklarifikasi jawaban (hasil analisis) yang mereka terima.
- Technology and data enablers: Mampu memberikan dukungan integrasi antara data dengan teknologi yang sesuai, dan yang paling berkembang saat ini.
Contoh perusahaan atau developer yang menggunakan analisis Big Data:
- Starbucks (Memperkenalkan Produk Coffee Baru). Pagi itu kopi itu mulai dipasarkan, pihak Starbucks memantau melalui blog, Twitter, dan kelompok forum diskusi kopi lainnya untuk menilai reaksi pelanggan. Pada pertengahan-pagi, Starbucks menemukan hasil dari analisis Big Data bahwa meskipun orang menyukai rasa kopi tersebut, tetapi mereka berpikir bahwa harga kopi tersebut terlalu mahal. Maka dengan segera pihak Starbucks menurunkan harga,
dan menjelang akhir hari semua komentar negatif telah menghilang. Bagaimana jika menggunakan analisis tradisional?
Contoh tersebut menggambarkan penggunaan sumber data yang berbeda dari Big Data dan berbagai jenis analisis yang dapat dilakukan dengan respon sangat cepat oleh pihak Starbucks. - Pemilihan Presiden atau walikota atau lainnya di suatu
Negara atau kota melalui analisis tweet dengan Apache HDF/NiFi, Spark, Hive dan Zeppelin.
o Apache NiFi, get filtered tweets yang berhubungan dengan Pemilihan Presiden atau walikota, misal di Indonesia atau di kota tertentu.
o Apache Spark, getthe stream of tweets dari Apache NiFi. o Spark streaming, untuk mentransformasi dan menyimpan
data ke dalam suatu tabel pada Apache Hive.
o Apache Zeppelin notebook, untuk menampilkan data hasil secara real-time.
Hasil analytics:
o Frekuensi dari tweets sepanjang waktu per kandidat o Persentase tweet negatif, positive dan neutral per
kandi-dat
o Tren opini sepanjang waktu untuk tiap kandidat
1.5 Ekosistem Tool Big Data Analytics
Berikut gambaran dari Ekosistem Tool Big Data, menggunakan salah satu variasi dari susunan Ekosistem Hadoop (Apache Hadoop Ecosystem)yang ditunjukkan oleh Gambar 1.17 berikut:
Gambar 1.18 Contoh Ekosistem Hadoop ke-1
Berdasarkan dari Ekosistem Big Data yang begitu kompleks pada bab sebelumnya, maka hal yang sangat penting dilakukan pertama kali sebagai kunci sukses untuk membangun Ekosistem Hadoop adalah mengidentifikasi kegunaan dan bagaimana interaksi antara, atau dari masing-masing Tool Big Data, serta apa saja yang
nantinya akan digunakan dalam melakukan pembuatan
implementasi pada lingkungan Hadoop. Gambar 1.17 memberikan contoh gambaran umum tentang interaksi aplikasi, tool dan interface yang ada di ekosistem Hadoop yang dibangun, misal berdasarkan kategori atau spesifikasi dari setiap produk-produk Apache berdasarkan fungsinya, mana yang spesifik digunakan untuk; (Storage, Processing, Querying, External Integration & Coordination), dan bagaimana kecocokan interaksi diantara mereka.
Pada Gambar 1.18 berikut adalah contoh Ekosistem Hadoop yang lain dengan menggunakan beberapa Tool Big Data yang berbeda dengan Ekosistem sebelumnya,
Gambar 1.19 Contoh Ekosistem Hadoop ke-2
Fokus dari adanya visualisasi ekosistem dari Tool Big Data adalah terkait suatu gambaran sistem yang mempelajari interaksi antara satu Tool Big Data satu dengan lainnya, maupun interakti suatu Tool Big Data yang ada dengan Lingkungannya (misal Data, Kondisi Kasusnya, dll), sedangkan fokus dari pembuatan arsitektur Tool Big Data (akan dibahas lebih detil pada bab selanjutnya) adalah lebih ke arah seni dan ilmu yang digunakan untuk merancang, mendesain dan membangun produk dari mengkombinasikan dari banyaknya pilihan Tool -Tool Big Data yang ada sesuai dengan seberapa komplek kasus yang ditangani untuk projek analitik dalam Scope Big Data, dan memungkinkan akan adanya modifikasi atau perbaikan kembali arsitektur yang ada sebelumnya dari waktu ke waktu, misal dalam beberapa bulan atau tahun produk arsitertur tersebut mungkin akan menjadi usang dan harus diganti dengan arsitektur yang lain yang lebih baik dan optimal.
Selain dari kedua contoh Ekosistem Hadoop sebelumnya, contoh pada Ekosistem Hadoop yang lain lebih ke arah “Industrial Best Practices” untuk diterapkan dalam bidang apapun, misal
kesehatan (Healthcare), dsb bisa menggunakan Hadoop Distribution (HD) dari hasil karya terbaik beberapa perusahaan berikut,
1. Cloudera: didirikan orang-orang yang berkontribusi di project Hadoop di Apache, Memiliki pangsa pasar paling besar, membuat HD versi gratis dan juga versi enterprise yang tidak gratis, menambahkan software khusus milik mereka yang disebut Impala (Query Engine diatas HDFS, seperti Map Reduce yang bisa dijalankan dengan low-latency atau dengan waktu yang lebih pendek dibanding Map Reduce).
2. HortonWorks: didirikan orang-orang yang berkontribusi di project Hadoop juga, diadopsi di Microsoft Azure dan menjadi Microsoft HD Insight. Partnership ini yang membuat Hortonworks sampai saat ini satu-satunya Hadoop yang compatible dan mudah dijalankan di Microsoft Windows, HD versi enterprise dari Hortonworks adalah gratis. Hortonworks mendapatkan keuntungan dari support dan training.
3. MapR Technologies: seperti Hortonworks, memberikan gratis untuk versi enterprisenya dan mendapat keuntungan dari support dan training, digunakannya oleh dua perusahaan cloud computing yang besar Amazon dan Google, maka MapR banyak digunakan oleh pengguna cloud computing.
4. etc
Hadoop yang dari Apache memiliki kemiripan dengan Linux dari segi komposisi, konfigurasi dan distribusinya, namun bukan dalam hal fungsionalitas. Hadoop komposisinya dibangun dengan menggunakan software open source dibawah lisensi Apache Fundation. Hadoop Distribution adalah Perusahaan yang membuat sebuah paket Hadoop siap pakai dan menjualnya, dari hasil konfigurasi Hadoop standard dengan tool-tool Big Data lain yang sesuai dengan desain konfigurasi komposisi yang menurut mereka terbaik, yang didalamnya ada Ekosistem Hadoop dan juga Arsitekturnya. Anda pun secara mandiri dapat membuat Hadoop Distribution juga, namun yang harus diperhatikan adalah tentang keahlian dan penguasaan tingkat dasar sampai tingkat lanjut terkait konsep Big Data, dan Tool-tool yang berkembang untuk Big Data tersebut, jika belum maka anda dapat mempelajarinya secara bertahap dengan fokus pada beberapa core dari Tool pengolahan Big Data, misal untuk awalan cukup menguasai Hadoop dan Spark,
kemudian disusul Tool yang lainnya , hal ini akan memudahkan anda belajar untuk menjadi sangat ahli dalam bidang Big Data dan Tool-nya, sehingga setelah mahir, anda akan merasa sangat mudah dalam membuat Hadoop Distribution secara mandiri.
Gambar 1.20 Cloudera vs Hortonworks vs MapR
