UJIAN AKHIR SEMESTER
SISTEM MANAJEMEN BASIS DATA
PROGRAM PASCA SARJANA
MANAJEMEN SISTEM INFORMASI
ARTIKEL BIG DATA
Dosen :
Dr. Achmad Solichin, S.Kom., M.T.I
DIKERJAKAN OLEH :
EDY NURYANTO
NIM. 1631600614
PROGRAM STUDI MAGISTER MANAJEMEN PROGRAM PASCASARJANA
UNIVERSITAS BUDI LUHUR
1. PENDAHULUAN
Akhir-akhir ini, istilah 'big data' menjadi topik yang dominan dan sangat sering dibahas dalam industri IT. Banyak pihak yang mungkin heran kenapa topik ini baru menjadi pusat perhatian padahal ledakan informasi telah terjadi secara berkelangsungan sejak dimulainya era informasi. Perkembangan volume dan jenis data yang terus meningkat secara berlipat-lipat dalam dunia maya Internet semenjak kelahirannya adalah fakta yang tak dapat dipungkiri. Mulai data yang hanya berupa teks, gambar atau foto, lalu data berupa video hingga data yang berasal system pengindraan. Lalu kenapa baru sekarang orang ramai-ramai membahas istilah big data? Apa sebenarnya 'big data' itu?
Hingga saat ini, definisi resmi dari istilah big data belum ada. Namun demikian, latar belakang dari munculnya istilah ini adalah fakta yang menunjukkan bahwa pertumbuhan data yang terus berlipat ganda dari waktu ke waktu telah melampaui batas kemampuan media penyimpanan maupun sistem database yang ada saat ini. Menurut McKinsey Global Institute (MGI), dalam laporannya yang dirilis pada Mei 2011, mendefinisikan bahwa big data adalah data yang sudah sangat sulit untuk dikoleksi, disimpan, dikelola maupun dianalisa dengan menggunakan sistem database biasa karena volumenya yang terus berlipat. Tentu saja definisi ini masih sangat relatif, tidak mendeskripsikan secara eksplisit sebesar apa big data itu. Tetapi, untuk saat sekarang ini, data dengan volume puluhan terabyte hingga beberapa petabyte kelihatannya dapat memenuhi definis MGI tersebut. Di lain pihak, berdasarkan definisi dari Gartner, big data itu memiliki 3(tiga) atribute yaitu : volume , variety , dan velocity. Ketiga atribute ini dipakai juga oleh principle IBM dalam mendifinisikan big data. Volume berkaitan dengan ukuran, dalam hal ini kurang lebih sama dengan definisi dari MGI. Sedangkan variety berarti tipe atau jenis data, yang meliputi berbagai jenis data baik data yang telah terstruktur dalam suatu database maupun data yang tidak terorganisir dalam suatu database seperti halnya data teks pada web pages, data suara, video, click stream, log file dan lain sebagainya. Velocity dapat diartikan sebagai kecepatan dihasilkannya suatu data dan seberapa cepat data itu harus diproses agar dapat memenuhi permintaan pengguna.
Namun demikian, aplikasi Big Data tidak hanya berkaitan dengan penggunaan hardware dan software yang berperforma tinggi, tetapi lebih mengacu pada pemberdayaan data sebagai penunjang bisnis. Tidak dapat dipungkiri bahwa dunia bisnis di era informasi ini sangat bergantung pada pendayagunaan data dan informasi. Oleh karena itu, dunia bisnis adalah salah satu wilayah aplikasi Big Data.
Hal pertama ketika kita ditanyakan tentang perusahaan apa saja yang menggunakan Big Data, maka sebagian besar kita akan menjawab perusahaan web service. Sebagai contoh, google menggunakan akumulasi data dalam skala yang sangat besar untuk melakukan bisnis iklan. Selain itu dalam dunia sns, facebook pun menggunakan data anggotanya yang sangat besar sebagai dasar untuk meningkatkan keuntungan dari iklan, permainan game dan penjualan software. Bahkan EC (electronic commerce) shop/ toko komersial elektronik seperti amazon, rakuten pun menggunakan data keanggotaannya, sejarah pembelian, click stream (perilaku pengunjung dalam situs) dan data lainnya sebagai bahan untuk membuat rekomendasi yang sesuai dengan keingingan setiap anggota. Dengan memberikan informasi tersebut diharapkan dapat memperkuat keinginan para pengunjungnya untuk berbelanja.
Salah satu perusahaan Web mengatakan jika mereka tidak menggunakan EC shop sebagai salah satu cara berbisnis apakah mereka memiliki hubungan dengan big data? Aplikasi big data tidak terbatas untuk perusahaan web maupun EC saja. Sebagai contoh ada perusahaan telekomunikasi menganalisis log komunikasi untuk mencari tahu ke provider manakah yang paling banyak mendapat arah tujuan ketika menelpon dan mengirim surat melalui email dan sms. Dengan demikian perusahaan/provider tersebut mampu mencegah bahaya akan pindahnya kostumer dengan cara memberikan penawaran khusus secara terpisah, maupun melakukan promo baru untuk mengundang teman agar mau masuk provider yang sama. Kemudian mungkin akan timbul anggapan bahwa perusahaan web dan perusahaan telekomunikasi menggunankan data dan informasi secara digital, makanya mudah, sedangkan bagaimanakah dengan perusahaan yang informasi dan datanya tidak berbentuk digital?
memastikan margin harga yang sesuai. Hal ini sama dengan ketika perusahaan kartu kredit menganalisis tempat pelanggan menggunakan kartu kredit dan penggunaan dengan smartphone sehingga dapat dideteksi apakah terjadi penyalahgunaan atau tidak.
Apakah perusahaan selain perusahaan financial dan perusahaan servis seperti halnya perusahaan yang langsung menjual barang nyata pun dapat menjadi pengguna big data? Sebagai mana kita ketahui perusahaan manapun yang terdapat kegiatan penjualan dan memiliki pelanggan maka pasti membutuhkan feedback dan informasi tentang needs dari para pelanggannya. Disinilah analisis big data memegang peranan yang menentukan bagi kemajuan perusahaan.
Penggunaan big data juga dapat diaplikasikan pada perusahaan infrastruktur maupun industri primer. Sebagai contoh dengan menggabungkan sensor yang dipasang di jalan raya dengan data yang dikumpulkan dari GPS yang telah terpasang pada mobil maka dapat diketahui kodisi kepadatan lalu lintas. Bahkan dengan menggabungkannya dengan sistem traffic light, dipastikan akan dapat mempercepat waktu tempuh suatu perjalanan sehingga
mampu mengurangi pengeluaran gas CO2. Dalam industri primer yang dikatakan tertinggal dengan IT sekalipun dapat menjadi lebih efektif dalam segi operasionalnya. Sebagai contoh dengan pemasangan sensor cuaca pada ladang pertanian para pelaku industri primer dapat menggabungkan data cuaca dengan data penghasilan maupun kualitas produk yang dihasilkan sehinnga dapat dicari cara yang lebih efektif agar mampu meningkatkan kualitas produknya untuk mendapatkan keuntungan yang lebih..
Hasil yang didapat dari pengaplikasian Big Data merupakan bentuk dari sebuah knowhow dan strategi bisnis. Yang semestinya menjadi PR yang perlu dipikirkan oleh para pelaku bisnis saat ini.
Dengan demikian, dapat dipahami bahwa big data memiliki wilayah aplikasi yang sangat luas. Penggunaan big data yang terbatas hanya pada bisnis web service dan SNS saja merupakan pemikiran yang tidak tepat.
modal berharga yang kita punya. Begitu pula apabila biaya menganalisis data jauh diatas keuntungan.
2. TEKNOLOGI BIG DATA
Big Data bukanlah sebuah teknologi, teknik, maupun inisiatif yang berdiri sendiri. Big Data adalah suatu trend yang mencakup area yang luas dalam dunia bisnis dan teknologi. Big Data menunjuk pada teknologi dan inisiatif yang melibatkan data yang begitu beragam, cepat berubah, atau berukuran super besar sehingga terlalu sulit bagi teknologi, keahlian, maupun infrastruktur konvensional untuk dapat menanganinya secara efektif. Dengan kata lain, Big Data memiliki ukuran (volume), kecepatan (velocity), atau ragam (variety) yang terlalu ekstrim untuk dikelola dengan teknik konvensional.
A. Volume (Ukuran).
Pada tahun 2000 lalu, PC biasa pada umumnya memiliki kapasitas penyimpanan sekitar 10 gigabytes. Saat ini, Facebook menyedot sekitar 500 terabytes data baru setiap harinya; sebuah pesawat Boeing 737 menghasilkan sekitar 240 terabytes data penerbangan dalam satu penerbangan melintasi Amerika; makin menjamurnya penggunaan ponsel pintar (smartphone), bertambahnya sensor-sensor yang disertakan pada perangkat harian, akan terus mengalirkan jutaan data-data baru, yang terus ter-update, yang mencakup data-data yang berhubungan dengan lingkungan, lokasi, cuaca, video bahkan data tentang suasana hati si pengguna ponsel pintar.
B. Velocity (kecepatan).
Clickstreams maupun ad impressions mencatat perilaku pengguna Internet dalam jutaan event per detik; algoritma jual-beli saham dalam frekwensi tinggi dapat mencerminkan perubahan pasar dalam hitungan microseconds; proses-proses yang melibatkan hubungan antara suatu mesin dengan mesin lainnya telah melibatkan pertukaran data antar jutaan perangkat; peralatan sensor dan perangkat-perangkat pada infrastruktur menghasilkan log data secara real time; sistem game online dapat melayani jutaan pengguna secara bersamaan, yang masing-masing memberikan sejumlah input per detiknya.
C. Variety (ragam).
Gambar 1 : menggambarkan 3(tiga) karakteristik Big Data.
Gabungan dari ketiga karakteristik ini menghasilkan data yang terlalu kompleks untuk ditangani dengan sistem konvensional. Singkatnya, Big Data menggambarkan kumpulan data yang begitu besar dan kompleks yang tak memungkinkan lagi untuk dikelola dengan tools software tradisional.
2.1. Jenis Teknologi Big Data
Dalam hal Teknologi, bentangan Big Data didominasi oleh dua jenis teknologi Big Data yaitu: (1) Big Data operasional: sistem yang memiliki kapabilitas operasional untuk pekerjaan-pekerjaan bersifat interaktif dan real time dimana data pada umumnya diserap dan disimpan; (2) Big Data analitis: sistem yang menyediakan kapabilitas analitis untuk mengerjakan analisis yang kompleks dan retrospektif yang dapat melibatkan sebagian besar atau bahkan keseluruhan data. Dalam keberadaannya, kedua jenis teknologi Big Data ini bersifat saling melengkapi dan sering digunakan secara bersamaan.
permintaan akses tersebut. Akses data terhadap sistem operasional ini dapat dilakukan dengan berbagai pilihan kriteria. Dilain pihak, sistem analitis cenderung berfokus pada penanganan arus data yang lebih besar, query-query yang ditujukan pada data tersebut bisa sangat kompleks, dan setiap kali dieksekusi dapat melibatkan sebagian besar atau keseluruhan data yang ada dalam sistem. Baik sistem Big Data operasional maupun sistem Big Data analitis, kedua-duanya dioperasikan dengan melibatkan sejumlah servers yang tergabung dalam suatu cluster komputer, dan digunakan untuk mengelola puluhan atau ratusan terabytes data yang memuat miliaran record.
2.1.1. Teknologi Big Data Operasional
Untuk menangani pekerjaan-pekerjaan Big Data Operasional, telah dibangun sistem Big Data dengan database NoSQL seperti halnya database berbasis dokumen (document based database) yang dapat ditujukan untuk berbagai tipe aplikasi, database key-value
stores, column family stores, dan database graph yang dioptimalkan untuk aplikasi yang
lebih spesifik. Teknologi NoSQL, yang telah dikembangkan untuk mengatasi kekurangan dari database relasional (relational database) pada lingkungan komputasi modern, dikenal lebih cepat serta lebih mudah dan murah dalam hal peningkatan skala (more scalable) dibanding relational databases.
Sistem Big Data dengan database NoSQL telah didesain untuk memanfaatkan keunggulan dari arsitektur cloud computing (komputasi awan) yang telah muncul dalam dekade terakhir ini. Hal ini memungkinkan dijalankannya komputasi berskala besar secara efisien dan dengan biaya yang relatif lebih murah. Sebagai hasilnya, sistem NoSQL dengan komputasi awan ini telah menjadikan perangkat kerja Big Data operasional lebih mudah dikelola, serta dapat diimplementasikan dengan lebih murah dan cepat.
2.1.2. Teknologi Big Data Analitis
Pekerjaan-pekerjaan Big Data analitis cenderung diproses dengan mengimplementasikan sistem database MPP dan MapReduce. Munculnya teknologi ini juga merupakan reaksi terhadap keterbatasan dan kurangnya kemampuan relational database tradisional untuk mengelola database dalam skala lebih dari satu server (terdistribusi). Disamping itu, MapReduce juga menawarkan metode baru dalam menganalisa data yang dapat berfungsi sebagai pelengkap terhadap kapabilitas SQL.
kemajuan bisnis. Ketika upaya-upaya tersebut mesti melibatkan algoritma yang lebih rumit, MapReduce telah menjadi pilihan pertama untuk melakukan analisa retrospektif tersebut. Beberapa sistem NoSQL juga menyediakan fungsi MapReduce bawaan yang memungkinkan proses analisa diterapkan pada data operasional. Sebagai alternatif lain, data juga dapat dikopi dari sistem NoSQL ke dalam sistem analitis seperti halnya Hadoop dengan MapReduce-nya.
3. IMPLEMENTASI BIG DATA
Kurang lebih sejak tahun 2010, istilah Big Data sudah mulai hangat diperbincangkan. Topik-topik seperti : "Bagaimana cara menganalisa perilaku setiap konsumen saat berbelanja secara online sehingga sang penjual bisa memberikan rekomendasi secara otomatis tentang produk yang sesuai dengan tiap pelanggan.", "Bagaimana menganalisa kicauan pada Twitter sehingga bisa menemukan topik-topik yang sedang hot atau trending topic.", "Bagaimana menganalisa transaksi kartu kredit sehingga bisa dibedakan mana transaksi yang legal dan illegal.", telah menjadi topik yang sering diangkat di media massa. Data-data tentang perilaku konsumen pada toko online, kicauan puluhan juta pengguna Twitter maupun data tentang transaksi kartu kredit dapat dikategorikan sebagai Big Data.
Untuk menyimpan dan mengolah data dalam jumlah besar diperlukan waktu dan biaya yang besar. Untuk memberdayakan berbagai jenis / variasi data diperlukan prosedur yang sesuai dengan tiap jenis data tersebut. Terakhir, untuk memanfaatkan data yang terus menerus diproduksi dengan kecepatan tertentu, diperlukan kecepatan dalam mengolah data untuk memenuhi target yang ditentukan. Ketiga karakteristik ini menggambarkan betapa sulitnya menangani dan memanfaatkan Big Data. Jadi kalau disederhanakan, Big Data itu adalah data yang besar dalam volume, kumpulan dari berbagai jenis data, dan diproduksi dengan kecepatan tertentu.
Dalam hal volume, telah terjadi peningkatan yang drastis sejak sekitar tahun 2000 sehingga kemudian muncul istilah Ledakan Informasi. Berdasarkan laporan yang dilansir oleh IDC (International Data Corporation). "2011 Digital Universe Study: Extracting Value from Chaos", diperkirakan bahwa pada 5(lima) tahun kedepan, volume data yang dihasilkan
yang telah semakin merasuk ke dalam segala aspek kehidupan manusia. Mulai dari PC (Personal Computer), smartphone, ATM, komputer kantor swasta, komputer kantor pemerintah hingga kamera jalan raya milik POLRI maupun Kemenhub.
Dalam hal jenis, data sudah tidak lagi hanya berupa lembaran data seperti halnya data yang ditampilkan dengan MS Excel, MS Access, ataupun software pengolah data lain yang menyimpan teks dan angka dalam suatu format tertentu. Data saat ini bisa berupa teks data yang dimuat pada website, blog, social network seperti halnya Facebook dan Twitter, yang tidak memiliki format yang ditentukan sebelumnya. Data bisa berupa music maupun video digital yang didistribusikan dan diakses melalui internet dan terus bertambah.
Dalam hal kecepatan, data dihasilkan bukan lagi dalam hitungan hari, dan umur berlakunya data pun menjadi lebih pendek. Sebagai contoh, laporan hasil analisa transaksi jual-beli yang sebelumnya dilakukan per-bulan atau perminggu kini dilakukan per-hari bahkan per-jam. Dengan demikian, masa berlaku data hasil analisa pun bukan lagi dalam hitungan bulan tapi hanya berlaku dalam satu jam. Bahkan, tidak sedikit proses pengolahan, analisa, dan pendistribusian data yang telah bisa dilakukan secara real-time.
1.1. Penerapan Big Data dengan Hadoop
Kini teknologi untuk mengolah Big Data, Hadoop Mapreduce, sudah di depan mata. Selanjutnya bergantung pada keberanian kita untuk mau memberdayakannya atau tidak. Hadoop MapReduce memiliki banyak keunggulan, diantaranya:
a. Sederhana.
Walaupun Hadoop MapReduce adalah software yang mengolah data secara terdistribusi dan paralel, kita tidak diwajibkan untuk mengerti dan paham apa itu distributed computing.
b. Fleksibel dalam Ukuran.
Itu berarti kita harus menginstal system baru mulai dari awal, kemudian memindahkan data dari komputer lama ke komputer baru, dan melakukan setting ulang agar dapat berjalan seperti sebelumnya. Bila kita menggunakan Hadoop, kita tak perlu memindahkan data dan melakukan setting ulang, cukup dengan menambahkan satu komputer lagi, maka secara otomatis data akan terdistribusi ke komputer yang baru.
Hadoop itu fleksibel, bisa dijalankan dalam 3(tiga) mode yaitu:
1. Mode Standalone : dengan satu PC Windows;
2. Mode Pseudo-Distributed: dengan satu PC Linux yang dibuat seolah-olah Hadoop berjalan dalam system yang terdistribusi;
3. Mode Fully Distributed: menjalankan Hadoop sungguhan dalam beberapa PC.
c. Handal, anti Gagal.
Ketika kita bicara tentang pengolahan data yang dilakukan secara paralel dalam banyak komputer, tentu akan timbul pertanyaan: Bagaimana kalau salah satu dari komputer itu down atau rusak dan tak dapat beroperasi? Bukankah ini akan menyebabkan seluruh proses akan gagal karena kehilangan salah satu bagiannya. Tidak demikian dengan Hadoop, walaupun dalam suatu proses pengolahan data terdapat komputer yang tiba-tiba rusak, Hadoop tetap dapat berjalan normal.
1.2. Penerapan Big Data oleh Google
Google berasal dari sebuah proyek penelitian yang dimulai pada Januari 1996 oleh dua mahasiswa pasca sarjana, Larry Page dan Sergey Brin, di Stanford University. Saat ini Google telah berkembang menjadi raksasa Internet yang sangat pintar, yang telah menjadi guru tempat bertanya apa saja di dunia maya Internet. Boleh dikatakan terlalu naif bila ada pengguna Internet yang mengaku tidak tahu Google. Google telah menjadi bagian hidup para penjelajah dunia maya. Menjadi milik semuanya dan memiliki semuanya.
Pada awal kelahirannya, Google dibekali dengan teknologi yang disebut PageRank yang telah menjadikannya search engine yang unik karena teknologi tersebut belum pernah dimiliki oleh search engine yang telah ada sebelum Google.
Google bahkan telah mampu mengolah dan memberdayakan keberadaan Big Data jauh sebelum istilah itu diperbincangkan banyak orang. Google memiliki teknologi crawler yang mampu mendownload seluruh web page yang ada di dunia Internet secara terus menerus mengikuti update pada jutaan web page tersebut. Google memiliki media penyimpanan data yang dikenal dengan nama Google File System (GFS) yang menyimpan data secara terdistribusi dalam ribuan komputer. Kapasitas penyimpanan GFS ini bisa terus diperbesar hanya dengan menambah jumlah komputer yang disertakan didalamnya. Google memiliki teknologi pengolahan data yang disebut MapReduce, yang mampu mengolah data yang disimpan dalam GFS secara paralel menggunakan ribuan komputer sehingga mampu mengolah data ukuran raksasa dalam waktu berkali lipat lebih cepat daripada system konvensional. Google juga memiliki system database yang disebut Bigtable, yang mampu menyajikan data berukuran raksasa yang sudah tak mampu lagi ditangani oleh system database yang telah ada. Dan masih banyak lagi. Jadi, intinya, Google telah mampu melihat potensi pada Big Data, kemudian mengolah dan memberdayakannya jauh sebelum istilah Big Data mulai diperbincangkan.
Google itu hebat dan kaya, dan untungnya dia juga tidak pelit. Google telah membuka akses terhadap teknologi garapannya kepada masyarakat internasional. Google telah memaparkan konsep dan cara kerja GFS, MapReduce, dan Bigtable secara detail dan dapat diakses dengan cuma-cuma. Hal ini telah berhasil membuka mata para raksasa Internet pada dunia yang lebih besar.
Apache bertindak cepat dengan mengembangkan dan merilis versi open source dari Google File System yang diberi nama Hadoop Distributed File System (HDFS) dan juga versi open source dari MapReduce yang dibuat satu paket dengan HDFS.
4. KESIMPULAN
Saat ini kita sedang berada dalam era Ledakan Informasi, dan kemampuan untuk memberdayakan Big Data adalah kunci dalam meraih sukses dan kemenangan. Google telah menyadarinya lebih dulu, dan sukses Google adalah bukti nyata. Hadoop MapReduce, senjata dalam perang Big Data telah di depan mata, para raksasa sudah mulai bergerak, apakah kita akan tinggal diam?
(1) teknologi untuk memproses Big Data demi kebutuhan operasional, yakni: database NoSQL (MongoDB, HBase, dll), dan;
(2) teknologi untuk memproses Big Data guna kebutuhan analitis seperti halnya Hadoop. Dengan mengimplementasikan kedua type teknologi Big Data ini, akan memungkinkan didapatkannya nilai-nilai baru yang dapat memberikan manfaat pada operasional perusahaan berupa penghematan pengeluaran, peningkatan keuntungan, dan pencapaian sasaran-sasaran bisnis lainnya.
Big Data bukan hanya masalah ukuran yang besar, terlebih yang menjadi ciri khasnya adalah jenis datanya yang sangat beragam dan laju pertumbuhan maupun frekwensi perubahannya yang tinggi. Dalam hal ragam data, Big Data tidak hanya terdiri dari data berstruktur seperti halnya data angka-angka maupun deretan huruf-huruf yang berasal dari sistem database mendasar seperti halnya sistem database keuangan, tetapi juga terdiri atas data multimedia seperti data teks, data suara dan video yang dikenal dengan istilah data tak berstruktur. Terlebih lagi, Big Data juga mencakup data setengah berstruktur seperti halnya data e-mail maupun XML. Dalam hal kecepatan pertumbuhan maupun frekwensi perubahannya, Big Data mencakup data-data yang berasal dari berbagai jenis sensor, mesin-mesin, maupun data log komunikasi yang terus menerus mengalir. Bahkan, juga mencakup data-data yang tak hanya data yang berada di internal perusahaan, tetapi juga data-data di luar perusahaan seperti data-data di Internet. Begitu beragamnya jenis data yang dicakup dalam Big Data inilah yang kiranya dapat dijadikan patokan untuk membedakan Big Data dengan sistem manajemen data pada umumnya.
5. `REFERENSI
a. http://www.gartner.com/newsroom/id/1731916
b. http://japan.emc.com/collateral/analyst-reports/idc-extracting-value-from-chaos-ar.pdf c. http://www.hjo3.net/bytes.html
d. http://hadoop.apache.org/
e. http://en.wikipedia.org/wiki/Apache_Hadoop f. http://en.wikipedia.org/wiki/Google#History
g. "Hadoop: The Definitive Guide", Tom White, O'REILLY 2012.
