Analisa Hadoop Cluster Dengan Raspberry pi Model B+ dan Raspberry pi 2 Model B Studi Kaskus Wordcount

(1)

Abstract—Hadoop merupakan sebuah framework yang digunakan untuk penyimpanan dan pemrosesan data dengan jumlah yang banyak atau yang sekarang dikenal dengan istilah Big Data. Untuk mempelajari cara kerja hadoop dibutuhkan beberapa komputer untuk membuat cluster, selain itu dapat juga diimplementasikan dengan hadoop cloud service namun harus memahami interaksi antara hardware dan software sehingga akan semakin kompleks. Pada paper ini akan memaparkan analisa performa Raspberry pi menggunakan Raspberry pi 2 Model B untuk menjalakan Wordcount dimana analisa performa ini dilakukan dengan 4 jenis skenario percobaan dimana setiap percobaan dikondisikan berbeda. Analisa yang dilakukan meliputi lama eksekusi proses wordcount dan kondisi rata-rata CPU pada saat menjalankan wordcount.

Keyword: Hadoop, Raspberry pi, CPU I. PENDAHULUAN

AAT ini merupakan era teknologi informasi dan komunikasi, dimana data merupakan aset penting menggantikan peran produk pada zaman industrial. Menurut laporan IDC pada tahun 2015 diperkirakan sebanyak 8 Zettabytes (8 trilyun gigabytes) jumlah keseluruhan data digital dan jumlah itu didapatkan dari kumpulan data sosial media, sensor, biomedical imaging dan perangkat simulasi yang ada pada saat ini [1].

Data yang ada saat ini dapat diolah menjadi sesuatu yang lebih bermanfaat namun permasalahannya adalah untuk memproses data dengan jumlah yang sangat besar dibutuhkan media penyimpanan yang besar juga. Tingkat kecepatan akses data dari hard drive tidak dapat mengimbangi pesatnya pertumbuhan kapasitas hard drive sehingga terjadi ketidak seimbangan. Untuk mengatasi hal tersebut dapat dilakukan dengan menggunakan beberapa hard drive yang melakukan Paper ini dibuat untuk memenuhi tugas projek akhir mata kuliah Sistem Terdistribusi jurusan Sistem Komputer Fakultas Ilmu Komputer Universitas Brawijaya.

Muhammad Rusyadi merupakan mahasiswa jurusan Sistem Komputer Universitas Brawijaya, Malang, 65145 Indonesia (e-mail: muhammadrusyadi@gmail.com)

Rio Marrowsi merupakan mahasiswa jurusan Sistem Komputer Fakultas Ilmu Komputer Universitas Brawijaya, Malang, 65145 Indonesia (e-mail: riomarrowsi@gmail.com)

Hermawan Heri Wijaya merupakan mahasiswa jurusan Sistem Komputer Fakultas Ilmu Komputer Universitas Brawijaya, Malang, 65145 Indonesia (e-mail: jyuubi.revenged@gmail.com).

proses pembacaan data secara bersamaan. Tetapi hal ini memunculkan masalah lain yaitu hardware failure yang disebabkan cukup tingginya kemungkinan hardware mengalami kerusakan.

II. STUDI LITERATUR

Hadoop merupakan sebuah framework yang digunakan untuk penyimpanan dan pemrosesan data dengan jumlah yang banyak. Hadoop memiliki dua buah komponen framework utama dalam melakukan tugasnya yaitu HDFS (Hadoop Distributed File System) dan MapReduce. HDFS merupakan media penyimpanan data dalam jumlah yang besar dalam suatu cluster secara terdistribusi. MapReduce memiliki dua fase dalam melakukan pemrosesan data atau mengolah data yang tersimpan secara terdistribusi yaitu dibagi menjadi dalam fase map dan fase reduce. [2]

Pada paper ini akan dilakukan percobaan untuk menganalisa performa hadoop dalam melakukan proses wordcount pada

Raspberry pi 2 Model B. Percobaan yang akan dilakukan akan dilakukan dengan 4 jenis percobaan dimana setiap percobaan dikondisikan berbeda seperti jumlah node yang digunakan, jenis memory yang digunakan, peran raspberry pi sebagai

node, dan kondisi meningkatkan clock CPU raspberry pi. Analisa yang akan dilakukan meliputi lama eksekusi proses wordcount dan kondisi rata-rata CPU pada saat menjalankan wordcount.

III. PERANCANGAN SISTEM

Untuk melakukan analisa pada paper ini menggunakan Raspberry pi Model B dan Raspberry pi 2 Model B.

Analisa Hadoop Cluster Dengan Raspberry pi

Model B+ dan Raspberry pi 2 Model B Studi

Kaskus Wordcount

Muhammad Rusyadi-125150300111008-Sistem Komputer, Rio Marrowsi-125150300111056-Sistem

Komputer, dan Hermawan Heri Wijaya-125150300111014-Sistem Komputer

(2)

Gambar 1. Raspberry pi 2 Model B

Spesifikasi Raspberry pi 2 Model B menggunakan CPU ARM Cortex- A7 900 Mhz Quad-core. Memory 1GB, Broadcom Videocore IV untuk GPU dengan daya 4.0 W. Menggunakan HDMI dan composite untuk output dan 10/100 Mbits-1 ethernet adaptors. Memory yang digunakan dalam melakukan percobaan ini ada 2 jenis yaitu menggunakan class 10 dan class 6 dengan kapasitas 16 GB.

Untuk software yang digunakan dalam melakukan analisa menggunakan nmon. Nmon merupakan sebuah software untuk memonitoring kondisi CPU dan memoryRaspberry pi. Selain itu data yang akan diproses merupakan data file berekstensi .txt berukuran sebesar 900 MB.

A. Skenario Percobaan Pertama

Pada percobaan pertama digunakan tiga buah node dimana masing-masing node memiliki peran yang berbeda. Node 1 berperan sebagai namenode (master) sekaligus sebagai datanode (slave), selanjutnya untuk node 2 dan node berperan sebagai datanode. Memory yang digunakam pada node 1 dan node 2 adalah 16 GB class 10, sedangkan pada node 3 menggunakan 16 memory 16 GB class 6. Hal ini dilakukan untuk menguji performa Raspberry pi dalam memproses wordcount dengan file berukuran sebesar 900 MB.

B. Skenario Percobaan Kedua

Pada percobaan kedua ini skenario jumlah node dan memory yang digunakan sama seperti percobaan sebelumnya namun konfigurasi slaves pada node berbeda dimana pada node 1 yang sebelumnya berperan sebagai namenode dan data node, pada percobaan kedua dikonfigurasikan hanya berperan sebagai namenode (master) saja. Hal ini dilakukan untuk menganalisa apakah terjadi perubahan performa karena pengaruh jumlah datanode yang digunakan dalam melakukan proses wordcount.

C. Skenario Percobaan Ketiga

Pada percobaan ketiga ini dilakukan overclock ke semua node sehingga clock CPU menjadi 1GHz. Skenario yang digunakan masih sama dengan percobaan sebelumnya dengan node1 sebagai namenode (master) sedangkan node 2 dan node 3 sebagai datanode (slave). Selain itu ukuran dari blok dikonfigurasi ulang menjadi 10 MB. Hal ini dilakukan untuk menganalisa apakah dengan melakukan overclock pada Raspberry pi dan merubah ukuran blok dapat mempengaruhi performa dalam menjalankan proses wordcount.

D. Skenario Percobaan Keempat

Pada percobaan keempat ini kondisi Raspberry pi masih

dalam overclock sama seperti percobaan sebelumnya, namun ada sedikit perbedaan scenario dimana node 1 juga difungsikan sebagai datanode. Hal ini dilakukan untuk menganalisa apakah terjadi perubahan dalam pemprosesan wordcount.

E. Skenario Percobaan Kelima

Pada percobaan kelima ini akan digunakan hardware yang berbeda pada node2 yaitu dengan menggunakan Raspberry pi Model B dengan spesifikasi dibawah hardware yang dipakai oleh node 1 dan node 3 yaitu Raspberry pi 2 Model B. Kondisi CPU pada node 1 dan node 2 di overclock menjadi 1 GHz sedangkan untuk node 2 tidak dilakukan overclock. Peran node 1 adalah sebagai namenode saja, node 2 dan node 3 sebagai datanode.

F. Skenario Percobaan Keenam

Pada percobaan keenam ini digunakan satu buah node saja yang berperan sebagai namenode sekaligus datanode. Hal ini dilakukan untuk mengetahui performa Raspberry pi dalam melakukan proses wordcount.

G. Skenario Percobaan Ketujuh

Pada percobaan ketujuh ini digunakan dua buah node dengan hardware yang sama. Node 1 masih berepran sama seperti percobaan sebelumnya dan node 2 sebagai datanode saja. Hal ini dilakukan untuk menganalisa apakah ada peningkatan performa dengan ditambahkan jumlah node dalam cluster.

H. Skenario Percobaan Kedelapan

Pada percobaan kedelapan ini masih menggunakan scenario yang sama dengan percobaan sebelumnya, namun yang membedakannya adalah peran node1 hanya sebagai namenode saja.

IV. IMPLEMENTASI SISTEM A. Konfigurasi Awal

Dalam implementasinya, ada beberapa konfigurasi yang dilakukan pada Raspberry pi sebelum melakukan percobaan yaitu:

1) Konfigurasi Network

Untuk mengkonfigurasi network, pada terminal lakukan perintah /etc/network/interfaces.

Gambar 2. Konfigurasi Network 2) Konfigurasi Java Environment

Dengan menggunakan image raspbian 2014-09-09- wheezy-raspbian.img Java sudah terinstall, untuk melakukan verifikasi lakukan:

(3)

Gambar 3. Konfigurasi Java Environment 3) Membuat User Account dan Group Hadoop Untuk mebuat sebuah user dan group hadoop lakukan:

Gambar 4. User Account dan Group Hadoop 4) Konfigurasi SSH

SSH RSA tanpa password dibuat agar antar node dapat saling terintegrasi tanpa perlu menginputkan password.

Gambar 5. Konfigurasi SSH 5) Konfigurasi Hadoop

Ada beberapa konfigurasi yang dilakukan sebelum menjalankan hadoop yaitu melakukan konfigurasi pada core-site.xml, mapred-site.xml, hdfs-site.xml, serta membuat HDFS file system.

Gambar 9. Raspberry pi 2 Model B 6) Konfigurasi Host

Untuk melakukan konfigurasi host, gunakan editor dan arahkan ke /etc/hosts

Gambar 10. Raspberry pi 2 Model B 7) Konfigurasi Master

Untuk melakukan konfigurasi master, gunakan editor dan arahkan ke /opt/hadoop/conf/masters dan ketikkan node1 untuk menjadikan master kepada node1.

8) Clone Node1

Proses clone dilakukan untuk mempersingkat waktu, dikarenakan konfigurasi default sudah ada pada node1, sehingga konfigurasi tersebut tinggal diclone pada memory node2 dan node3

9) Konfigurasi Node2 dan Node3

Pada node2 dan node3 lakukan konfigurasi di bagian host dan konfigurasi interfaces.

A. Konfigurasi Percobaan Pertama

Pada percobaan pertama ini, dilakukan konfigurasi ulang slaves agar node 1 dapat berperan sebagai datanode. Letak konfigurasi berada pada /opt/hadoop/conf/slaves dengan menambahkan node1 didalamnya.

Gambar 11. Konfigurasi /opt/hadoop/conf/slaves B. Konfigurasi Percobaan Kedua

Pada percobaan kedua ini, dilakukan konfigurasi ulang pada slaves untuk menghapus node 1 agar node 1 hanya berperan sebagai namenode saja.

C. Konfigurasi Percobaan Ketiga

Pada percobaan ketiga ini, dilakukan overclock ke semua node menjadi 1GHz. Selain itu scenario konfigurasi slave masih sama seperti percobaan sebelumnya. Pada percobaan ini dilakukan konfigurasi ulang ukuran dari blok menjadi 10 MB yang awalnya 64 MB. Konfigurasi untuk merubah ukuran blok terdapat di dalam conf/hdfs-site.xml

Gambar 12. Konfigurasi Overclock CPU Raspberry Pi D. Konfigurasi Percobaan Keempat

Pada percobaan keempat ini masih menggunakan konfigurasi clock dan ukuran blok yang sama seperti percobaan sebelumnya, namun ditambahkan node1 pada konfigurasi slave yang berada pada /opt/Hadoop/slaves.

(4)

Gambar 13. Konfigurasi Ukuran Blok E. Konfigurasi Percobaan Kelima

Pada percobaan kelima konfigurasi yang digunakan sama seperti percobaan keempat yang membedakan hanya penggunaan hardware saja.

F. Konfigurasi Percobaan Keenam

Pada percobaan keenam ini konfigurasi yang dilakukan ada mengubah jumlah host dan slaves karena hanya menggunakan 1 node.

G. Konfigurasi Percobaan Ketujuh

Pada percobaan ketujuh ini dilakukan konfigurasi penambahan host dan slaves dikarenakan jumlah node pada percobaan ketujuh adalah dua buah node.

H. Konfigurasi Percobaan Kedelapan

Pada percobaan kedelepan ini dilakukan konfigurasi pada slaves dengan menghapus node1 sehingga hanya berperan sebagai namenode saja.

V. UJI COBA DAN EVALUASI A. Percobaan Pertama

Pada percobaan pertama didapatkan lama pemprosesan wordcount selama 13 menit dengan kondisi rata-rata penggunaan CPU tiap node adalah 60% pada node 1, 55% pada node 2 dan 50% pada node 3. Untuk kondisi RAM pada node 1 tersisa 2%, node 2 tersisa 41% dan node 3 tersisa 23%. Dan yang terakhir adalah kondisi Disk I/O dimana tingkat kesibukannya adalah mencapai 100% pada node 1 sedangkan pada node 2 dan node 3 hanya 1-2%.

Kondisi Estimasi

Lama Proses 13 Menit

Rata-rata CPU Node 1= 60%

Node 2= 55% Node 3= 50%

Free RAM Node 1= 2%

Node 2= 41% Node 3= 23%

Disk I/O Busy Node 1= 100%

Node 2= 1-2% Node 3= 1-2% Tabel 1. Percobaan1 B. Percobaan Kedua

Pada percobaan kedua didapatkan lama pemprosesan wordcount selama 18 menit 13 detik dengan kondisi rata-rata-rata penggunaan CPU tiap node adalah 0% pada node 1, 86% pada node2 dan 94% pada node3. Kondisi RAM pada node 1 tersisa 1,6%, node 2 tersisa 4,4% dan node 3 tersisa 1,7%. Untuk kondisi Disk I/O dimana tingkat kesibukannya adalah 1-2% pada node 1 sedangkan pada node 2 adalah 55 % dan node 3 sebesar 55%.

Kondisi Estimasi

Lama Proses 18 Menit 13 detik

Node 2= 86% Node 3= 94%

Free RAM Node 1= 1,6%

Node 2= 4,4% Node 3= 1,7%

Disk I/O Busy Node 1= 1-2%

Node 2= 55% Node 3= 55% Tabel 2. Percobaan 2 C. Percobaan Ketiga

Pada percobaan ketiga didapatkan lama pemprosesan wordcount selama 20 menit 50 detik dengan kondisi rata-rata-rata penggunaan CPU tiap node adalah 0% pada node 1, 60% pada node 2 dan 55% pada node 3. Kondisi RAM pada node 1 tersisa 1,6%, node 2 tersisa 1,4% dan node 3 tersisa 1,2%. Untuk kondisi Disk I/O dimana tingkat kesibukannya adalah 1-2% pada node 1 sedangkan pada node 2 adalah 50 % dan node 3 sebesar 50%.

Kondisi Estimasi

Node 2= 60% Node 3= 55%

Node 2= 1,4% Node 3= 1,2%

Disk I/O Busy Node 1= 1-2%

Node 2= 50% Node 3= 50% Tabel 3. Percobaan 3 D. Percobaan Keempat

Pada percobaan keempat didapatkan lama pemprosesan wordcount selama 14 menit 38 detik dengan kondisi rata-rata penggunaan CPU tiap node adalah 60% pada node 1, 55% pada node 2 dan 55% pada node 3. Untuk kondisi RAM pada node 1 tersisa 1,5%, node 2 tersisa 47,2% dan node 3 tersisa 33,5%. Dan yang terakhir adalah kondisi Disk I/O dimana tingkat kesibukannya adalah mencapai 100% pada node 1 sedangkan pada node 2 dan node 3 hanya 1-2%.

Kondisi Estimasi

Node 2= 55% Node 3= 55%

Node 2= 47,2% Node 3= 33,5%

Disk I/O Busy Node 1= 100%

Node 2= 1-2% Node 3= 1-2% Tabel 4. Percobaan 4 E. Percobaan Kelima

Pada percobaan kelima ini didapatkan kondisi CPU rata-rata pada node 1 sebesar 60%, pada node 2 95-100% dan pada node 3 sebesar 55%. Untuk lama pemprosesan wordcount didapatkan 20 menit 13 detik.

Kondisi Estimasi

(5)

Rata-rata CPU Node 1= 60% Node 2= 95%-100% Node 3= 55% Tabel 5. Percobaan 5 F. Percobaan Keenam

Pada percobaan keenam ini didapatkan kondisi CPU rata-rata pada Raspberry sebesar 52.5% dengan lama waktu 24 Menit 10 detik.

Kondisi Estimasi

Lama Proses 24 Menit 10 detik Rata-rata CPU Node 1= 52,5%

Tabel 6. Percobaan 6 G. Percobaan Ketujuh

Pada percobaan keenam ini didapatkan kondisi CPU rata-rata pada node 1 sebesar 63% dan node 2 sebesar 64%dengan lama waktu 19 Menit 24 detik.

Kondisi Estimasi

Lama Proses 19 Menit 24 detik Rata-rata CPU Node 1= 63%

Node 2= 64% Tabel 7. Percobaan 7 H. Percobaan Kedelapan

Pada percobaan keenam ini didapatkan kondisi CPU rata-rata pada node 1 sebesar 67% dan node 2 sebesar 90% dengan lama waktu 1 Jam 48 Menit 6 detik.

Kondisi Estimasi

Lama Proses 1 Jam 48 menit 6 detik Rata-rata CPU Node 1= 67%

Node 2= 90% Tabel 8. Percobaan 8 I. Evaluasi

Dapat dilihat dari hasil percobaan yang sudah dilakukan bahwa dengan menjadikan node1 sebagai datanode sekaligus sebagai namenode dapat mengoptimalkan lama waktu pemprosesan data seperti yang dilakukan pada percobaan pertama dan keempat. Sedangkan pada kondisi node 1 yang hanya dijadikan sebagai namenode saja maka lama pemprosesan akan meningkat seperti grafik yang ada pada grafik 20.

Gambar 14. Grafik Lama Pemprosesan tiap percobaan (detik)

Namun dalam menjadikan node 1 sebagai datanode dan namenode sekaligus membuat RAM yang bebas menjadi tidak seimbang dengan node lain yang ada di cluster. Hal ini terjadi dikarenakan pekerjaan node 1 yang lebih banyak karena selain menjadi datanode juga berperan sebagai namenode. Kondisi terbalik terjadi pada scenario yang menjadikan node 1 hanya sebatas namenode saja dimana kondisi RAM yang bebas menjadi seimbang dikarenakan node yang lain juga ikut memproses data seperti yang terlihat pada grafik.

Gambar 15. Grafik Free RAM

Untuk kondisi penggunaan rata-rata CPU didapatkan hasil 0% apabila mengkondisikan node 1 hanya sebagai namenode atau master saja, hal ini dapat dilihat dari percobaan pertama dan keempat. Kondisi lainnya didapat ketika node satu berperan juga sebagai datanode yang menyebabkan pemakaian CPU menjadi hamper sama di setiap node.

Evaluasi selanjutnya adalah mengenai pengaruh penggunaan hardware seperti memory dengan class yang berbeda. Dapat dilihat dari hasil percobaan setiap node 2 pasti memiliki nilai free RAM yang lebih tinggi daripada node 3, hal ini dikarenakan node 2 menggunakan memory class 10 dan node 3 menggunakan class 6.

Gambar 16. Grafik Disk I/O Busy

Hasil pengujian dengan meningkatkan clock juga berpengaruh dalam performa pemprosesan data. Dapat dilihat pada percobaan 4 dan 5 dimana kondisi semua clock CPU pada node ditingkatkan menjadi 1GHz. Dengan mengubah ukuran blok menjadi lebih kecil yaitu 10 MB seharusnya menjadikan jumlah blok menjadi semakin 780 1093 1220 878 1213 1450 1164 4146 0 2000 4000 6000

Lama Pemprosesan

De7k 0 10 20 30 40 50 Percobaan

1 Percobaan 2 Percobaan 3 Percobaan 4 Percobaan 5 Node1 Node2 Node3

0 50 100 150

Percobaan

1 Percobaan 2 Percobaan 3 Percobaan 4

Disk I/O Busy

(6)

banyak dan itu membuat pemprosesan wordcount menjadi semakin lama, tetapi dengan dilakukan overclock maka lama pemprosesan dapat dioptimalkan. Hal ini dapat dilihat dari percobaan 4 dan percobaan 1 dengan scenario yang sama, lama pemprosesan hampir mendekati percobaan 1 dengan jumlah blok yang lebih sedikit karena menggunakan ukuran 64 MB. Selain itu juga berdampak pada free RAM dimana pada hardware yang dioverclock mempunyai free RAM yang lebih besar. Pada percobaan kelima terjadi failure hardware yang dialami oleh node 2 dan melakukan reboot ketika CPU mencapai 100% dalam jangka waktu yang panjang. Ini disebabkan karena node 2 tidak dapat mengimbangi performa dari node 1 dan node 3 yang sudah dioverclock dan memiliki hardware yang lebih tinggi dibandingkan node 2 yang tidak di overclock dan spesifikasi hardware yang digunakan lebih rendah.

Gambar 17. Grafik Lama Pemprosesan per node (detik) VI. KESIMPULAN

Dari hasil beberapa kali percobaan yang dilakukan dengan kondisi yang berbeda dapat dapat diambil beberapa kesimpulan, yaitu:

• Raspberry pi mampu menjalankan proses wordcount

Hadoop dengan baik dan dapat dijadikan sebagai media untuk mempelajari Hadoop Cluster.

• Dengan melakukan overclock maka dapat meningkatkan

performa Raspberry pi dalam melakukan pemprosesan data.

• Penggunaan jenis memory yang lebih baik memilki

peran untuk meningkatkan Free RAM pada Raspberry pi.

• Perbedaan spesifikasi hardware yang berbeda dalam satu

cluster dapat menyebabkan failure hardware karena akan ada hardware yang tidak dapat mengimbangi performa

hardware lainnya yang memiliki spesifikasi lebih tinggi.

• Untuk meningkatkan performa cluster dalam memproses

data dapat menjadikan peran node master tidak hanya sebagai namenode namun juga dijadikan sebagai datanode.

REFERENSI

[1] Nurtam, Mohammad Riza “Data Clustering Pada Penjualan Komoditas Pertanian Taiwan Dengan Hadoop Platform,” digilib-‐its, Surabaya. [2] Anonymous “The International Workshop on Big Data and Smart

Sustainable Society,” Internet: www2.docm.mmu.ac.uk/STAFF/L.Han /BigData-2015/index.htm, [June. 20, 2015]

Muhammad Rusyadi merupakan mahasiswa

sistem komputer fakultas ilmu komputer Universitas Brawijaya Malang. Berasal dari kota Banjarbaru Kalimantan Selatan dia masuk pada tahun 2012 dan pada saat ini duduk di semester 6. Keminatannya adalah pada bidang kecerdasan buatan dan embedded system.

Rio Marrowsi merupakan mahasiswa sistem

komputer fakultas ilmu komputer Universitas Brawijaya Malang. Berasal dari kota yang sama dengan Rusyadi Banjarbaru Kalimantan Selatan dia masuk pada tahun 2012 dan pada saat ini duduk di semester 6. Keminatannya adalah pada bidang Unmaned Aerial Vehicle.

Hermawan Heri Wijaya merupakan

mahasiswa sistem komputer fakultas ilmu komputer Universitas Brawijaya Malang. Berasal dari kota yang sama dengan penulisan yang lainnya yaitu Banjarbaru. Keminatannya adalah pada bidang Wireless Sensor Network dan embedded system. 0 1000 2000 3000 4000 5000

1 Node 2 Node 3 Node

Percobaan 1 Percobaan 2 Percobaan 3 Percobaan 4 Percobaan 5 Percobaan 6