tidak terstruktur
BAB 3 Teknologi dan Tools Big Data (Bagian 1) Big Data (Bagian 1)
3.3 Konfigurasi Hadoop Single Node Cluster di Linux Cluster di Linux
3.3.3 Konfigurasi dengan HUE
Hue adalah antarmuka berbasis Web untuk memudahkan dalam memonitoring atau memanage (create, delete, edit, etc) data HDFS pada Apache Hadoop. Dan bisa diinstal di pc/notebook dengan versi hadoop manapun. Dan membuat “any users” untuk lebih fokus pada big data processing.
Gambar 3.53 About Hue
Cara kerja Hue Server adalah sebagai aplikasi web yang ada di antara instalasi Cloudera Distributed Hadoop (CDH) dan browser Anda. Hue akan berkomunikasi dengan berbagai server dan berinteraksi dengan komponen CDH.
Gambar 3.54 Cara kerja Hue Server
- Pastikan anda sudah install Hadoop
Gambar 3.55 JVM Process Status Tool (jps)
- Cek Hadoop Version
Gambar 3.56 Cek Hadoop Version nidos@Master:~$ su hduser Password: hduser@Master:/home/nidos$ cd hduser@Master:~$ start-all.sh hduser@Master:~$ jps 3343 NameNode 3985 NodeManager 3843 ResourceManager 3469 DataNode 3633 SecondaryNameNode 4276 Jps hduser@Master:~$
- Masuk ke Terminal
Gambar 3.57 sudo apt-get install git
- Lakukan git clone, tunggu beberapa waktu
Gambar 3.58 Lakukan git clone nidos@Master:~$ sudo apt-get install git
nidos@Master:~$ git clone
- Download Hue Selesai
Gambar 3.59 Download Hue Selesai
- Install library development packages dan tools
Gambar 3.60 Install library development packages dan tools hduser@Master:/usr/local/hue$ sudo apt-get install python2.7-dev make libkrb5-dev libxml2-dev libffi-dev libxslt-dev libsqlite3-dev libssl-dev libldap2-dev python-pip
sudo apt-get install ant gcc g++ libkrb5-dev libffi-dev libmysqlclient-libffi-dev libssl-libffi-dev libsasl2-libffi-dev libsasl2-modules-gssapi-mit libsqlite3-dev libtidy-0.99-0 libxml2-dev libxslt-dev make libldap2-dev maven python-dev python-setuptools libgmp3-dev
- Install library development packages dan tools, selesai
Gambar 3.61 Install library development packages dan tools, selesai
- Masuk ke hduser
Gambar 3.62 Masuk ke hduser
sudo apt-get install ant gcc g++ libkrb5-dev libffi-dev libmysqlclient-libffi-dev libssl-libffi-dev libsasl2-libffi-dev libsasl2-modules-gssapi-mit libsqlite3-dev libtidy-0.99-0 libxml2-dev libxslt-dev make libldap2-dev maven python-dev python-setuptools libgmp3-dev
hduser@Master:~$ cp -R /home/nidos/Downloads/hue/ /usr/local/
hduser@Master:~$ chmod 777 -R /usr/local/hue/ hduser@Master:~$ chown hduser:hadoop -R /usr/local/hue/
- Masuk ke directory hue
Hue dan pengembangannya dengan Django. Django adalah web framework Python yang didesain untuk membuat aplikasi web yang dinamis, kaya fitur dan aman. Django yang dikembangkan oleh Django Software Foundation terus mendapatkan perbaikan sehingga membuat web framework yang satu ini menjadi pilihan utama bagi banyak pengembang aplikasi web.
- Jika muncul error
Gambar 3.63 Error ketika make apps Hue ke-1
- Coba update beberapa komponen berikut (X):
Gambar 3.64 Update beberapa komponen hduser@Master:~$ cd /usr/local/hue/ hduser@Master:/usr/local/hue$ make apps
- Jika muncul error
Gambar 3.65 Error ketika make apps Hue ke-2
- Hapus folder /usr/local/hue
- Download lagi file hue yang baru, masukkan ke folder /usr/lo-cal/hue
hduser@Master:~$ sudo rm –R /usr/local/hue
Misal anda sudah mendownload-nya di folder
/home/nidos/Download/hue, maka cukup copykan ke folder /usr/local/hue
hduser@Master:~$ sudo cp –R /home/nidos/Download/hue /usr/local/hue
hduser@Master:~$ cd /usr/local/hue hduser@Master:/usr/local/hue$ ls –l
Pastikan Owner dan Nama Group –nya keduanya adalah root. Lalu ketikkan
hduser@Master:/usr/local/hue$ sudo make apps Tunggu beberapa waktu
- Lakukan “sudo make apps” lagi
Gambar 3.66 Install Hue, selesai. :D
- Jalankan Server Hue
Gambar 3.67 Jalankan Server Hue hduser@Master:/usr/local/hue$ sudo make apps
hduser@Master:/usr/local/hue$ sudo build/env/bin/hue runserver
- Starting development server pada http://127.0.0.1:8000/
Gambar 3.68 Starting pada http://127.0.0.1:8000
- Set Username dan Password, misal “username=hduser” dan “password=ab”
- Tampilan 1 Hue setelah login
Gambar 3.70 Tampilan Hue ke-1
- Tampilan 2 Hue
- Load HDFS dari Hue, klik
Gambar 3.72 Load HDFS dari Hue
jika Hadoop belum dijalankan, maka akan muncul error “Cannot access: /. The HDFS REST service is not available. Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup".”
- Jalankan Hadoop
- Jika masih muncul error “Cannot access: /. Note: ..., "hdfs" or part
of HDFS supergroup, "supergroup".” Ketikkan
Gambar 3.73 Solusi ke-1 Error pada Hue hduser@Master:~$ start-all.sh
hduser@Master:~$ sudo gedit
/usr/local/hue/desktop/conf/pseudo-distributed.ini Pada baris “fs_defaultfs=hdfs://localhost:8020” ubah menjadi “fs_defaultfs=hdfs://localhost:50070”, dan
baris “## default_hdfs_superuser=hdfs” ubah jadi
Gambar 3.74 Solusi ke-2 Error pada Hue
- Setting file “hdfs-site.xml” untuk mengaktifkan WebHDFS pada
NameNode dan DataNodes:
hduser@Master:~$ sudo gedit
/usr/local/hue/desktop/conf/pseudo-distributed.ini Pada baris “fs_defaultfs=hdfs://localhost:8020” ubah menjadi “fs_defaultfs=hdfs://localhost:50070”, dan pada baris “## default_hdfs_superuser=hdfs” ubah
menjadi “default_hdfs_superuser=hduser” lalu restart
Hue.
hduser@Master:~$ sudo gedit
/usr/local/hadoop/etc/hadoop/hdfs-site.xml
Di dalam file hdfs-site.xml, tambahkan kode berikut: <property>
<name>dfs.webhdfs.enabled</name> <value>true</value>
- Setting file “core-site.xml” untuk mengkonfigurasi Hue sebagai proxy user untuk semua pengguna dan grup lain, yang berarti per-mintaan apapun dapat diajukan juga atas nama pengguna lain:
Gambar 3.76 Setting file “core-site.xml” hduser@Master:~$ sudo gedit
/usr/local/hadoop/etc/hadoop/core-site.xml
Di dalam file core-site.xml, tambahkan kode berikut: <property> <name>hadoop.proxyuser.hue.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hue.groups</name> <value>*</value> </property>
- Kemudian, jika Namenode ada di host lain selain Hue, jangan lupa
update di file “hue.ini” Part 1 of 7:
Gambar 3.77 Edit file “hue.ini” Part 1 of 7 hduser@Master:~$ sudo gedit
/usr/local/hue/desktop/conf.dist/hue.ini
[hadoop]
[[hdfs_clusters]] [[[default]]]
# Enter the filesystem uri
fs_defaultfs=hdfs://localhost:8020
# Use WebHdfs/HttpFs as the communication mechanism.
# Domain should be the NameNode or HttpFs host.
- Kemudian, jika Namenode ada di host lain selain Hue, jangan lupa
update di file “hue.ini” Part 2 of 7:
Gambar 3.78 Edit file “hue.ini” Part 2 of 7
Pada YARN, Resource Manager, secara default sering diset pada http://localhost:8088
Server ProxyServer dan Job History juga perlu ditentukan. Kemudian Job Browser akan mengijikan Anda mendaftar dan terminate aplikasi yang sedang berjalan dan mendapatkan log mereka.
[hadoop]
[[yarn_clusters]] [[[default]]]
# Enter the host on which you are running the ResourceManager
resourcemanager_host=localhost
# Whether to submit jobs to this cluster submit_to=True
# URL of the ResourceManager API
resourcemanager_api_url=http://localhost:8088
# URL of the ProxyServer API
proxy_api_url=http://localhost:8088
# URL of the HistoryServer API
- Kemudian, jika Namenode ada di host lain selain Hue, jangan lupa
update di file “hue.ini” Part 3 of 7:
Catatan:
Jika HiveServer2 berada di komputer lain dan Anda menggunakan konfigurasi HiveServer2 dengan security dan customized, maka Anda perlu menyalin hive-site.xml pada mesin Hue juga:
Gambar 3.79 Edit file “hue.ini” Part 3 of 7 Pada Hive, kita butuh HiveServer2 yang sedang berjalan untuk mengirimkan query SQL.
[beeswax]
# Host where HiveServer2 is running. hive_server_host=localhost
[beeswax]
# Host where HiveServer2 is running. hive_server_host=localhost
# Hive configuration directory, where hive-site.xml is located</span>
- Kemudian, jika Namenode ada di host lain selain Hue, jangan lupa
update di file “hue.ini” Part 4 of 7:
Gambar 3.80 Edit file “hue.ini” Part 4 of 7
- Kemudian, jika Namenode ada di host lain selain Hue, jangan lupa
update di file “hue.ini” Part 5 of 7:
Gambar 3.81 Edit file “hue.ini” Part 5 of 7
Pada Impala, perlu menentukan salah satu alamat Impalad untuk SQL interaktif di aplikasi Impala.
[impala]
# Host of the Impala Server (one of the Impalad) server_host=localhost
Pada Solr Search, perlu menentukan alamat Solr Cloud (atau non Cloud Solr), maka kemampuan dasbor
interaktif bisa digunakan!
[search]
# URL of the Solr Server
- Kemudian, jika Namenode ada di host lain selain Hue, jangan lupa
update di file “hue.ini” Part 6 of 7:
Gambar 3.82 Edit file “hue.ini” Part 6 of 7
- Kemudian, jika Namenode ada di host lain selain Hue, jangan lupa
update di file “hue.ini” Part 7 of 7:
Gambar 3.83 Edit file “hue.ini” Part 7 of 7
Pada Oozie, Oozie server harus aktif dan berjalan sebelum submitting atau monitoring workflows.
[liboozie]
# The URL where the Oozie service runs on. oozie_url=http://localhost:11000/oozie
Pada Hbase, memungkinkan Anda browse, query dan mengedit tabel.
[hbase]
# Comma-separated list of HBase Thrift server 1 for clusters in the format of '(name|host:port)'. hbase_clusters=(Cluster|localhost:9090)
- Cara untuk memblacklist app agar tidak aktif di Hue
- Link lainnya Hue
- Jalankan lagi Hadoop:
Gambar 3.84 Jalankan lagi Hadoop
Pada file “pseudo-distributed.ini” atau “hue.ini”
hduser@Master:~$ sudo gedit
/usr/local/hue/desktop/conf/pseudo-distributed.ini Ubah kata “app_blacklist=” menjadi misal seperti berikut:
app_blacklist=search,security,oozie,jobbrowser,pig,b eeswax,search,zookeeper,impala,rdbms,spark,metastore ,hbase,sqoop,jobsub
hduser@Master:~$ sudo gedit
/usr/local/hue/desktop/conf.dist/hue.ini
Ubah kata “app_blacklist=” menjadi misal seperti berikut:
app_blacklist=search,security,oozie,jobbrowser,pig,b eeswax,search,zookeeper,impala,rdbms,spark,metastore ,hbase,sqoop,jobsub
Atau cukup blacklist (pada aplikasi yang belum di-install)
app_blacklist=oozie,pig,beeswax,impala,hbase
http://127.0.0.1:8000/accounts/login/?next=/about/ad min_wizard
- Jalankan lagi Hue:
Gambar 3.85 Jalankan lagi Hue
- Buka Hue di Web Browser di alamat “http://127.0.0.1:8000”, ma-sukkan misal user = “hduser” dan pwd = “ab”:
Gambar 3.86 Buka Hue di Web Browser
Berikut link file “pseudo-distributed.ini” dan
“hue.ini”: https://goo.gl/7uZAK5 yang digunakan.
hduser@Master:/usr/local/hue$ build/env/bin/hue runserver
- Tampilan HDFS pada Hue Vs HDFS default di Browser (1 of 4):
- Tampilan HDFS pada Hue Vs HDFS default di Browser (2 of 4):
- Tampilan HDFS pada Hue Vs HDFS default di Browser (3 of 4):
Gambar 3.89 Buka Hue di Web Browser 3
- Tampilan HDFS pada Hue Vs HDFS default di Browser (4 of 4):
