FACULTE DES SCIENCES RABAT

Lab-Hbase
Tuto -

Réalisé Par : HACHAD Zakaria

Sommaire
Adressage utilisé .................................................................................................................................3
Installation de Hadoop cluster ............................................................................................................5
1. mise a jour de l'environnement et ajout de hduser ..............................................................6
2. installer SSH ........................................................................................................................6
3. Disabling IPv6 ......................................................................................................................7
4. Télécheger Hadoop : .........................................................................................................7
5. Update $HOME/.bashrc .......................................................................................................7
6. Configuration ......................................................................................................................7
hadoop-env.sh: .........................................................................................................................7
conf/*-site.xml ...........................................................................................................................7
Modify /etc/hosts ..........................................................................................................................8
Cluster configuration : ..................................................................................................................9
Formater the HDFS filesystem via the NameNode ...................................................................9
démarrer node cluster ..................................................................................................................9
Install Hbase ..................................................................................................................................... 10
Install HBase -Distributed Mode .................................................................................................... 11
hbase-site.xml ........................................................................................................................... 11
Démarré HBase ............................................................................................................................. 11
Démarré HBase Shell..................................................................................................................... 12
I. Zookeeper................................................................................................................................. 13
Téléchargez et installez JDK:.......................................................................................................... 14
Install zookeeper seulement sur les master node et Zookeeper machine ...................................... 14

2
Adressage
utilisé

3
chemin : /etc/hosts
zookeeper 192.168.1.10

Master1 192.168.1.1

slave1 192.168.1.2

Master2 192.168.1.3

slave2 192.168.1.4

4
Installation
de Hadoop
cluster

5
 I. mise a jour de l'environnement et ajout de hduser
$ sudo apt-get update
$ sudo apt-get install openjdk-7-jdk

$ sudo addgroup hadoop

$ sudo adduser --ingroup hadoop hduser
$ su hduser

Téléchargez et installez JDK:

1. installer SSH
$sudo apt install openssh-server
$ ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hduser/.ssh/id_rsa):
Created directory '/home/hduser/.ssh'.
Your identification has been saved in /home/hduser/.ssh/id_rsa.
Your public key has been saved in /home/hduser/.ssh/id_rsa.pub.
The key fingerprint is:
80:36:b8:8d:04:32:d2:d2:d8:ef:02:ff:01:a4:c5:63 hduser@precise64
The key's randomart image is:
+--[ RSA 2048]----+
|=* |
|=oE. . |
| *oo+ . |
|o..=.. . |
| ooo. S |
| o o |
| o . |
| . |
| |
+-----------------+

6
 2. Disabling IPv6
accédé au chemin : /etc/sysctl.conf

# disable ipv6
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

pour vérifier que IPv6 est désactiver

$ cat /proc/sys/net/ipv6/conf/all/disable_ipv6

3. Télécheger Hadoop :
$ cd /usr/local
$ sudo tar xzf hadoop-1.0.3.tar.gz
$ sudo mv hadoop-1.0.3 hadoop
$ sudo chown -R hduser:hadoop hadoop

4. Update $HOME/.bashrc

5. Configuration

hadoop-env.sh:
La seule variable d'environnement requise que nous devons configurer pour Hadoop est JAVA_HOME.
Ouvrez conf / hadoop-env.sh dans l'éditeur Gedit, le chemin d'accès complet est /usr/local/hadoop/conf/hadoop-
env.sh) et définissez JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-8-sun

export JAVA_HOME=`/usr/libexec/java_home`

conf/*-site.xml
Nous créons maintenant le répertoire et définissons les propriétés et les autorisations requises:
$ sudo mkdir -p /app/hadoop/tmp
$ sudo chown hduser:hadoop /app/hadoop/tmp
$ sudo chmod 750 /app/hadoop/tmp

7
Ajoutez les extraits suivants entre
<configuration> ... </ configuration>

Dans le fichier: conf/core-site.xml :

<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:54310</value>
</property>

Dans le fichier: conf/mapred-site.xml :

<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://localhost:54310</value>
</property>

Dans le fichier: conf/mapred-site.xml :

<property>
<name>mapred.job.tracker</name>
<value>localhost:54311</value>
</property>

Dans le fichier: conf/hdfs-site.xml :

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

Modify /etc/hosts
# /etc/hosts (for master AND slave)
192.168.1.1 master
192.168.1.2 master1
192.168.1.3 slave
192.168.1.4 slave1
192.168.1.10 Zookeeper

8
Cluster configuration :
1. Modifier /usr/local/hadoop/conf/masters sur master machine
master

2. Modifier /usr/local/hadoop/conf/slaves sur master machine

master
slave

Formater the HDFS filesystem via the NameNode

hduser@ubuntu:~$ /usr/local/hadoop/bin/hadoop namenode -format

démarrer node cluster

hduser@ubuntu:~$ /usr/local/hadoop/bin/start-all.sh

9
Install Hbase

10
 II. Install HBase -Distributed Mode
Hbase doit être installer sur les quatre machines

master master

slave slave1

hbase-site.xml
Editer le fichier hbase-site.xml

<property>

<name>hbase.cluster.distributed</name>

<value>true</value>

</property>

<property>

<name>hbase.rootdir</name>

<value>hdfs://localhost:8030/hbase</value>

</property>

Démarré HBase
$./bin/start-hbase.sh

11
III. Démarré HBase Shell
$ hbase shell

12
I. Zookeeper

13
IV. Téléchargez et installez JDK:

V. Install zookeeper seulement sur les master node et Zookeeper

machine
$cd opt/
$ tar -zxf zookeeper-3.4.6.tar.gz
Edit /home/hadoop/hbase/conf/hbase-site.xml, put the following in between <configuration> and
</configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:54310/hbase </value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master</value>
</property>

sur la machine zookeeper il doit être Leader :

14
15
sur les deux machines Master et Master1 zookeeper doit être Follower :

Config :

hduser@zookeeper:/opt/zookeeper-3.4.9$ gedit zoo.cfg

tickTime = 2000
syncLimit = 5
dataDir = /tmp/zookeeper
clientPor t= 2181
server.1=zookeeper:2888:3888
server.2=slave1:2888:3888
server.3=master:2888:3888

16