hadoop环境搭建（hadoop，hbase，zookeeper分布式部署）

硬件环境：

两台服务器：192.168.1.110 （master）192.168.1.129（slave1），兼容内外网

centos 7.1

cpu 2G

磁盘 100G

软件环境：

jdk 1.8.131

hadoop 3.1.2

hbase 1.4.9

zookeeper

部署步骤：

1，查看是否安装jdk，因为安装centos 6以上自带安装jdk，所以先检查jdk版本

#rpm -qa|grep java

或#rpm -qa|grep jdk

或 #rpm -qa|grep gcj

有则进行卸载：

#rpm -e --nodeps java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64

#rpm -e --nodeps java-1.7.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64

#rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

#rpm -e --nodeps java-1.7.0-openjdk-headless-1.8.0.131-11.b12.el7.x86_64

验证一下是还有jdk

#rpm -qa|grep java

#java -version

没有内容证明已经卸载干净了

2.安装jdk

2.1 下载jdk的安装包，解压

#tar -zxvf jdk-8u25-linux-x64.tar.gz

2.2 配置环境变量

#vi /etc/profile

2.3查看是否配置成功

3.安装单机hbase数据库

在官网下载版本 hbase 1.4.9，解压

#tar -zxvf hbase-1.4.9-bin.tar.gz

#mv hbase-1.4.9 hbase

#cd hbase

#mkdir -p data

#mkdir -p logs

#vi conf/hbase-env.sh

#vi conf/hbase-site.xml

# vi /etc/hosts

运行：

#bin/start-hbase.sh

集群部署：

一、基础环境准备

1、下载安装包（均使用当前最新的稳定版本，截止至2017年05月24日）

-- 下载 jdk-8u131

# wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

-- 下载 hadoop-2.7.3

# wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3

-- 下载 hbase-1.2.5

# wget http://mirror.bit.edu.cn/apache/hbase/1.2.5

-- 下载 zookeeper-3.4.10

# wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10

2、修改hosts文件（使用的三台集群主机默认IP为192.168.1.110、192.168.1.130）

# vim /etc/hosts--添加以下信息（master、slave1均需修改）

192.168.0.100 master

192.168.0.101 slave1

3、安装JDK

-- 解压jdk安装包

# mkdir /usr/java

# tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/java-- 拷贝jdk至slave1中

# scp -r /usr/java slave1:/usr - 设置jdk环境变量（master、slave1、均需修改）

# vim /etc/environment

JAVA_HOME=/usr/java/jdk1.8.0_131

JRE_HOME=/usr/java/jdk1.8.0_131/jre

# vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_131

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

4、设置免密登陆

slave1

# ssh-keygen -t rsa

# cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub

# scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/

master

# ssh-keygen -t rsa

# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

# cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys

-- 拷贝文件至slave1

# scp ~/.ssh/authorized_keys slave1:~/.ssh

5、关闭防火墙及SELINUX（master、slave1、slave2均需修改）

-- 关闭防火墙

# systemctl stop firewalld.service

# systemctl disable firewalld.service

-- 关闭SELINUX

# vim /etc/selinux/config

-- 注释掉

#SELINUX=enforcing

#SELINUXTYPE=targeted

-- 添加SELINUX=disabled

二、Hadoop环境搭建

1、解压缩安装包及创建基本目录

# tar -zxvf hadoop-2.7.3-x64.tar.gz -C /usr

# cd /usr/hadoop-2.7.3

# mkdir tmp logs hdf hdf/data hdf/name

2、修改hadoop配置文件

-- 修改 slaves 文件#

#vim /usr/hadoop-2.7.3/etc/hadoop/slaves

-- 删除 localhost，添加

slave1

slave2

3、复制hadoop到slave节点

# scp -r /usr/hadoop-2.7.3 slave1:/usr

# scp -r /usr/hadoop-2.7.3 slave2:/usr

4、配置 master 和 slave 的 hadoop 环境变量

# vim /etc/profile-- 添加如下内容

export HADOOP_HOME=/usr/hadoop-2.7.3

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATHexportHADOOP_LOG_DIR=/usr/hadoop-2.7.3/logs

export YARN_LOG_DIR=$HADOOP_LOG_DIR

-- 保存后执行

# source /etc/profile

# vim ~/.bashrc

-- 添加如下内容

export HADOOP_PREFIX=/usr/hadoop-2.7.3/-- 保存后执行# source ~/.bashrc

5、格式化 namenode

# /usr/hadoop-2.7.3/sbin/hdfs namenode -format

6、启动 hadoop（仅在master节点执行）

# ssh master# /usr/hadoop-2.7.3/sbin/start-all.sh

到这一步已经成功完成了hadoop环境的搭建

三、Zookeeper环境搭建

1、解压缩 zookeeper 安装包到master，并建立基本目录

# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr

# mkdir /usr/zookeeper-3.4.10/data

2、修改master配置文件

-- 复制配置文件模板

# cp /usr/zookeeper-3.4.10/conf/zoo-sample.cfg /usr/zookeeper-3.4.10/conf/zoo.cfg

-- 修改配置文件# vim /usr/zookeeper-3.4.10/conf/zoo.cfg

-- 添加如下内容dataDir=/usr/zookeeper-3.4.10/data

server.1=master:2888:3888

server.2=slave1:2888:3888

3、复制到各个子节点

# scp -r /usr/zookeeper-3.4.10 slave1:/usr

4、创建myid文件

-- master节点添加myid文件

# ssh master

# touch /usr/zookeeper-3.4.10/data/myid

# echo 1 > /usr/zookeeper-3.4.10/data/myid

-- slave1节点添加myid文件

# ssh slave1# touch /usr/zookeeper-3.4.10/data/myid

# echo 2 > /usr/zookeeper-3.4.10/data/myid

5、启动zookeeper（master、slave1均需执行）

-- 启动master# ssh master# cd /usr/zookeeper-3.4.10/bin

# ./zkServer.sh start-- 启动slave1

# ssh slave1

# cd /usr/zookeeper-3.4.10/bin

# ./zkServer.sh start-- 启动slave2

到这一步完成了zookeeper环境的搭建

四、HBase环境搭建

1、解压缩hbase安装包

# tar -zxvf hbase-1.2.5-bin.star.gz -C /usr# mkdir /usr/hbase-1.2.5-bin/logs

2、修改Hbase启动时要使用的环境变量（hbase-env.sh）

-- 打开环境变量配置文件

# vim /usr/hbase-1.2.5/conf/hbase-env.sh

-- 添加如下内容

-- 1、设置java安装路径exportJAVA_HOME=/usr/java/jdk1.8.0_131

-- 2、设置hbase的日志地址exportHBASE_LOG_DIR=${HBASE_HOME}/logs

-- 3、设置是否使用hbase管理zookeeper（因使用zookeeper管理的方式，故此参数设置为false）exportHBASE_MANAGES_ZK=false

-- 4、设置hbase的pid文件存放路径exportHBASE_PID_DIR=/var/hadoop/pids

3、添加所有的region服务器到regionservers文件中

-- 打开regionservers配置文件

# vim /usr/hbase-1.2.5/conf/regionservers

-- 删除localhost，新增如下内容

master

slave1

注：hbase在启动或关闭时会依次迭代访问每一行来启动或关闭所有的region服务器进程

4、修改Hbase集群的基本配置信息（hbase-site.xml），该配置将会覆盖Hbase的默认配置

5、复制hbase到slave中

# scp -r /usr/hbase-1.2.5 slave1:/usr

6、启动hbase（仅在master节点上执行即可）

# ssh master

# /usr/hbase-1.2.5/bin/start-hbase.sh

到这一步hbase环境搭建完成

参考文档：https://my.oschina.net/kolbe/blog/908526