实验环境
VMware + Ubuntu 16.04
Hadoop环境部署
简介
本实验使用Hadoop环境采用Docker来搭建的，采用开源项目hadoop-cluster-docker，总共有三个结点，下面来一段百度百科的摘要：
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。
[站外图片上传中……(1)]
安装步骤
Ubuntu系统安装过程就不演示了，下面从安装后开始操作。
- 修改软件源
因为在国内访问Ubuntu的官方源特别慢，这里我推荐大家使用清华大学开源镜像，打开链接后按照帮助修改即可。 - 安装Docker
使用清华大学开源镜像中的Docker进行安装，打开后按照帮助操作即可。 - 将当前用户加入Docker用户组
sudo usermod -aG docker $USER
$USER表示当前用户名，例如，当前用户是hadoop，则把$USER替换成hadoop即可；然后注销，再次登录即可方便使用Docker了；
- 创建Hadoop网络
docker network create --driver=bridge hadoop
- 下载Docker镜像
docker pull kiwenlau/hadoop:1.0
- 从GitHub下载hadoop-cluster-docker项目代码
git clone https://github.com/kiwenlau/hadoop-cluster-docker
- 添加9000端口映射
cd hadoop-cluster-docker
vim start-container.sh
将第10行改为如下代码
sudo docker run -itd \
--net=hadoop \
-p 9000:9000 \
-p 50070:50070 \
-p 8088:8088 \
--name hadoop-master \
--hostname hadoop-master \
kiwenlau/hadoop:1.0 &> /dev/null
因为我们后续要调用HDFS的API，默认端口为9000，所以要将容器中的9000端口暴露出来。
- 运行容器
./start-container.sh
- 运行结果
start hadoop-master container...
start hadoop-slave1 container...
start hadoop-slave2 container...
root@hadoop-master:~#
启动了3个容器，1个master, 2个slave
运行后就进入了hadoop-master容器的/root目录
- 启动hadoop
./start-hadoop.sh
- 运行wordcount测试
./run-wordcount.sh
编程实践
实际操作过程可以查看此篇博客。此处只写了如何在本机调用容器中的接口。
- 引入Java API
重新打开一个终端，执行如下命令:
wget https://github.com/kiwenlau/compile-hadoop/releases/download/2.7.2/hadoop-2.7.2.tar.gz
tar -xzvf hadoop-2.7.2.tar.gz
使用Eclipse编写HDFS的程序时，引入当前下载Hadoop的Java API即可。
- 代码配置
在编写Java代码时，首先会创建一个Configuration对象，调用该对象的set方法，设置fs.defaultFS为hdfs://localhost:9000，localhost为本机地址，如果部署在其他机器上，将localhost改为那台机器的ip地址即可，下面是代码
Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://localhost:9000");
问题总结
在Ubuntu上使用Eclipse编写代码调用Hadoop API遇到的坑
- 加载jar包时，一定要将common和hdfs的lib目录下的所有jar包都加载进去。
- 若遇到log4j这个包提示的错误，试试下面的解决办法。
在src目录下新建一个log4j.properties文件，写入：
log4j.rootLogger = off
