环境
- Ubuntu Kylin 14.04
- Hadoop 2.7.2 下载地址
- 安装目录
/home/hadoop/hadoop-2.7.2/ - hadoop 用户创建之后一直使用 hadoop 用户操作
添加 hadoop 用户
- 创建 hadoop 用户并使用bash作为shell
sudo useradd -m hadoop -s /bin/bash - 设置 hadoop 用户密码
sudo passwd hadoop - 为 hadoop 用户增加管理员权限
sudo adduser hadoop sudo
配置环境
- 安装 ssh 服务器
sudo apt-get install openssh-server - 安装完成后，使用下面命令登录本机
ssh localhost
按提示输入密码，得到上图提示则登录成功，之后使用exit退出登录。 - 设置无密码登录
-
cd ~/.ssh/若目录不存在，则再次执行ssh localhost -
ssh-keygen -t rsa不用管提示，一直按回车 -
cat ./id_rsa.pub >> ./authorized_keys加入授权 -
ssh localhost测试无密码登录
如上图所示，没有提示输入密码，则设置成功。
-
安装 Java 环境
- 安装 OpenJDK 7
sudo apt-get install openjdk-7-jre openjdk-7-jdk -y - 查找安装路径
dpkg -L openjdk-7-jdk | grep '/bin/javac'会匹配出一个结果，去掉/bin/javac即可 - 设置 JAVA_HOME
vim ~/.bashrc在文件最前面添加如下一行代码
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 - 使环境变量生效
source ~/.bashrc测试环境变量
如上图所示，设置成功。
安装 Hadoop
- 下载
cd ~/ wget http://mirrors.cnnic.cn/apache/hadoop/common/stable2/hadoop-2.7.2.tar.gz - 解压
tar -zxf hadoop-2.7.2.tar.gz带 v 则会打印详细信息到终端 - 修改文件夹属性
sudo chown hadoop:hadoop -R /home/hadoop - 检查是否安装成功
cd /home/hadoop/hadoop-2.7.2
./bin/hadoop version
如上图所示，安装成功。
配置伪分布式
-
core-site.xml
-
hdfs-site.xml
-
mapred-site.xml
-
yarn-site.xml
设置 HADOOP_HOME
vim ~/.bashrc在 JAVA_HOME 下添加如下两行
export HADOOP_HOME=/home/hadoop/hadoop-2.7.2
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
-
格式化 NameNode
./bin/hdfs namenode -format在HADOOP_HOME目录下执行
-
开启 NameNode 和 DataNode 守护进程
./sbin/start-dfs.sh
使用jps查看进程情况，如上图所示。
启动成功后，可以登录 http://localhost:50070 查看信息，如图
-
启动 YARN
./sbin/start-yarn.sh启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver启动历史服务器，才能在WEB中查看任务运行情况。
如上图所示，则启动成功。
总结
- 安装打时候百度了很多
- 安装过程很顺利，没有碰到什么错误
- 推荐一篇后来找到的好文章，点击这里跳转
