下载hadoop-2.7.5进行演示
1、解压
2、配置
配置文件在$HADOOP_HOME/etc/hadoop/目录下
hadoop-env.sh
修改他的 JAVA_HOME
core-site.xml
配置默认文件系统和临时目录
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop-2.7.5/data</value>
</property>
hdfs-site.xml
配置副本数
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
vim slaves
修改域名
namenode 格式化
在$HADOOP_HOME/bin 目录下
./hdfs namenode -format
namenode 格式化成功
启动 Hadoop
在 $HADOOP_HOME/sbin 目录
先启动 hdfs
./start-dfs.sh
之后一路 yes 加上 Linux 的密码
使用 jps查看下
dfs 启动
可以看到 NameNode 、DataNode和SecondaryNameNode 都成功启动了
浏览器输入 http://192.168.31.122:50070/,可以看到
image
搭建 Yarn
进入$HADOOP/etc/hadoop/目录
拷贝一份mapred-site.xml进行配置
cp mapred-site.xml.template mapred-site.xml
配置 yarn 作为 MapReduce 的调度框架
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
配置vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
启动 yarn,进入$HADOOP_HOME/sbin/目录
./start-yarn.sh
查看启动 yarn
可以浏览器打开 http://192.168.31.122:8088
image
测试
测试 HDFS
测试 yarn
进入目录 $HADOOP_HOME/share/hadoop/mapreduce
image
执行
hadoop jar hadoop-mapreduce-examples-2.7.5.jar pi 2 3
可以同时浏览http://192.168.31.122:8088/cluster
image
image
到此为止 Hadoop 环境基本成功
