个人备注网页, 不喜勿扰
1.解压hadoop
[root@base ~]# tar -zxf downloads/hadoop-2.8.1.tar.gz
2.改名
[root@base ~]# mv hadoop-2.8.1 hadoop
3.修改配置文件
进入hadoop-2.2.1/etc/hadoop目录下，需要配置以下7个文件有：
hadoop-env.sh, yarn-env.sh, slaves, core-site.xml, hdfs-site.xml, maprd-site.xml, yarn-site.xml
hadoop-env.sh
修改 export JAVA_HOME=${JAVA_HOME}
为(真实jdk地址)
export JAVA_HOME=/root/jdk1.7.0_80
yarn-env.sh
在JAVA=$JAVA_HOME/bin/java 上一行增加
export JAVA_HOME=/root/jdk1.7.0_80
slaves(这里先配置一个,便于测试.以后可以追加)
master
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/tmp</value>
<description>Abasefor other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.spark.hosts</name>
<value></value>
</property>
<property>
<name>hadoop.proxyuser.spark.groups</name>
<value></value>
</property>
</configuration>
*** 使用 这个配置需要在home下新建tmp文件夹 mkdir tmp***
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/home/dfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/dfs/data</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
*** 使用 这个配置需要在home下新建dfs文件夹 mkdir dfs***
*** 使用 这个配置需要在home/dfs下新建name文件夹 mkdir name 和新建data文件夹 mkdir data***
mapred-site.xml(mapred-site.xml.template 先改名)
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:18040</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:18030</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:18088</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:18025</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:18141</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
</configuration>
4.增加环境变量
vi /etc/profile
增加:
export PATH=$PATH:/root/hadoop/bin
刷新文件
source /etc/profile
5.格式化nodename
hadoop namenode -format
6.启动测试
./sbin/start-all.sh
7.浏览器访问
http://192.168.10.109:50070
说明hdfs成功
http://192.168.10.109:18088
说明yarn成功
==========================================================
以下非部署使用
部署时 master需要修改host 将主机和工作及其的IP均进行配置
如：192.168.10.86 sparkhost
192.168.10.88 startX
打开Hadoop，sbin/start-all.sh
上传文件：bin/hadoop fs -put /home/xleer/1.txt /user/hadoop/input1/
查看HDFS中的文件：
bin/hadoop fs -ls /user/hadoop/input1/*
在hdfs中创建文件夹：
bin/hadoop fs -mkdir -p /user/hadoop/input (无-p也可以)
删除HDFS中的文件夹：
bin/hadoop fs -rm -r /user/hadoop/output
修改文件的权限：
sudo bin/hadoop fs -chmod 777 /user/hadoop
查看运行结果：
sudo bin/hadoop fs cat output/part-r-00000
