天下熙熙,皆为利来,天下攘攘,皆为利往....趁着大数据的火热,本人也开始了数据之路,以此记录学习的历程,希望能大势面前分一碗小汤......
Hadoop的简介在百度一搜一大堆,再贴在这里未免有凑字数之嫌,所以就不展开说明,因此就从Hadoop的单机模式安装开始:
注:此文是本人在多方尝试后得出的结果,和网上的方法略有出入,因此,若读者们在安装时出现错误,请多加思考,毕竟不是每篇文章都适合每个人!!
所用工具 Centos7、jdk8、winscp、putty
首先 当然是安装jdk和配置环境变量,虽然网上不少文章提及,但是本人还是贴出来,以作加深印象之用
在官网下载Linux版本的jdk8
在/usr/目录下创建java目录
[root@localhost ~]# mkdir/usr/java
[root@localhost ~]# cd /usr/java
用winscp把压缩包拉到java文件夹里,解压
[root@localhost ~]# tar -zxvf jdk-8u161-linux-x64.tar.gz
配置jdk环境变量
[root@localhost ~]# vim /etc/profile
让修改生效
[root@localhost ~]# source /etc/profile
验证jdk是否已安装
[root@localhost java]# java -version
添加hadoop用户
进入管理员用户
[root@localhost java]# su
添加Hadoop用户
[root@localhost java]# useradd hadoop
设置密码
[root@localhost java]# passwd hadoop
切换hadoop用户
[root@localhost java]# su hadoop
配置ssh免密登录
[hadoop@localhost java]# ssh-keygen -t rsa (一路回车)
[hadoop@localhost java]# cat .ssh/id_rsa.pub >> .ssh/authorized_keys
[hadoop@localhost java]# chmod 600 .ssh/authorized_keys
下载hadoop
[hadoop@localhost java]# wget http://labfile.oss.aliyuncs.com/hadoop-2.6.0.tar.gz
(此时,hadoop压缩包放在/home/hadoop/ 文件夹下)
解压压缩包
[hadoop@localhost java]# tar zxvf hadoop-2.6.0.tar.gz
在将解压后的文件放到新的文件夹hdfs下(可不创建,只是为了方便)
[hadoop@localhost java]# mv hadoop-2.6.0 /home/hadoop/hdfs
(若原来有同名文件夹,先删除 [hadoop@localhost java]# rm -r /home/hadoop/hdfs)
[hadoop@localhost java]# chmod 777 /home/hadoop/hdfs
配置 hadoop
进入管理员用户
[hadoop@localhost java]# su
同样修改/etc/profile/ 文件
[root@localhost java]# vim /etc/profile/
最终结果是
测试hadoop 配置
[root@localhost java]# cd /home/hadoop/hdfs
[root@localhost hdfs]# mkdir ./input
[root@localhost hdfs]# cp ./etc/protocols ./input # 将此文件作为输入文件
[root@localhost hdfs]# ./bin/hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar wordcount input output
[root@localhost hdfs]# cat ./output/* # 查看运行结果
成功运行,则说明配置成功。
至此,单机安装成功
本人初学,若此文有不对的地方,请不吝指正
(转载请指明出处)