掌握Linux平台下Hadoop,jdk的安装步骤:
下载压缩包:通过QQ邮箱,将window系统里的文件通过QQ邮箱发给自己,再在linux系统里通过QQ邮箱来下载,从而实现到将hadoop压缩包和jdk压缩包下载到Lunux系统中。
移动压缩包:在根目录下创建app和data文件,并将下载的压缩包移动到data文件中
解压缩到app文件中:通过输入tar -zxvf解压缩:
sudo tar -zxvf /data/jdk......tar.gz -C /app
JDK,hadoop的环境配置方法:
配置jdk环境变量:通过输入 vim /etc/profile
输入
从而配置java环境变量
然后输入Source 目录(/etc/profile)使环境变量生效
然后通过输入java -version来判断是否成功
配置hadoop环境变量:同样输入vim /etc/profile
输入
来配置hadoop环境变量
然后输入Source 目录(/etc/profile)使环境变量生效
然后通过输入hadoop来判断是否成功,发现不成功
配置hadoop环境文件,找到并打开
hadoop-env.sh(/app/hadoop-2.7.1/etc/hadoop/hadoop-env.sh)将JAVA_HOME=${JAVA HOME} 替换成java的安装目录
再输入hadoop时发现成功
SSH免密码登录的设置方法:
先安装ssh-serve,输入命令sudo apt-get install openssh-serve
在~/.ssh下执行:ssh-keygen
创建一个空的授权文件touch authorized_keys
将公钥的内容发送到授权文件cat id_rsa.pub >> authorized_keys
验证ssh免密码登录ssh localhost
Hadoop伪分布式安装的方法和技巧:
修改配置文件:core-site.xml,hdfs-site.xml
在同etc的文件路径创建tmp文件和dfs文件,同时dfs文件下创建name,和data
并且修改的配置文件如下
初始化文件系统hadoop namenode -formate
遇到了错误:
ERROR: 创建的/apps/hadoop-2.7.1/tmp/currentD无法使用
at org.apache.j…………….
说明权限不够。
解决方法:
dblab@dblab ~$: sudo su
root@ ~$: sudo chmod -R a+w /app/hadoop2.7.1
root@ ~$: exit
按照上述的步骤顺利完成
启动所有进程start-all.sh
发现权限不够,还得执行上述操作
dblab@dblab ~$: sudo su
root@ ~$: sudo chmod -R a+w /app/hadoop2.7.1
root@ ~$: exit
成功运行!
格式化完成,输入jps查看
dblab@dblab $: jps
NameNode
DataNode
SecondaryNameNode
Jps
Error:发现四个中少了一个,说明以上服务进程不全,是因为部分节点未格式化
解决方法:删除掉配置core-site.xml、hdfs-site.xml时创建的目录,之后通过mkdir重新创建。
删除命令:sudo rm -rf /apps/hadoop-2.7.1/dfs/name
重新创建mkdir
成功!
通过浏览器查看hdfs目录
网址:localhost:50070
创建:终端窗口:hadoop fs -mkdir /story
成功!