查看mac系统Java版本和安装目录
/usr/libexec/java_home -V
应该能查看到结果
Matching Java Virtual Machines (1):
1.8.0_131, x86_64: "Java SE 8" /Library/Java/JavaVirtualMachines/jdk1.8.0_131.jdk/Contents/Home
修改各自的hostname
用pd新建一个ubuntu虚拟机，配置好一个然后克隆2个就好。
关闭防火墙
ubutntu中命令是
ufw disable
修改hostname
<code>su -</code> 进入到root用户
vim /etc/hostname
配置静态IP
- master设置为192.168.3.74
- salve1设置为192.168.3.75
可以在网络那里用图形化界面edit设置。GateWay设置成路由器的地址 - salve2设置为192.168.3.80
可以在网络那里用图形化界面edit设置。GateWay设置成路由器的地址
然后各个节点之间可以ping通
WechatIMG10.jpeg
修改hosts文件
vim /etc/hosts
安装JDK
SSH免密钥登陆
该步骤都是在普通用户下完成
Master节点操作：
- 终端生成密钥，一路回车
ssh-keygen -t rsa
- 复制公钥文件
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
- 修改 authorized_keys 文件的权限，命令如下:
chmod 600 ~/.ssh/authorized_keys
slave节点
- 在终端生成密钥，命令如下(一路点击回车生成密钥)
ssh-keygen -t rsa
- 将 authorized_keys 文件移动到.ssh 目录
mv authorized_keys ~/.ssh/
- 修改 authorized_keys 文件的权限，命令如下:
cd ~/.ssh
chmod 600 authorized_keys
- 如果出现Agent admitted failure to sign using the key
ssh-add ~/.ssh/id_rsa
- 验证
ssh slave1
Hadoop部署配置
每个节点配置一样，所以在master配置好复制到各个slave就好
进入到普通用户下。首先我把hadoop2-5-2放在／home／yubin下
- 配置环境变量 hadoop-env.sh.就是配置JAVA_HOME
WechatIMG14.jpeg
- 配置环境变量 yarn-env.sh 就是配置JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_111
- 配置核心组件 core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.3.74:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/yubin/hadoop-2.5.2/hadoopdata</value>
</property>
```
- 配置文件系统 hdfs-site.xml
```
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
- 配置文件系统 yarn-site.xml
```
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
```
- 配置计算框架 mapred-site.xml
```
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
```
- 在 master 节点配置 slaves 文件
```
master
slave1
slave2
```
- 复制到从节点1
```
scp -r hadoop-2.5.2 slave1:~/
```
- 复制到从节点2
```
scp -r hadoop-2.5.2 slave2:~/
```
#####启动集群
也是在普通用户下进行
- 配置hadoop环境变量,在/etc/profile中
```
export HADOOP_HOME=/home/yubin/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
```
然后source
- 创建数据目录
```
mkdir /home/yubin/hadoop-2.5.2/hadoopdata
```
- 格式化文件系统
```
hdfs namenode -format
```
- 启动
```
sbin/start-all.sh
```
- JPS查看进程
- WEB查看
```
http://master:50070/
```
