Windows环境下
CentOS 6.5 64位安装介质下载,即,
介质名称:CentOS-6.5-x86_64-minimal
下载链接:http://pan.baidu.com/s/1mi1hhP2
下载密码:fjujjdk1.7.80下载,即,
名称:jdk-7u80-linux-x64.rpm
链接:http://pan.baidu.com/s/1qYqjITu
密码:w4a8VMware-workstation-full-14.0.0
名称:VMware-workstation-full-14.0.0.24051
链接:http://pan.baidu.com/s/1gfCgE0z 密码:7t9rzookeeper
名称:zookeeper-3.4.10.tar.gz
链接:http://pan.baidu.com/s/1gfCgE4b 密码:gf7chadoop
名称:hadoop-2.5.2.tar.gz
链接:http://pan.baidu.com/s/1qYwVvEs 密码:v675
-
SSH免密码登陆的配置,即,
============================SSH免密码登陆===========================
1、生成公钥/私钥对
$ssh-keygen -t rsa
-》-t代表指定加密类型
-》rsa代表加密类型中的一种
-》可以直接ssh-keygen
-》因为系统默认的就是rsa类型
在$HOME/.ssh/目录下,会新生成两个文件:id_rsa.pub和id_rsa。前者是你的公钥,后者是你的私钥发送
拷贝公钥至authorized_keys文件
$ssh-copy-id hadoop-cluster01
3、一般不建议使用start-all.sh脚本
4、Linux中的用户主目录权限一般为700或者是755
5、.ssh一般权限为700或者755
6、不要随意更改用户主目录的权限和.ssh目录权限的公钥和密钥文件的权限,随意更改会直接导致免密码登陆设置的失败
-
本地仓库在maven的配置文件的路径,即,
-
阿里云的私服路径,即,
hadoop的伪分布式的配置文件,在hadoop-2.5.2/etc/hadoop目录下,即,
1、hadoop-env.sh
2、core-site.xml
3、hdfs-site.xml
4、mapred-env.sh
5、mapred-site.xmlFlume方面的相关文件和jar包
MapReduce的模板:MapReduceModule.java
PV统计的WebPvMapReduce.java
依赖包的pom.xml文件
jdk1.7或者1.8
后面的分别是
1、apache版的apache-hive-0.13.1-bin.tar.gz;
2、CDH版的hive:hive-0.13.1-cdh5.3.6.tar.gz
3、hive连接mysql的驱动包:mysql-connector-java-5.1.27-bin.jar
4、mysql-5.7.19.tar.gz的安装tar包,即
但安装mysql5.7需要boost,即,
-
HBase的Web界面,即,
-
访问方式为http://节点名称:端口
端口为60010
-
HBase所需要的lib下的jar包,分别是hadoop的和zookeeper的
压缩成一个了,即
修改hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_79
由于hbase自带了zk的jar包,所以使用自定义的zk,则设置为false
export HBASE_MANAGES_ZK=false修改相应的配置文件为:
hbase-env.sh
hbase-site.xml
安装
本次安装在阿里云的ECS上,系统为Ubuntu 14
- 连接阿里云服务器
- 安装jdk
javac //验证
apt-get install openjdk-7-jdk//安装
//以上命令如果失败,则需要更新库
apt-get update//更新,更新后再使用上一条命令
安装后,需要配置环境变量
vim /etc/profile
在以下添加如下,具体地址在之前安装时出现过,自行修改
修改完毕后,更新
source /etc/profile
可以使用以下命令以验证
echo $JAVA_HOME
echo $PATH
javac
- 命令行下载hadoop
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz