CDH的配置

配置步骤

有node1、node2、node3三台机器，node1是server、agent，node2、node3是agent

一、网络环境的配置

1、新建虚拟机

2、配置网络，能ping通外网

3、配置ip和主机名的映射

二、配置主节点到从节点的免密登录

1、ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

2、cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

三、关闭防火墙

1、service iptables stop

2、chkconfig iptables off（永久关闭防火墙）

四、SELINUX关闭

1、执行命令

setenforce 0

2、vi /etc/selinux/config (SELINUX=disabled)

五、安装JDK配置环境变量

1、export JAVA_HOME=/usr/java/jdkXXX

2、export PATH= $JAVA_HOME/bin:$ PATH

3、export CLASSPATH=.: $JAVA_HOMdE/lib/dt.jar:$ JAVA_HOME/lib/tools.jar

六、设置时间同步，分别执行以下命令

1、cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2、ntpdate us.pool.ntp.org

3、echo "0 */8 * * * /usr/sbin/ntpdate us.pool.ntp.org" >> /var/spool/cron/root

七、在server的节点上（node1）安装配置mysql

详见hive的配置

八、下载第三方依赖包

yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

九、Cloudera Manager 安装

1、安装Cloudera Manager Server、Agent （3个节点都安装）

1、创建文件架

mkdir /opt/cloudera-manager

2、解压Cloudera Manager的安装包

tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户cloudera-scm （3个节点都创建）

3、配置CM Agent

1、修改文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中 server_host以及server_port

2、3个节点的都设成server_host=node1,server_port=默认的

4、配置CM Server数据库

1、拷贝mysql jar文件到目录 /usr/share/java/

2、注意jar包名称要修改为mysql-connector-java.jar

3、在server所在的节点执行下列命令

1、grant all on *.* to 'temp'@'%' identified by 'temp' with grant option; 
2、cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/
3、./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm 
格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

5、创建Parcel目录

1、 Server节点

– mkdir -p /opt/cloudera/parcel-repo 
– chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

2、 Agent节点

– mkdir -p /opt/cloudera/parcels 
– chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、制作CDH本地源

下载好文件CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel以及manifest.json和CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha，将这三个文件放
到server节点的 /opt/cloudera/parcel-repo下。

7、启动CM Server、Agent

• cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/ 
• ./cloudera-scm-server start – Sever首次启动会自动创建表以及数据，不要立即关闭或重启，否则需要删除所有表及数据重新安装 
• ./cloudera-scm-agent start

8、测试

• 访问：http://server所在的节点的ip:7180， 
• 用户名、密码：admin 
• 若可以访问，则CM安装成功

最后编辑于：2019.11.27 20:14:43