cdh部署

0、注意安装时需要给server免密ssh登陆所有机器的权限

需要用到的命令:ssh -p 端口号 用户@ip     scp -P  端口号  文件名 用户@ip:路径

1、jdk 注意指定的版本(链接失效可以从官网找,或从其他机器拷贝)(每台)

wget http://download.oracle.com/otn/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jre-8u131-linux-x64.tar.gz

注意建软链接

ln -s jdk1.8.0_151/ java

sh> vi /etc/profile

# java

export JAVA_HOME=/usr/local/java

export PATH=$JAVA_HOME/bin:$PATH 

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

注:此时配的JAVA_HOME,cdh还不能识别,后面还需要再次配置

2、安装psycopg2(每台)

yes | yum install postgresql-devel

yes | yum install python-devel

yes | yum install libffi-devel

yes | yum install libpqxx-devel

pip install psycopg2

3、配置数据库连接的Java库(每台)

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.44.tar.gz

解压后取出mysql-connector-java-5.1.44-bin.jar 放到 /usr/share/java/ 

并 ln -s mysql-connector-java-5.1.44-bin.jar mysql-connector-java.jar

4、安装NTP(每台)

yum install ntp -y

cp /etc/ntp.conf /etc/ntp.conf.bak

vi /etc/ntp.conf

加入

server ntpupdate.tencentyun.com

再重新启动

sudo systemctl restart ntpd.service

sudo systemctl status ntpd.service

等5-10分钟看

ntpstat

未连接上

[root@GZ-BigData-data-193-204 ~]# ntpstat

unsynchronised

  time server re-starting

   polling server every 8 s


连接上

[root@GZ-BigData-data-193-204 ~]# ntpstat

synchronised to NTP server (169.254.0.2) at stratum 5 

   time correct to within 362 ms

   polling server every 64 s

chkconfig ntpd on

5、关闭透明大页面压缩(每台)

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

server端部署,在第6步开始改为(server端机器)

6、

从这里

http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/RPMS/x86_64/

下载

cloudera-manager-agent-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm

cloudera-manager-daemons-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm

cloudera-manager-server-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm  (server端用)

yum localinstall cloudera-manager-daemons-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm

yum localinstall cloudera-manager-server-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm

7、安装mysql

wget https://dev.mysql.com/get/Downloads/MySQL-5.5/mysql-5.5.58-linux-glibc2.12-x86_64.tar.gz

(https://cdn.mysql.com//Downloads/MySQL-5.5/mysql-5.5.58-linux-glibc2.12-x86_64.tar.gz)

安装说明:https://dev.mysql.com/doc/refman/5.5/en/binary-installation.html

参考:https://www.cnblogs.com/lunatic-cto/p/6123490.html 

create database amon DEFAULT CHARACTER SET utf8;

create database rman DEFAULT CHARACTER SET utf8;

create database metastore DEFAULT CHARACTER SET utf8;

create database sentry DEFAULT CHARACTER SET utf8;

create database nav DEFAULT CHARACTER SET utf8;

create database navms DEFAULT CHARACTER SET utf8;

create database oozie default character set utf8;

create database hive default character set utf8;

create database hue default character set utf8 default collate utf8_general_ci;

grant all on amon.* TO 'amon'@'10.%' IDENTIFIED BY 'xxx';

grant all on rman.* TO 'rman'@'10.%' IDENTIFIED BY 'xxx;

grant all on metastore.* TO 'metastore'@'10.%' IDENTIFIED BY 'xxx';

grant all on sentry.* TO 'sentry'@'10.%' IDENTIFIED BY 'xxx;

grant all on nav.* TO 'nav'@'10.%' IDENTIFIED BY 'xxx';

grant all on navms.* TO 'navms'@'10.%' IDENTIFIED BY 'xxx';

grant all on oozie.* TO 'oozie'@'10.%' IDENTIFIED BY 'xxx';

grant all on hive.* TO 'hive'@'10.%' IDENTIFIED BY 'xxx';

grant all on hue.* TO 'hue'@'10.%' IDENTIFIED BY 'xxx';

create database cmf DEFAULT CHARACTER SET utf8;

grant all on cmf.* TO 'cmf'@'10.%' IDENTIFIED BY 'xxx';

flush privileges;

(数据库账号说明:https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_mysql.html#cmig_topic_5_5 )

8、配置数据库

vi/etc/cloudera-scm-server/db.properties

填入数据库地址和账号

并修改

(针对错误2017-03-06 00:02:44,675 ERROR MainThread:com.cloudera.server.cmf.Main: Server failed.

java.lang.IllegalArgumentException: Invalid value set for db.setupType, the valid values are EMBEDDED or EXTERNAL)

com.cloudera.cmf.db.setupType=EXTERNAL

设置java路径

参考:https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_jdk_installation.html#topic_29

9、启动 cloudera-scm-server

sudo service cloudera-scm-server start

查看日志

tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

10、安装cdh客户端(需要安装客户端的机器)

yum localinstall cloudera-manager-daemons-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm

yum localinstall cloudera-manager-agent-5.13.0-1.cm5130.p0.55.el7.x86_64.rpm

11、配置连接的server,并启动客户端

/etc/cloudera-scm-agent/config.ini 

server_host=xxx

sudo service cloudera-scm-agent start

登录 xxxxxxxxxxxxxxx:7180 

在web上操作

注意安装时需要给server免密ssh登陆所有机器的权限

===========================================

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,524评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,869评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,813评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,210评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,085评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,117评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,533评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,219评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,487评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,582评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,362评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,218评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,589评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,899评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,176评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,503评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,707评论 2 335

推荐阅读更多精彩内容