centos8安装hadoop、hive及配置mysql作为metadata全套教程(伪分布模式)下

mysql 安装


 sudo dnf install @mysql      # 进行安装

sudo systemctl enable --now mysqld   # 启动mysql服务,并使得以后开机自启动

sudo systemctl status mysqld   # 查看mysql状态,看看是否成功启动

sudo mysql_secure_installation   # 进行一些简单配置,比如设置root用户密码,询问是否删除匿名用户等,要注意其中有一个是关于“不进行远程连接的选项”输入no,其余的输入yes就行

mysql -u root -p #登录root用户

image

对mysql进行配置并创建数据库和用户


GRANT all ON *.* TO 'root'@'%' WITH GRANT OPTION;   # 给root用户所有表的操作权,并使它能给其它用户授权

FLUSH PRIVILEGES;    #  刷新权限

create user 'hive'@'%' identified by 'user_hive';    #  创建用户hive并设置密码‘user_hive’

grant all on *.* to 'hive'@'localhost';    #  给用户hive所有权限

FLUSH PRIVILEGES;   # 刷新权限

需要注意的是,你会看到有些教程里@后面是‘localhost’而我这里是‘%’,如果是前者就只能本地登录,如果是后者就可以远程登录。我在执行上面这几个命令时遇到了报错,具体报错内容我这里没有记录,不过我当时的解决方式如下:


use mysql ;    # 打开mysql数据库

select host,user from user ;  # 查看不同用户允许的连接方式

update user set host = ’%’ where user = ’root’;  # 手动更改成允许远程连接

update user set host = ’%’ where user = ’hive’;   # 手动更改成允许远程连接

select host,user from user ;   # 再次查询,确定更改已完成

image

上图就是更改完成后的查询结果,改完之后,你再重新设置权限应该就没有报错了。

然后我们退出mysql,对其进行一些配置,命令如下:


cd /etc/my.cnf.d/   # 进入mysql配置文件目录

vim mysql-server.cnf  # 对mysql-server 进行配置

bind-address=192.168.214.129  # 添加这一行,更改mysql连接时的IP

systemctl restart mysqld.service # 重启服务

netstat -ntlp # 查看mysql服务ip是否发生改变

image

看到这行就说明配置成功了,我们就可以进入下一环节。

hive安装及用mysql储存metadata

我这里安装的hive版本是hive-2.3.4,安装过程很简单就是用你windows电脑下载apache-hive-2.3.4-bin.tar.gz包,然后在远程客户端中用rz命令进行文件上传,再进行tar -zxvf apache-hive-2.3.4-bin.tar.gz 解压。

解压完成后,我们就进入熟悉的软件配置环节,首先要添加环境变量~/.bashrc或者/etc/profile这两个文件选其一,前者只对当前用户生效,后者对所有用户生效,本文选的是前者添加的命令如下:


export HIVE_HOME=/usr/local/hive

export PATH=$PATH:$HIVE_HOME/bin

然后再source ~/.bashrc使配置生效。接下来我们创建hive的配置文件:


cd $HIVE_HOME/conf  # 进入hive的配置文件目录

cp hive-env.sh.template hive-env.sh  #复制hive-env.sh模板

touch hive-site.xml   # 创建hive-site.xml文件

下一步,修改配置文件内容,先修改hive-env.sh:


HADOOP_HOME=/usr/local/hadoop # hadoop路径

export HIVE_CONF_DIR=/usr/local/hive/conf  # hive的conf路径

export HIVE_AUX_JARS_PATH=/usr/local/hive/lib # jar包的存放路径

再修改hive-site.xml:


<configuration>

  <!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->

  <!-- WARNING!!! Any changes you make to this file will be ignored by Hive.  -->

  <!-- WARNING!!! You must make your changes in hive-site.xml instead.        -->

  <!-- Hive Execution Parameters -->

<property>

  <name>hive.default.fileformat</name>

  <value>TextFile</value>

</property>

<property>

  <!--端口改为你自己的端口,这里是连接数据库中onhive数据库-->

  <name>javax.jdo.option.ConnectionURL</name>

  <value>jdbc:mysql://192.168.214.129:3306/onhive</value>

  <description>JDBC connect string for a JDBC metastore</description>

</property>

<property>

  <name>javax.jdo.option.ConnectionDriverName</name>

<!--最新版本连接MySQL的jar包 所有写com.mysql.cj.jdbc.Driver,如果是旧版本用com.mysql.jdbc.Driver-->

  <value>com.mysql.cj.jdbc.Driver</value>

  <description>Driver class name for a JDBC metastore</description>

</property>

<property>

  <!--连接MySQL的用户名-->

  <name>javax.jdo.option.ConnectionUserName</name>

  <value>hive</value>

  <description>username to use against metastore database</description>

</property>

<property>

  <!--连接MySQL的密码-->

  <name>javax.jdo.option.ConnectionPassword</name>

  <value>user_hive</value>

  <description>password to use against metastore database</description>

</property>

</configuration>

还有一个关键的事情就是,你需要一个mysql-connector-java-8.0.19.jar,顾名思义就是用java连接mysql因为hive的底层代码是java所以需要这么个东西,你在官网下载完成后把这个文件放到$HIVE_HOME/lib目录下。

现在我们万事俱备只欠东风,只用进行最后一步初始化操作:


schematool -dbType mysql -initSchema

一切配置初始化都已完成,然后我们运行下面的命令打开hive:


start-dfs.sh

hive

注意一般启动完hadoop后要等待30s再启动hive,因为hadoop启动后前30s会有安全模式,此时你启动hive会出现exception。

即便上述所有事情都做完后,我如果没记错的话还会出现两个WARN,其中一个是SLF4J多重绑定,你只要把老版本的jar文件删除就行,另一个我忘记了,不过你可以在网上找到答案,其中一个答案是说64位系统装了32位系统的包,很抱歉这个答案一般是错的。正确答案是什么我已记不清,请自己去寻找。

所有的安装就都已完成,运行后显示如下:

image
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 199,519评论 5 468
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 83,842评论 2 376
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 146,544评论 0 330
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 53,742评论 1 271
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,646评论 5 359
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,027评论 1 275
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,513评论 3 390
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,169评论 0 254
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,324评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,268评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,299评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,996评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,591评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,667评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,911评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,288评论 2 345
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 41,871评论 2 341

推荐阅读更多精彩内容