Spark官网提供的原生的安装包不支持Hive，但是我们可以使用Spark官网提供的Spark源码包编译成支持Hive的安装包来使用。
本节实验环境介绍：
- 操作系统：centos7
- JDK：jdk-1.8
- scala：2.11.8
- Hadoop：Hadoop-2.7.3
- Spark源码包：spark-2.4.0.tgz 提取码：x5ib
- 本文生成的安装包下载：spark-2.4.0-bin-hadoop-2.7.3-hive.tgz 提取码：4786
1.安装maven
（1）官网下载Maven最新安装包：maven-3.6.0-bin.tar.gz
# ls /root/tools/maven-3.6.0-bin.tar.gz
（2）解压Maven安装包
# tar -zxvf /root/tools/maven-3.6.0-bin.tar.gz -C /root/trainings
（3）添加环境变量
# vim /root/.bash_profile
MAVEN_OPTS="-Xms256m -Xmx512m -XX:MaxPermSize=128m -XX:ReservedCodeCacheSize=64m"
export MAVEN_OPTS
MAVEN_HOME=/root/trainings/apache-maven-3.6.0
export MAVEN_HOME
PATH=$MAVEN_HOME/bin:$PATH
export PATH
使环境变量生效：
# source /root/.bash_profile
（4）查看Maven是否安装成功
# mvn -v
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=128m; support was removed in 8.0
Apache Maven 3.6.0 (97c98ec64a1fdfee7767ce5ffb20918da4f719f3; 2018-10-25T02:41:47+08:00)
Maven home: /root/trainings/apache-maven-3.6.0
Java version: 1.8.0_144, vendor: Oracle Corporation, runtime: /root/trainings/jdk1.8.0_144/jre
Default locale: zh_CN, platform encoding: UTF-8
OS name: "linux", version: "3.10.0-693.el7.x86_64", arch: "amd64", family: "unix"</pre>
2.使用maven编译生成spark安装包
（1）Spark官网下载Spark源码包：spark-2.4.0.tgz
# ls /root/tools/spark-2.4.0.tgz
（2）解压Spark源码包
# tar -xvf /root/tools/spark-2.4.0.tgz
（3）进入Spark源码包的根目录
# cd spark-2.4.0
（4）更改mvn默认的scala版本（编译spark-2.4.0需要scala-2.11以上）
# ./dev/change-scala-version.sh 2.11
（5）搭建maven环境（下载需要的依赖包，时间较长）
# mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Phive -Phive-thriftserver -DskipTests clean package
（6）编译生成安装包（编译过程较慢，时间较长）
# ./dev/make-distribution.sh --name hadoop-2.7.3-hive --tgz -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -Phive -Phive-thriftserver -DskipTests
（7）生成的安装包如下：
# ls spark-2.4.0-bin-hadoop-2.7.3-hive.tgz
整个编译过程需要注意几点：
- spark-2.4.0.tgz需要的JDK版本1.8以上；
- spark-2.4.0.tgz需要的Scala版本2.11以上；
- 第(5)(6)步中的Hadoop版本一定要和你目标机器上的Hadoop版本保持一致（我这里是Hadoop-2.7.3），否则即使编译成功也不能使用；
- 第(5)(6)步中编译过程需要较大的JVM空间，需要把MAVEN_OPTS环境变量的参数值设置的适当大一些，否则会报错OOM。
3.安装Spark（略）
请参考本站spark板块的安装相关的文章。
4.Spark集成hive
（1）修改Hive的配置文件hive-site.xml
# vim hive-site.xml
加入属性：
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>修改属性：
<property>
<name>hive.metastore.uris</name>
<value>thrift://192.168.126.110:9083</value>
</property>
（2）将hive-site.xml拷贝到Spark的conf目录下
# cp $HIVE_HOME/conf/hive-site.xml $SPARK_HOME/conf
（3）将hive中的mysql连接器拷贝到Spark的jars目录下
# cp
SPARK_HOME/jars
5.spark-sql中使用hive
5.1准备工作
（1）启动hive元数据服务
# hive --service metastore &
（2）准备本地数据
# cat /root/input/student.csv
1,Tom,23
2,Mary,24
3,Mike,22
（3）登录hive，创建一张表，加载本地数据
# hive
hive> create table student(sid int,sname string,age int) row format delimited fields terminated by ',';
OK
Time taken: 0.839 seconds
hive> load data local inpath '/root/input/student.csv' into table student;
Loading data to table default.student
OK
Time taken: 0.98 seconds
hive> select * from student;
OK
1 Tom 23
2 Mary 24
3 Mike 22
Time taken: 1.238 seconds, Fetched: 3 row(s)
5.2使用Hive中的数据
（1）启动spark-shell
# spark-shell
（2）在spark-sql中使用Hive
scala> import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.hive.HiveContextscala> val hiveContext = new HiveContext(sc)
hiveContext: org.apache.spark.sql.hive.HiveContext = org.apache.spark.sql.hive.HiveContext@634d56ebscala> val studentRDD = hiveContext.sql("select * from default.student").rdd
studentRDD: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[5] at rdd at <console>:26scala> studentRDD.foreach(println)
[Stage 0:> (0 + 1) / 1]
[1,Tom,23]
[2,Mary,24]
[3,Mike,22]
