目录
[toc]
版本
- Scala 版本：2.11.8
- spark 版本：spark-2.4.4-bin-hadoop2.7.tgz
一、创建Scala 工程
1. 创建maven 项目
打开Intellij ,File->new project
只需第一次添加，以后创建项目可以直接跳过该步骤
图中参数设置参考：scala 工程创建相关设置
2. 选择模板
3. 填写工程相关信息
4. 修改scala 版本号
项目创建完成，打开pom 文件，修改scala 版本号，尽量和本地scala 版本或集群上服务器版本保持一致
5. 删除测试依赖
6. 删除多余行
注：这行具体干啥的不太清楚，有知道的麻烦留言告知，不胜感激
7. 删除测试代码
Qnkf4s.png
上述步骤完成后，运行src 目录下的App 下的，控制台出现"Hello Word!"即完成了scala 工程的创建。
二、添加Spark 相关jar 包
1. 下载spark jar 包
从官网下载spark 相关jar 包：http://spark.apache.org/downloads.html
，我这里用的是 【spark-2.4.4-bin-hadoop2.7.tgz】，下载到本地解压
2. 添加spark jar 包
添加完成后的项目格式如图，主要包含两大sdk: Spark sdk、Scala sdk
3. 测试spark项目
运行如下代码：
val spark = SparkSession
.builder()
.master("local")
.appName("Spark SQL Example")
.config("spark.some.config.option","some-value")
.getOrCreate()
import spark.implicits._
val df = spark.read.json("D:\\apache\\spark-2.4.4-bin-hadoop2.7\\examples\\src\\main\\resources\\people.json")
df.show()
df.printSchema()
可以打印出文件内容即代表spark项目搭建成功。
另：本地未配置hadoop的话，日志中可能会出现如下错误提示，不过不影响spark 项目运行，只不过无法通过web 界面的4040 端口查看程序运行情况，要想修复该错误，可以在windows 本地安装hadoop。
