1.版本
system: windows10jdk: 1.8.0_141scala: 2.10.5spark: spark-2.0.2-bin-hadoop2.6IntelliJ: 15.0.6
2.基本环境安装
3.配置ssh免密登录
cd ~进入用户目录ssh-keygen生成相关文件,一路回车即可cd ~/.ssh进入ssh目录,如果没有mkdir .ssh创建一个再生成文件touch authorized_keys创建公钥保存文件cat id_rsa.pub > authorized_keys密钥拷贝到公钥-
chmod 600 authorized_keys附加权限
生成后的文件 -
ssh localhost登录验证
登录成功
4.创建Spark项目
5.示例程序编写
读取文件,统计文件中每一个单词出现的次数
-
配置编写程序需要的依赖,点击右上角刷新,等待idea加载依赖到项目
配置依赖,如果网络状况不好下载很慢,耐心等待 -
scala目录下创建一个Scala Class
创建Scala Class
-
输入
Name,选择Object创建
创建Object 编写程序
import org.apache.spark.{SparkContext, SparkConf}
/**
* author: shenke
* date: 2018/12/1 20:46
* description: 读取文本文件内容,统计每个单词出现的次数
* helloSpark.txt文本文件内容示例:
* hello Spark
* hello World
* hello Spark !
*/
object WordCount {
def main(args: Array[String]) {
// 创建Spark配置类并且指定名称
val conf = new SparkConf().setAppName("wordCount");
// 创建Spark上下文对象,加载配置
val sc = new SparkContext(conf);
// 读取指定文件内容
val input = sc.textFile("/usr/local/helloSpark");
// flatMap空格拆分文件内容,拆分后变成:hello,Spark,hello,World,hello,Spark,!
val lines = input.flatMap(line => line.split(" "));
// map把单词转换成key:value对的形式,转换后变成:hello:1,Spark:1,hello:1,World:1,hello:1,Spark:1,!:1
// reduceByKey对相同的key进行reduce操作,这里累加key相同的value,操作后的结果:hello:3,Spark:2,World:1,!:1
val count = lines.map(word => (word, 1)).reduceByKey { case (x, y) => x + y }
// 计算结果保存到指定文件
var output = count.saveAsTextFile("/usr/local/helloSparkRes")
}
}
6.编译打包
-
配置jar包
配置jar包
7.启动运行
- 启动集群
cd /usr/local/spark-2.0.2-bin-hadoop2.6进入spark安装目录
./sbin/start-master.sh启动master
jps查看master是否已启动
master已经启动
到安装spark环境的虚拟机上访问http://localhost:8080/查看启动worker的地址信息
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost:7077启动worker,这里填写刚才访问web ui查看的address信息
jps查看worker是否已启动
yum -y install lrzsz安装lrzsz
rz -be上传jar包
./bin/spark-submit --master spark://localhost:7077 --class WordCount /usr/local/spark.jar提交作业,指定同上的address,jar的Main Class以及jar的path
-
作业运行期间可以访问
http://localhost:4040/jobs/可以查看任务的执行信息
可以看到任务执行相关信息 作业执行完毕后查看结果
cd /usr/local/helloSparkRes进入保存作业执行结果的目录
生成了part-00000,part-00001,_SUCCESS三个文件,其中part-00000和part-00001保存了作业的执行结果
cat part-00000
cat part-00001-
分别输出执行结果
作业执行结果 -
对比一下预测的结果是一致的
编码时预测的结果
`
