* SparkCore基础（二）

继续探讨SparkCore，开门见山，不多废话。

SparkApplication结构探讨

包含关系：

之前我们运行过很多App了，其实每一个App都包含若干个Job任务；

而Job任务呢，一般都是由RDD的Action动作发出的eg：first、count、collect等等；

一个Job任务包含多个Stage，各个Stage之间是互相依赖的，比如，第一个stage没有走完，是不会走第二个stage的，对于同一个stage，所有的task的业务逻辑相同，而处理的数据不同；

一个Stage包含多个Task。

运行构成：

对于Spark Application的集群运行情况来讲，都有两个部分组成

** Driver：每个应用都有一个driver，在其中的main方法中实例化SparkContext，从而创建RDD，然后向Master或者ResourceManager申请资源来运行Executor，调度Job任务

** Executor：相当于MapReduce中的Map Task一样，是一个JVM进程，用于运行Task，以线程形式运行

下面是Spark集群的一些概念简述：

RDD进一步探讨

RDD是什么：

** 是一系列分区的数据集合，类似于Hadoop中的split

** 每个分区都可以应用某个函数去运算

** RDD之间具有依赖关系，例如，RDD1 转换为RDD2时，那么RDD2就依赖于RDD1

** 可以指定key-value形式的RDD的分区规则，比如hash

** RDD可以选择最优的读取数据的位置，比如：从内存读？从本地读？或者设置了多个副本，决定从哪个副本读数据是最优的。

IDEA工具开发Spark

Step1、创建一个Scala项目

Step2、创建项目名称以及指定路径后直接Finish

Step3、在File--Project Structure选项的Modules中创建目录结构如图，注意文件夹图标样式，main和test中的resources文件夹图标是有区别的

Step4、在Libraries中点击加号导入Spark相关依赖Jar（这里我导入的Jar是CDH-Spark根目录下的lib目录下的Jar，这里不需要导入example相关Jar）

Step5、将HDFS的两个配置文件拷入到resources目录下

Step6、创建一个Scala-object，编写代码如下：

运行即可

IDEA打包SparkJar

我们也可以使用IDEA打包编写好的SparkJar包然后使用spark-submit命令提交任务

Step1、点击Artifacts标签后，点击加号，选择JAR-from modules from dependencies

Step2、点击红框内容后，出现蓝框内容

Step3、搞定后，删除掉关于Spark和Hadoop的相关依赖，打包自己的工程时，不需要将Spark和Hadoop的Jar也打包入你的工程里，这样会增加你的工程的体积(官方描述：The user's jar should never include Hadoop or Spark libraries, however, these will be added at runtime.)，点击减号删除到如下所示：

Step4、OK后，选择Build-Build Artifacts-Build，然后去对应目录下，拷贝出Build好的Jar到Linux，什么？不知道生成的Jar在哪？你看看上图中Output directory属性

Step5、运行你的Jar

$ bin/spark-submit --master spark://z01:7077 /home/z/Desktop/FirstSpark.jar

Spark在Yarn上运行

相关文档：http://spark.apache.org/docs/1.6.1/running-on-yarn.html

运行Spark应用有两种模式：

1、在Client端所在节点运行

这种情况比较适用于调试应用程序，比如：

Yarn：

bin/spark-submit \

--master yarn \

--deploy-mode client \

/home/z/Desktop/FirstSpark.jar

2、在Cluster中运行

Yarn：

$ bin/spark-submit \

--master yarn \

--deploy-mode cluster \

/home/z/Desktop/FirstSpark.jar

以上两种模式的区别在于：

Client模式：

Spark App的Driver请求ResourceManager，产生一个ApplicationMaster，然后由ApplicationMaster向ResourceManager申请资源，ResourceManager分配Container给NodeManager，然后由NodeManager运行其上的Executor。

Cluster模式：

Driver运行节点即ApplicationMaster节点，后面的操作你懂得，跟Client模式差不多了。

注意：spark-shell只能在client模式下运行，比如默认deploty-mode其实如下

Standalone：

$ bin/spark-shell --master spark://z01:7077 --deploy-mode client