Spark是粗粒度的，即在默认情况下会预先分配好资源，再进行计算。 好处是资源提前分配好，有计算任务时就直接使用计算资源，不用再考虑资源分配。 ...

SparkStreaming应用是持续不断地运行着的。如果不对内存资源进行有效管理，内存就有可能很快就耗尽。 SparkStreaming应用一...

前面的课程中主要是使用ReceiverInputDStream，是针对Receiver方式开展的剖析。 企业级Spark Strea...

从这节课开始，简介Spark Streaming的状态管理。 SparkStreaming 是按BatchDuration来划分Job的，但我们...

从数据层面，ReceivedBlockTracker为整个SparkStreaming应用程序记录元数据信息。 从调度层面，DStreamGra...

Spark Streaming应用程序有以下特点： 1. 不断持续接收数据 2. Receiver和Driver不在同一节点中 Spark...

一：Receiver启动的方式设想 1.Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driv...

RDD的三个问题 1.RDD到底是怎么生成的 2.具体执行的时候，是否和基于Spark Core上的RDD有所不同，runtime级别的 3.运...