我又试了下,修改非上面的内容,比如增加对stream的操作,也不会影响checkpoint的反序列化。
【容错篇】Spark Streaming的还原药水——Checkpoint一个 Streaming Application 往往需要7*24不间断的跑,所以需要有抵御意外的能力(比如机器或者系统挂掉,JVM crash等)。为了让这成为可能,Spa...
我又试了下,修改非上面的内容,比如增加对stream的操作,也不会影响checkpoint的反序列化。
【容错篇】Spark Streaming的还原药水——Checkpoint一个 Streaming Application 往往需要7*24不间断的跑,所以需要有抵御意外的能力(比如机器或者系统挂掉,JVM crash等)。为了让这成为可能,Spa...
您好,我在阅读Checkpoint的代码时,发现,StreamingContext会反序列化checkpoint的保存内容。但是反序列化的对象是Checkpoint:
class Checkpoint(ssc: StreamingContext, val checkpointTime: Time)
extends Logging with Serializable {
val master = ssc.sc.master
val framework = ssc.sc.appName
val jars = ssc.sc.jars
val graph = ssc.graph
val checkpointDir = ssc.checkpointDir
val checkpointDuration = ssc.checkpointDuration
val pendingTimes = ssc.scheduler.getPendingTimes().toArray
val delaySeconds = MetadataCleaner.getDelaySeconds(ssc.conf)
val sparkConfPairs = ssc.conf.getAll
如果这些东西不改变,是不是即便重新编译包,检查点一样是可用的?
【容错篇】Spark Streaming的还原药水——Checkpoint一个 Streaming Application 往往需要7*24不间断的跑,所以需要有抵御意外的能力(比如机器或者系统挂掉,JVM crash等)。为了让这成为可能,Spa...