240 发简信
IP属地:云南
  • 我又试了下,修改非上面的内容,比如增加对stream的操作,也不会影响checkpoint的反序列化。

    【容错篇】Spark Streaming的还原药水——Checkpoint

    一个 Streaming Application 往往需要7*24不间断的跑,所以需要有抵御意外的能力(比如机器或者系统挂掉,JVM crash等)。为了让这成为可能,Spa...

  • 您好,我在阅读Checkpoint的代码时,发现,StreamingContext会反序列化checkpoint的保存内容。但是反序列化的对象是Checkpoint:
    class Checkpoint(ssc: StreamingContext, val checkpointTime: Time)
    extends Logging with Serializable {
    val master = ssc.sc.master
    val framework = ssc.sc.appName
    val jars = ssc.sc.jars
    val graph = ssc.graph
    val checkpointDir = ssc.checkpointDir
    val checkpointDuration = ssc.checkpointDuration
    val pendingTimes = ssc.scheduler.getPendingTimes().toArray
    val delaySeconds = MetadataCleaner.getDelaySeconds(ssc.conf)
    val sparkConfPairs = ssc.conf.getAll

    如果这些东西不改变,是不是即便重新编译包,检查点一样是可用的?

    【容错篇】Spark Streaming的还原药水——Checkpoint

    一个 Streaming Application 往往需要7*24不间断的跑,所以需要有抵御意外的能力(比如机器或者系统挂掉,JVM crash等)。为了让这成为可能,Spa...