240 发简信
IP属地:北京
  • 120
    Spark Structed Streaming执行过程

    在Struct Streaming中增加了支持sql处理流数据,在sql包中单独处理,其中StreamExecution是下面提到两处流处理的基类,这个流查询在数据源有新数据...

  • 有个注意的地方就是需要把executor的计算结果汇集到driver端更新,我理解的是你的意思是在把统计结果拉取到driver端执行?

    【实战】spark streaming 如何保证消费EOS

    前段时间,一直有人问 spark streaming 偏移量问题。什么是偏移量?百度。一个正常或者线上的sparkstreaming执行顺序:1.根据group获取kafka...