SparkStreaming-Kafka通过指定偏移量获取数据 1.数据源 '310999003001', '31099900300102201...
收录了1篇文章 · 1人关注
SparkStreaming-Kafka通过指定偏移量获取数据 1.数据源 '310999003001', '31099900300102201...
专题公告
Spark Streaming 用于流式数据的处理。Spark Streaming 支持的数据输入源很多,例如:Kafka、Flume、Twitter、ZeroMQ 和简单的 TCP 套接字等等。数据输入后可以用 Spark 的高度抽象原语如:map、reduce、join、window 等进行运算。而结果也能保存在很多地方,如 HDFS,数据库等。和 Spark 基于 RDD 的概念很相似,Spark Streaming 使用离散化流(discretized stream)作为抽象表示,...
展开描述