问题描述 我们最近有个项目，需要实时消费订单成单的消息，提炼完数据后把结果写入HDFS，因此checkpointConfiguration 自然...
投稿
收录了21篇文章 · 249人关注
-
Spark Structured Streaming 写checkpoint 到HDFS 抖动的排查 -
是时候丢掉Spark Streaming 升级到Structured Streaming了
前言 又是一个超长的标题（摊手┓( ´∀` )┏）。Spark Streaming 历史比较悠久，也确实非常好用，更重要的是，大家已经用熟了，有...
-
Structured Streaming如何实现Parquet存储目录按时间分区
缘由 StreamingPro现在支持以SQL脚本的形式写Structured Streaming流式程序了： mlsql-stream。不过期...
-
StreamingPro支持Flink的流式计算了前言 有的时候我们只要按条处理，追求实时性而非吞吐量的时候，类似Storm的模式就比较好了。Spark 在流式处理一直缺乏改进，而Flink在流...
-
Spark Streaming 不同Batch任务可以并行计算么？
关于Spark Streaming中的任务有如下几个概念： Batch Job Stage Task 其实Stage,Task都是Spark C...
-
天天在做大数据，你的时间都花在哪了
大数据做了这许多年，有没有问过自己，大数据中，工作量最大和技术难度最高的，分别是什么呢？ 前言 我每天都在思考，思考很重要，是一个消化和不断深入...
-
Spark Streaming 数据产生与导入相关的内存分析
前言 我这篇文章会分几个点来描述Spark Streaming 的Receiver在内存方面的表现。 一个大致的数据接受流程 一些存储结构的介绍...
-
Spark Streaming 数据接收优化
看这篇文章前，请先移步Spark Streaming 数据产生与导入相关的内存分析, 文章重点讲的是从Kafka消费到数据进入BlockMana...
-
Spark Streaming Direct Approach (No Receivers) 分析
前言 这个算是Spark Streaming 接收数据相关的第三篇文章了。 前面两篇是： Spark Streaming 数据产生与导入相关的内...
-
Spark Streaming Crash 如何保证Exactly Once Semantics
这篇文章只是为了阐述Spark Streaming 意外Crash掉后，如何保证Exactly Once Semantics。本来这个是可以直接...
专题公告
spark streaming流式计算相关文章
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/256861/1464143018.jpg', '推荐专题《流式计算》（ 分享自 @简书 ）','https://jianshuapi.com/c/537a464360f9?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}