Delta Lake 是什么？简单的说就是为大数据场景添加了事务功能，并且支持了 update/delete/merge into 等功能， D...
投稿
收录了187篇文章 · 2223人关注
-
Delta Lake 平台化实践（离线篇)
-
Delta Presto Integration & Manifests 机制
Delta 0.5 已于上周发布，增加了不少新特性，这篇文章主要讲解其 Presto Integration 和 Manifests 机制。该功...
-
记一次Spark Yarn Shuffle Service升级引发的血案前言 Spark YarnShuffleService是作为Hadoop Yarn模块中NodeManager的辅助服务寄生在其进程内部，大家都...
-
数据本地性对 Spark 生产作业容错能力的负面影响数据本地性是 Spark 等计算引擎从计算性能方面去考量的一个重要指标，对于某个数据分片的运算，Spark 在调度侧会做数据本地性的预测，然后尽...
-
Spark on k8s: 配置和使用ConfigMap什么是 ConfigMap 顾名思义，用来存配置的Map，可以存单个配置或者配置文件，在 POD 中我们可以通过环境变量来访问单个配置和配置文件...
-
Spark存储内存在哪些地方用到？漫谈Spark内存管理(一)有提到问题：“ Spark中用到内存的地方有哪些？存储内存主要消耗在哪些地方？执行内存主要消耗在哪些地方？”。本文就...
-
SPARK-21444踩坑记录: DAGSchedulerEventProcessLoop failed when executor preempted
原文 前段时间工作中踩到SPARK-21444的坑，这里做个记录。 1 场景描述 我们的一个spark app在正常运行几个月后经常出现driv...
-
spark stream消费kafka实现零丢失
场景 spark streaming接受到数据后，在spark中进行存储，之后将kafka确认信息存储到zookeeper上（kafka的偏移量...
-
深入理解Spark Streaming流量控制及反压机制目录 流量控制简介 Spark Streaming流控基本设置 Spark Streaming反压机制的具体实现动态流量控制器基于PID机制的速...
-
Kafka+Spark Streaming如何保证exactly once语义在Kafka、Storm、Flink、Spark Streaming等分布式流处理系统中（没错，Kafka本质上是流处理系统，不是单纯的“消息队...
专题公告
Spark深入学习专题旨在通过高质量的文章对Spark相关技术进行研究学习
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/30285/spark-vs-tez.png', '推荐专题《Spark深入学习》（ 分享自 @简书 ）','https://jianshuapi.com/c/dff5187d432f?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}