由于最近学习大数据开发，spark作为分布式内存计算框架，当前十分火热，因此作为首选学习技术之一。Spark官方提供了三种集群部署方案： Sta...
投稿
收录了23篇文章 · 20人关注
-
Spark on Yarn集群搭建详细过程 -
Spark源码分析：DAGScheduler
Spark源码分析：DAGScheduler 概述 在RDD一文中提到： 定义RDD之后，程序员就可以在动作（注：即action操作）中使用RD...
-
Spark排错与优化
一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存，当集群中运行的任务特别多时，就会挂掉，原因是ma...
-
HDFS机架感知功能原理（rack awareness）
HDFS NameNode对文件块复制相关所有事物负责，它周期性接受来自于DataNode的HeartBeat和BlockReport信息，HD...
-
深入理解groupByKey、reduceByKey
测试源码 下面来看看groupByKey和reduceByKey的区别： 虽然两个函数都能得出正确的结果， 但reduceByKey函数更适合使...
-
Spark Streaming使用Kafka保证数据零丢失
源文件放在github，随着理解的深入，不断更新，如有谬误之处，欢迎指正。原文链接https://github.com/jacksu/utils...
-
Spark 2.0 Structured Streaming 分析前言 Spark 2.0 将流式计算也统一到DataFrame里去了，提出了Structured Streaming的概念，将数据源映射为一张无...
-
Spark新愿景：让深度学习变得更加易于使用
前言 Spark成功的实现了当年的承诺，让数据处理变得更容易，现在，雄心勃勃的Databricks公司展开了一个新的愿景：让深度学习变得更容易。...
-
Spark 内存管理的前世今生（下）欢迎关注我的微信公众号：FunnyBigData 在《Spark 内存管理的前世今生（上）》中，我们介绍了 UnifiedMemoryManag...
-
Spark SQL，DataFrame以及 Datasets 编程指南 - For 2.0
撰写本文时 Spark 的最新版本为 2.0.0 概述 Spark SQL 是 Spark 用来处理结构化数据的一个模块。与基础的 Spark ...
专题公告
Spark+大数据
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/583319/u_3403924745_3822041383_fm_58_s_C09405738C26EE92615D7CE200009030.jpeg', '推荐专题《Spark慢慢来》（ 分享自 @简书 ）','https://jianshuapi.com/c/2db63d7fb49d?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','页面编码gb2312|utf-8默认gb2312'));){kind=link}