最近在研究Spark源码，顺便记录一下，供大家学习参考，如有错误，请批评指正。好，废话不多说，这一篇先来讲讲Spark作业提交流程的整体架构。 第一种，基于Standalon...
IP属地：北京
-
Spark内核分析之spark作业的三种提交方式 -
Kafka 学习笔记
一、Kafka简介 Kafka （科技术语）。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 1.1 背景历史 当今社会各种...
-
-
Spark内核分析之Shuffle操作流程（非常重要）如题，我们来分析一下spark的shuffle操作原理；为什么说其非常重要，是因为shuffle操作是我们在Spark调优中非常重要的一环，对shuffle进行了优化，往往可...
-
大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，...
