发简信
IP属地：重庆
-
和时间赛跑——小学语文三年级
读小学的时候，我的外祖母去世了。外祖母生前最疼爱我。我无法排除自己的忧伤，每天在学校的操场上一圈一圈地跑着，跑得累倒在地上，扑在草坪上痛哭。 那...
-
为什么你越工作越穷穷人为钱工作，富人不为钱工作 这个世界大多数的人都在为钱而工作，这个世界百分之八十人为百分之二十的人打工。所以，如果身为一名上班族，大部分人是为...
-
spark源码分析之Checkpoint的过程概述 checkpoint 的机制保证了需要访问重复数据的应用 Spark 的DAG执行行图可能很庞大，task 中计算链可能会很长，这时如果 ...
-
利用web管理spark任务由于最近学习了Play Framework这个web开发框架，接口的设计和api非常炫酷。由于是scala写的，所以这个框架对于和大数据框架结合...
-
大数据工程师知识技能树技能树大数据.png
-
spark源码分析之任务调度篇
DAG的生成 概述 spark作为一套高效的分布式运算框架，但是想要更深入的学习它，就要通过分析spark的源码，不但可以更好的帮助理解spar...
-
spark源码分析之Executor启动与任务提交篇任务提交流程 概述 在阐明了Spark的Master的启动流程与Worker启动流程。接下继续执行的就是Worker上的Executor进程了，...
-
MAPREDUCE原理篇(1)MAPREDUCE概念 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapredu...
-
spark源码分析Master与Worker启动流程篇spark通信流程 概述spark作为一套高效的分布式运算框架，但是想要更深入的学习它，就要通过分析spark的源码，不但可以更好的帮助理解sp...