文/明道创始人任向晖 此文已被扩写为完整版本电子书，在知乎，豆瓣和Kindle出版。点击以下链接可购买 从问题中学管理：十个高效管理方法论。 1、帕累托原则 （80/20原则...
发简信
IP属地：北京
-
我把百年来的管理概念和方法精华总结为10000个字 -
Hadoop 源码学习笔记(8)--Yarn 简介
Hadoop 1.x 时使用 JobTracker 对 MapReduce 任务进行任务调度，但这样导致一个结果，部署了 JobTracker 的节点只能够支持 MapRed...
-
Hadoop 源码学习笔记(5)--Hdfs 之 BlockManager 解析之前的章节说过 FSDirectory 中记录了所有的文件节点信息，而具体的文件内容则被分布式的存储在各个 DataNode 上。尽管通过 FSDirectory 我们能够知...
-
Spark SQL，DataFrames和Datasets学习本内容主要来自当前Spark最新版2.1.0的官方文档sql-programming-guide，以及一些其他阅读时搜索找到的相关辅助资料。 在所有工作开始前，也就是在官网文...
-
一次服务器CPU占用率高的定位分析
背景 通过性能监控发现上线服务器cpu某核占用率已经达到了100%，而且是由我们的某个核心服务导致的。幸亏由于我们的服务进程由多个相同worker（线程）调度承担的，所以除了...
-
Spark-Core源码精读(14)、Shuffle--Write部分前面我们分析了Spark中具体的Task的提交和运行过程，从本文开始我们开始进入Shuffle的世界，Shuffle对于分布式计算来说是至关重要的部分，它直接影响了分布式系统...
-
Spark-Core源码精读(15)、Shuffle--Read部分上一篇文章我们分析了Shuffle的write部分，本文中我们来继续分析Shuffle的read部分。 我们来看ShuffledRDD中的compute方法： 可以看到首先调...
