看到一些同学的Spark代码中包含了很多repartition的操作，有一些不是很合理，非但没有增加处理的效率，反而降低了性能。这里做一个介绍。 repartition 从字...
发简信
IP属地：北京
-
Spark Repartition 使用
-
MySql 联合索引分析定义 将表中的多列（两列或以上）作为索引称为联合索引（或者符合索引）。 原理 摘自Mysql高性能 第三版 144页假设有一个People的表，建表语句如下所示： 那么这个表...
-
一个Vim入门者的劝告Vim是一个类似于Vi的著名的功能强大、高度可定制的文本编辑器，在Vi的基础上改进和增加了很多特性。[1]VIM是自由软件。 Vim普遍被推崇为类Vi编辑器中最好的一个，事实...
-
Kafka机器重启导致streamingJob 堆积问题排查现象描述：运维通告有一台kafka机器磁盘满了，运维正在进行重启。然后我们的实时的StreamingJob出现处理时间变长，出现大量的batch堆积。之前只需要2s的batc...
-
Spark 提交yarn cluster模式 提交job后 结束client进程
最近有个同事说自己提交了spark job 后，client的进程一直占用内存，而且类似的job提交了很多，最后导致提交job的机器，内存不够用了。查看了一下该同学的job的...
-
-
Spark2.2.0源码阅读：SparkJob 如何提交到Yarn(cluster)Spark是如何提交到Yarn上的 大部分的书籍在和文档在分析sparkjob提交的时候都是以standalone的方式分析的，由于大部分生产环境spark都是运行在yarn...
个人介绍
纸上学来终觉浅，绝知此事要躬行。
多动手，多思考，多总结。
验证对一个问题的掌握程度：
第一级别 自己理解
第二级别 能够给别人讲明白
第三级别 能够自己解决、落地
多动手，多思考，多总结。
验证对一个问题的掌握程度：
第一级别 自己理解
第二级别 能够给别人讲明白
第三级别 能够自己解决、落地