1.调节并行度 并行度是指各个stage中task的数量。1）官方推荐，task数量设置成spark application总cpu core数量的2~3倍，比如150个cp...
发简信
IP属地：湖北
-
Spark学习笔记(6)性能调优
-
spark 数据倾斜总结一、数据倾斜概念 1.1、是指shuffle过程中，必须将各个节点上相同key拉取到某个节点上的一个task来进行处理，此时如果某个key对应的数据特别大的话，就会发生...
-
把玩代码十三载
-
Spark学习笔记(5)Shuffle源码分析概述 RDD作为Spark对各种数据计算模型的同一抽象，被用于迭代计算过程以及任务结果的缓存读写。在MR模型中，shuffle是map到reduce的中间桥梁。经过map标记...
-
聊聊flink的Table Formats
序 本文主要研究一下flink的Table Formats 实例 CSV Format flink内置支持csv format，无需添加额外依赖 JSON Format 可以...
-
-
专注理财规划和运维技术；
-
Hbase技术详细学习笔记最近在逐步跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase...
-
-
-
-
Github地址<br><a href="https://github.com/teeyog" rel="nofollow" target="_blank">https://github.com/teeyog</a>
-
我是一个没有感情的菠萝头
-
-
-
永不止步 Keep Moving
-
看清事实，依心而行<br><br> coding&思考<br><br>微信公众号：becomefm<br>
-
你好，我有几个关于flink使用的问题想请教下，一是很多打点数据过来的时候，可能只是单维度的比如：用户在商品上的点击，但是需求方想得到的是某个用户在店铺维度上的点击均值，这个时候我是要做两次keyby么？
flink与Spark的对比分析
我们是否还需要另外一个新的数据处理引擎？当我第一次听到flink的时候这是我是非常怀疑的。在大数据领域，现在已经不缺少数据处理框架了，但是没有一个框架能够完全满足不同的处理需...
-
