1.调节并行度 并行度是指各个stage中task的数量。1）官方推荐，task数量设置成spark application总cpu core数量的2~3倍，比如150个cp...
发简信
IP属地：湖北
-
Spark学习笔记(6)性能调优
-
spark 数据倾斜总结一、数据倾斜概念 1.1、是指shuffle过程中，必须将各个节点上相同key拉取到某个节点上的一个task来进行处理，此时如果某个key对应的数据特别大的话，就会发生...
-
Spark学习笔记(5)Shuffle源码分析概述 RDD作为Spark对各种数据计算模型的同一抽象，被用于迭代计算过程以及任务结果的缓存读写。在MR模型中，shuffle是map到reduce的中间桥梁。经过map标记...
-
聊聊flink的Table Formats
序 本文主要研究一下flink的Table Formats 实例 CSV Format flink内置支持csv format，无需添加额外依赖 JSON Format 可以...
-
Hbase技术详细学习笔记最近在逐步跟进Hbase的相关工作，由于之前对Hbase并不怎么了解，因此系统地学习了下Hbase，为了加深对Hbase的理解，对相关知识点做了笔记，并在组内进行了Hbase...
-
Django 学习小组：博客开发实战第三周教程——文章列表分页和代码语法高亮本教程内容已过时，更新版教程请访问： Django 博客开发入门教程。 摘要：前两期教程我们实现了博客的 Model 部分，以及 Blog 的首页视图 IndexView，详...
-
程序员别迷茫，通往牛逼的道路有很多有个网友给我留言，说看了我的上篇文章《三个月不工作，我才转行成了程序员》，感触很深，自己和奶爸的经历类似，也是从其它行业，转到IT圈做了一名程序员。如今已有2年时间，大大小小...
