感谢，讲得很清楚，确认了coalesce之后由最后一个rdd确认stage的并行度，
感觉这样上游rdd更大的并行度没有多大意义，还不如直接设置coalesce的设置的并行度，
这样是不是就不用coalesce
repartition 和 coalesce 算子repartition 和 coalesce 都是Transformation算子，都可以实现RDD的重新分区功能。 1. coalesce 1.1 源码 根据方法体上的介绍...
感谢，一直没搞清楚sortshufflemanager在写入临时磁盘文件时为何需要排序，现在才明白使用write使用了归并排序，同样在shuffle read的时候也可以按归并思路合并相同key的记录
SparkShuffer机制(三)什么是shuffer 宽依赖之间会划分stage，而Stage之间就是Shuffle Spark在DAG调度阶段会将一个Job划分为多个Stage，上游Stage做map工作...
反射机制是Java的一个非常实用的特性. 基于反射, 我们可以实现下面的接口 将类型作为参数传入方法中, 方法可以根据具体的类实现不同的逻辑, 返回不同数据类型的结果. 这十...
牛
Java反射-基于ParameterizedType实现泛型类类型参数化反射机制是Java的一个非常实用的特性. 基于反射, 我们可以实现下面的接口 将类型作为参数传入方法中, 方法可以根据具体的类实现不同的逻辑, 返回不同数据类型的结果. 这十...
Java注解Annotation用起来很方便，也越来越流行，由于其简单、简练且易于使用等特点，很多开发工具都提供了注解功能，不好的地方就是代码入侵比较严重，所以使用的时候要有...
SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); CronEx...
环境搭建： 1.安装好所需要的语音库，官方语音库下载：http://www.microsoft.com/en-us/download/details.aspx?id=1012...
作用：根据权限动态显示按钮 自定义标签：动态属性 动态属性指在标签处理器类和TLD文件中没有预先声明的属性，但是在JSP页面去可以为这些标签设置这些属性。实现动态属性必须满足...
思路 搭建过程 搭建基本环境安装Git安装Node.js和NPM 安装Gitbook工具 配置Gitbook与Jenkins自动部署 搭建基本环境 安装Git 网上已有很多相...
官方文档： https://www.java.com/zh_CN/download/help/mac_uninstall_java.xml 卸载步骤： 1.删除终端命令： s...
基础：封装、抽象、继承、多态 原则：封装变化多用组合、少用抽象针对接口编程、而不是针对实现编程为交互对象之间的松耦合设计而努力依赖抽象，不依赖具体类 思考：1.模式是一种场景...
1.MVC/MVVM模式：controller/scope/model/(html+css) 2.context作用域：$rootScope/$scope/原型继承 什么时候...
