发简信
IP属地：河南
-
-
spark之shuffle原理及性能优化1.spark的shuffleManager是负责shuffle过程的执行、计算和处理的组件。shuffleManager是trait，主要实现类有两个：HashShuffl...
-
Spark在GrowingIO数据无埋点全量采集场景下的实践本文根据2016年7月北京IBM Spark沙龙上的分享讲稿整理而成。 大家好，我是来自GrowingIO的数据工程师付旗，今天跟大家分享的是我们GrowingIO在使用Sp...
-
在码云上新建git库并提交idea的项目代码
1.登录码云：https://git.oschina.net/ 并新建git库，并复制git库地址，如：https://git.oschina.net/xmwj/sparkA...
-
spark的Driver获得资源的过程（standalone模式）
1. 在SparkContext实例化的时候调用createTaskScheduler来创建TaskSchedulerImpl和SparkDeploySchedulerBac...
-
spark比hadoop快的原因
Spark SQL比Hadoop Hive快，是有一定条件的，而且不是Spark SQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比Spark SQL的引擎更快。...
