Shuffle 过程 上一章里讨论了 job 的物理执行图，也讨论了流入 RDD 中的 records 是怎么被 compute() 后流到后续 RDD 的，同时也分析了 t...
发简信
IP属地：青海
-
Spark详解04Shuffle 过程 -
Spark详解02Job 逻辑执行图Job 逻辑执行图 General logical plan 典型的 Job 逻辑执行图如上所示，经过下面四个步骤可以得到最终执行结果： 从数据源（可以是本地 file，内存...
-
Spark--SparkCore面试知识点总结
整理于【Spark面试2000题】Spark core面试篇03 ，梅峰谷大数据 1.Spark使用parquet文件存储格式能带来哪些好处？ 如果说HDFS 是大数据时代分...
-
十年开发经验大牛分享Spark 以及 spark streaming 核心原理及实践spark 生态及运行原理 Spark 特点 运行速度快 => Spark拥有DAG执行引擎，支持在内存中对数据进行迭代计算。官方提供的数据表明，如果数据由磁盘读取，速度是H...
-
IDEA+Springboot+Mybatis+Maven搭建Web项目最终项目结构目录 创建项目 配置数据库源 根据情况更改内容(数据库名称，登陆账户及密码，locations等)： 基于三层架构进行开发 数据库 resources文件夹（Re...
-
几分钟即可实现数据可视化，是怎么做到的？随着企业数据的日久累计，企业生产的数据无论从数量空间还是从维度层次上都日益繁杂。面对大量数据，管理层常常望洋兴叹：要么企业自产的大量数据不能有效利用，无法提供决策依据；要么数...
-
利用Python扩展库wordcloud实现词频统计(词云) for mac准备工作 首先安装好python（本文默认版本为3.6） 搭建python运行环境，加载第三方扩展库 准备好打算统计文字的文件，命名为article.txt，保存到与程序文件...
