在运行spark程序的时，有时需要读取外部配置参数，比如mysql的host参数、端口号、es主机ip、es端口号等。通过外部文件配置参数也方便程序迁移。下面就来看看如何来实...
IP属地：河南
-
Spark实例-spark读取外部配置文件之--files
-
Spark Streaming限流反压机制源码剖析本文基于spark streaming通过direct mode访问kafka的场景，从源码出发分析spark streaming如何实现数据读取的限流和反压。 我们知道，K...
-
Runtime.getRuntime().addShutdownHook简介
前言: 在使用线程池的时候，偶然看到了前人的代码里出现了Runtime.getRuntime().addShutdownHook()。 作用： jvm中增加一个关闭的钩子，当...
-
161、Spark内核原理进阶之repartition算子内部实现原理
看图 repartition算子，repartition算子=coalesce(true) map，附加了前缀，根据要重分区成几个分区，计算出前缀 shuffle->cole...
-
【Spark系列】spark中job，stage，task之间的关系1.什么是job Job简单讲就是提交给spark的任务。 2.什么是stage Stage是每一个job处理过程要分为的几个阶段。 3.什么是task Task是每一个jo...
-
SMP/NUMA/MPP三种系统架构(转)
从平行计算系统的内存架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构（SMP：Symmetric Multi-Processor），非一致存储访问结构（NUMA...
-
Data VauIt建模理论及应用场景DataVault模型 DataVault是在ER模型的基础上衍生而来的，模型设计的初衷是有效的组织基础数据层，使之易扩展、灵活的应对业务变化，同时强调历史性、可追溯性和原子...
-
Azkaban最新3.71版本编译及安装在azkaban3.0 以后的版本，提供了3中安装模式。单 solo-server mode， two server mode和multiple-executor mode。...
-
浅谈数据仓库建模方法
概述 数据仓库这个概念是由 Bill Inmon 所提出的，其功能是将组织通过联机事务处理（OLTP）所积累的大量的资料和数据，通过数据仓库理论所特点有的信息存储架构，进行系...
