IP属地：河南
-
-
可以用吗老哥，spark都driver 跟work端 你这个方式在2个端都可以接收到传的值吗
Spark实例-spark读取外部配置文件之--files
在运行spark程序的时，有时需要读取外部配置参数，比如mysql的host参数、端口号、es主机ip、es端口号等。通过外部文件配置参数也方便程序迁移。下面就来看看如何来实...
-
Spark实例-spark读取外部配置文件之--files
在运行spark程序的时，有时需要读取外部配置参数，比如mysql的host参数、端口号、es主机ip、es端口号等。通过外部文件配置参数也方便程序迁移。下面就来看看如何来实...
-
Spark Streaming限流反压机制源码剖析本文基于spark streaming通过direct mode访问kafka的场景，从源码出发分析spark streaming如何实现数据读取的限流和反压。 我们知道，K...
-
你是怎么kill的？kill -9吗？
Runtime.getRuntime().addShutdownHook简介
前言: 在使用线程池的时候，偶然看到了前人的代码里出现了Runtime.getRuntime().addShutdownHook()。 作用： jvm中增加一个关闭的钩子，当...
-
Runtime.getRuntime().addShutdownHook简介
前言: 在使用线程池的时候，偶然看到了前人的代码里出现了Runtime.getRuntime().addShutdownHook()。 作用： jvm中增加一个关闭的钩子，当...
-
楼主在吗
//1 //3 //2// //4 那么最后4的结果就不能确定喽。其原因是 //3 //2 直接符合上述八大原则中的任何一个，不能通过传递性推测出来什么。
这句话是啥意思啊，为什么最后结果不是4呢java 8大happen-before原则超全面详解
再来重复下八大原则： 单线程happen-before原则：在同一个线程中，书写在前面的操作happen-before后面的操作。 锁的happen-before原则：同一个...
-
大佬有代码吗 可以看下不
Spark中sortByKey是如何进行全局排序的
首先有一个问题有一台服务器:24core 128G内存，要处理一个1T的数据怎么办？ 要采用拆分策略，将1T的数据拆分成128G大小的块进入服务器计算。1T数据拆分成了8个块...
-
161、Spark内核原理进阶之repartition算子内部实现原理
看图 repartition算子，repartition算子=coalesce(true) map，附加了前缀，根据要重分区成几个分区，计算出前缀 shuffle->cole...
-
【Spark系列】spark中job，stage，task之间的关系1.什么是job Job简单讲就是提交给spark的任务。 2.什么是stage Stage是每一个job处理过程要分为的几个阶段。 3.什么是task Task是每一个jo...
-
SMP/NUMA/MPP三种系统架构(转)
从平行计算系统的内存架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构（SMP：Symmetric Multi-Processor），非一致存储访问结构（NUMA...
-
Data VauIt建模理论及应用场景DataVault模型 DataVault是在ER模型的基础上衍生而来的，模型设计的初衷是有效的组织基础数据层，使之易扩展、灵活的应对业务变化，同时强调历史性、可追溯性和原子...
-
在吗，我看了你的azkaban3.71编译那篇文章，有个问题想问你，新版本跟老版本有什么新特性呢？官网也没找到
Azkaban最新3.71版本编译及安装
在azkaban3.0 以后的版本，提供了3中安装模式。单 solo-server mode， two server mode和multiple-executor mode。...
