容量与分级设计 YARN为它正在调度的资源定义了最小分配和最大分配:每个为YARN运行worker的服务器都有一个NodeManager，它提供资源分配，可以是内存和/或cp...
发简信
IP属地：北京
-
Capacity Scheduler -
资源分配和抢占涉及到的配置参数资源分配 FSParentQueue.assignContainer满足不存在ReservedContainer && 队列ResourceUsage < maxResour...
-
Fair Share计算实现原理
Steady Fair Share 我们计算steady fair share的时候，计算的都是加权值，即权重不同的队列，将获得不同的steady fair share，权重...
-
使用 FairScheduler 队列属性
在之前的第 4 部分中[https://clouderatemp.wpengine.com/blog/2016/06/untangling-apache-hadoop-yar...
-
Fair Scheduler Queue Basics
示例：具有正在Running的应用程序的集群 假设我们有一个yarn集群，其总资源<内存：800GB，vcores 200>，有两个队列：root.busy（权重=1.0）和...
-
-
-
BrokerLoadJob的JobState流转过程
There are 3 steps in BrokerLoadJob: BrokerPendingTask, LoadLoadingTask, CommitAndPublis...
-
Thrift JDBC/ODBC Server安装
添加Cloudera maven镜像 在spark的pom文件中添加 CDH的maven镜像[1]，并添加 Hadoop cdh5.6.1 的profile 具体添加配置的位...
-
Shuffle流程-源码分析shuffle写阶段 DAGScheduler.submitMissingTasks ShuffleMapTask ShuffleMapTask.runTask shuffl...
-
stage划分-源码分析
eventProcessLoop POST JobSubmitted 事件 eventThread 消费事件进行处理 doOnReceive DAGScheduler.han...
-
rdd依赖-源码分析
NarrowDependency MapPartitionsRDD var prev: RDD[T] OneToOneDependency ShuffleDependency...
-
spark通信-源码分析
driver的网络通信 -SparkContext.SparkEnvprivate[spark] def env: SparkEnv = _env_env = createS...
-
spark提交流程-源码分析
org.apache.spark.deploy.SparkSubmit-main -YarnClusterApplication.start//ClientArguments...
-
Append 流、 Retract 流、 Upsert 流、动态表Append-only 流： 仅通过 INSERT 操作修改的动态表可以通过输出插入的行转换为流。 Retract 流： retract 流包含两种类型的 message： ...
