GJMZ

RoketMQ日志代码所在的子工程为rocketmq-logging，该子工程完成以下几个功能 rocketmq实现了一套简易的内部日志接口，通过org.apache.roc...

GJMZ

关于抢占机制的说明及其源码分析https://blog.csdn.net/zhanyuanlin/article/details/71516286这篇文章已经讲的比较完整了，...

GJMZ

本文调度算法所采用的策略是fair策略，即公平调度算法，另外为简单起见本文只考虑了一个资源即memory. Schedulable接口 调度器调度的是可调度类，在FairSc...

GJMZ

概念 YARN的资源预约机制是一种资源保证机制，当应用程序申请的资源无法得到满足的时候，YARN会将当前的资源预约到一个node上，未来只要有一定的资源释放并且node上的资...

GJMZ

FifoScheduler相对FairScheduler来说很简单了，先从这个入手窥探YARN容器分配的基本过程。FifoScheduler只包含一层调度，根据Applica...

GJMZ

YARN中的资源请求主要是指ApplicationMaster通过AMRMClientImpl向ResourceManager发起的容器请求。relaxLocality属性在...

GJMZ

Hadoop提供了机架（rack）的概念，Hadoop集群上面的一个node属于哪一个rack，rack信息由网络管理员配置。Hadoop提供机架感知的功能来获取管理员配置的...

GJMZ

ApplicationMaster提交startContianers的请求给NodeManager之后，NodeManager很重要的一个步骤是将启动容器所需要的Resour...

GJMZ

YarnConfiguration extends Configuration ，YarnConfiguration默认加载的配置文件： yarn-default.xml y...

GJMZ

dataX中xxxreader和xxxwriter都属于插件，本文主要探讨这些插件是如何加载到JVM中去的。 Plugin的配置信息 dataX中运行一个Job所需要的所有插...

GJMZ

建表语句插入的位置 自动建立Writer端的表，下面是一个简单的实现没有考虑可扩展性。具体代码加入到mysqlwriter这个模块即可。自动建表应该在哪调用呢，我选择了Mys...

GJMZ

何为StreamAllocation泄露? 上一篇文章ttps://www.jianshu.com/p/3688967830fe说了，每次请求都会将StreamAllocat...

GJMZ

StreamAllocation主要功能： 屏蔽协议细节处理不同Connection的复用功能，主要是协议流的可复用性和ConnectionPool的处理； 屏蔽协议（这些协...

GJMZ

之前有一个需求是从一个mysql的建表语句中获取表名，即从"create table t_student ...."这个建表语句中获取表名t_student。第一反应肯定是直...

GJMZ

TaskGroupContainer中Task执行逻辑 这个和流量控制貌似没有关系，其实理解Task的执行逻辑对理解流量控制有很大的帮助。TaskGroupContainer...

GJMZ

汇报过程 汇报源码逻辑是在TaskGroupContainer#reportTaskGroupCommunication这个方法中，方法的两个形参分别为lastTaskGro...

GJMZ

dataX文档中关于Job和TaskGroup的描述为： JobContainer: Job执行器，负责Job全局拆分、调度、前置语句和后置语句等工作的工作单元。类似Yarn...

GJMZ

分片完毕之后会在JobContianer种生成一系列的Task，因为dataX中执行任务的单元是任务组TaskGroup，在执行任务之前会将这些任务公平的分给分配给任务组Ta...