pcqlegend - 简书

IP属地：北京

Flink容错性机制-状态（State）的实现原理
之前介绍了Checkpoint的组成之一Barrier，本文主要介绍State。当operator包含一些状态数据的时候，这些状态同样也是快照的...

1142 0 0
Flink 容错性机制- 屏障（barrier）实现原理
我们知道Flink提供了容错机制，能够在应用失败的时候重新恢复任务。这个机制主要就是通过持续产生快照的方式实现的。Flink快照主要包括两部分数...

0.2 5316 0 2

故障分析模板
【标题】2019XXXX-事故简单描述【故障描述】描述什么时间，出现了什么问题【故障原因】【时间范围】【故障影响】【修复办法】【故...

710 0 0
Spark Repartition 使用
看到一些同学的Spark代码中包含了很多repartition的操作，有一些不是很合理，非但没有增加处理的效率，反而降低了性能。这里做一个介绍。...

1.2 50471 0 17
spark.sql.shuffle.partitions 和 spark.default.parallelism 区别
上面两个参数都是设置默认的并行度，但是适用的场景不同： spark.sql.shuffle.partitions是对sparkSQL进行shuf...

4533 0 0
Spark 任务开发的一些建议
剖析需求，熟悉业务熟悉需求以及业务接口开发一个Spark的任务和开发其他需求是一样的，要知道这个任务主要用来做什么，输入时什么，输出是什么，...

806 0 0
第四周深层神经网络
4.2 深层网络中的前向传播 4.3 核对矩阵的维数主要是计算w的维数，以及b的维数单个样本的情况如下所示表示样本具有两个特征,因为是，是...

420 0 0

第三周浅层神经网络笔记
表示第i个样本表示样本的第i个特征所以这里的x都是列向量 L(y,y)是单个损失函数 J 是所有训练样本的逻辑回归可以被看成一个非常小的神经...

412 0 0
Spark 是否开启动态资源分配
Spark提供了一种机制，使它可以根据工作负载动态调整应用程序占用的资源。这意味着，如果不再使用资源，应用程序可能会将资源返回给集群，并在稍后需...

0.1 2531 0 1