StreamGraph是什么？ StreamGraph顾名思义是流图，它描述的是一个数据流的拓补结构，包含了创建JobGraph的所有必要信息。StreamGraph由Str...
发简信
IP属地：吉林
-
Flink源码分析之StreamGraph
-
Flink的这些事（一）——Flink部署
一、flink介绍 Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink ...
-
Flink源码解析之Job提交(上)
启动Job 大家可能都知道通过上面这条命令，就可以在Flink集群上部署一个Job，执行你想要的功能，那么具体这个Job是怎么提交到集群的机器上，并执行的呢？ CliFron...
-
Flink源码解析之JobManager接收Job
前一篇文章已经说过，JobManager的职责主要是接收Flink作业，调度Task，收集作业状态和管理TaskManager。那么本篇主要讲JobManager接收Flin...
-
Flink源码解析之JobManager启动JobManager职责 JobManager的职责主要是接收Flink作业，调度Task，收集作业状态和管理TaskManager。它包含一个Actor，并且接收如下信息:...
-
Flink源码解析之Job提交(下)上一篇文章我们讲解了通过命令行将一个Job提交到TaskManager的整体过程，但是我们中间忽略了一些细节，比如Job提交到集群的哪些节点，JobGraph是什么，它是如何...
-
Tuning Checkpoints and Large State原文链接 本页面提供了如何配置和优化使用大型状态的应用程序的指南。 概述 为了让Flink应用程序在大规模集群上可靠的运行，必须满足两个条件: 应用必须能可靠的获取check...
-
Process Function (Low-level Operations)
原文地址 The ProcessFunction ProcessFunction是一个低级的流处理操作，可以访问所有(非循环)流应用程序的基本组件: Events(流元素) ...
-
Configuration原文链接 对于单节点设置，Flink已经准备就绪，不需要更改默认配置就可以启动。 开箱即用的配置会使用你默认安装的Java。如果你想手动覆盖Java运行环境，可以手动设置环境...
-
State Backends
原文链接 使用Data Stream API编写的程序通常以不同的形式持有状态: 在窗口中收集或聚合元素，直到触发状态存储 转换函数可能使用key/value状态接口来存储元...
-
Checkpoints
原文链接 概述 Checkpoint通过允许从状态和相应流的位置进行恢复，从而使Flink中的状态具备容错能力，从而使应用程序具有与无故障执行相同的语义。 为你的程序如何开启...
-
JobManager High Availability (HA)原文链接 JobManager协调每个Flink部署。它负责调度和资源管理。 默认情况下，每个Flink集群都只有一个JobManager实例。这就造成了一个单点故障(SPO...
-
State Backends
原文链接 Flink提供了指定状态存储方式和位置的不同的状态后端。 状态可以位于Java的堆内或堆外。根据你的状态后端，Flink可以管理应用程序的状态，这意味着Flink处...
