Flink - 文集

Flink

10篇文章 · 21521字 · 12人关注

Flink任务物理内存溢出问题定位
问题现象一个使用10秒滚动窗口的任务在平稳运行一段时间之后出现了频繁的重启。在TaskManager日志中能看到以下文本：原因定位首先可以...

0.9 14885 3 8
Apache Flink源码解析（八）Flink的HighAvailabilityServices
概述 Flink内部有一些服务是JobMaster和TaskExecutor共用的。如HighAvailabilityServices, Rpc...

0.1 2774 0 3

Apache Flink源码解析（七）Flink RPC的底层实现
Prerequisites Flink的RPC服务是基于Akka Remote实现的。一个简单的Akka Remoting ActorSyste...

1.3 5632 1 16
Apache Flink源码解析（六）执行计划生成之StreamGraph-上半篇: 通过DataStream API
概述根据上一篇文章 DataStream API 可以得知每一个方法生成的Transformation和实际运行中对Task的影响。事实上从T...

0.4 2809 0 11 1
Apache Flink源码解析（五）DataStream API
概述这篇文章是但不仅仅是官方文档的中文翻译，还有里面每一个方法对应的Transformation和运行时对Task的影响。 Prerequis...

0.2 9989 0 12 1
Apache Flink源码解析（四）Stream Operator
概述以Flink算子的视角为入口，解析它们是如何设计和工作的。重点在AbstractStreamOperator 实现StreamOpera...

0.2 8559 0 9 2
Apache Flink 源码解析（三）Flink on Yarn (2) Resource Manager
杂谈首先声明一下，这篇文章很杂，涉及到了挺多的模块，其实应该分为几篇来写更为合理，不过一口气写完了也就先发出来了，后续有空看看能不能改一下。 ...

0.3 2897 0 9

Apache Flink源码解析（三）Flink On Yarn (1) YarnSessionClusterEntrypoint
杂谈有一段时间没有写技术博客了，正好之前花了一周的时间解决了一个Flink在Yarn上部署的问题，也将Flink在Yarn上运行的机制与源码了...

0.9 5094 2 10
Apache Flink 源码解析（二）(Legacy mode已废弃)系统架构, 启动与注册
概述这篇文章侧重于分析JobManager和TaskManager的启动过程以及注册，还有Flink的implementation中所用到的设...

0.5 4920 2 10