Spark & Flink - 专题

投稿

Spark & Flink

收录了76篇文章 · 88人关注

Flink Job 调度
[toc] 介绍 Flink 是如何调度 Job，以及如何在 JobManager 上维护并跟踪 Job 状态。调度 Flink 通过任务槽（...

0.2 Alex90 0 1
Flink Checkpoint 和 Large State 调优
Overview 为了使 Flink 应用程序能够可靠地大规模运行，必须满足两个条件：应用程序需要能够可靠地获取 Checkpoint 在发生...

Alex90 0 0

Flink State 和 Fault Tolerance（四）
State Snapshot 定义 Snapshot – 是 Flink 作业状态全局一致镜像的通用术语。快照包括指向每个数据源的指针（例如，到...

Alex90 0 0
Flink State 和 Fault Tolerance（三）
[toc] Savepoint Savepoint 和 Checkpoint 的区别 Savepoint 是命令触发的 Checkpoint，对...

Alex90 0 0
Flink SQL Connector（一）- Format & Kafka
Format Flink 提供了一套与表连接器（table connector）一起使用的表格式（table format）。表格式是一种存储格...

0.1 Alex90 0 1
Flink Metrics
主要引用官方文档 https://ci.apache.org/projects/flink/flink-docs-release-1.13/zh...

Alex90 0 0
Flink Side Outputs
Side Output 功能从 Flink 1.3.0 版本开始提供，FLINK-4460[https://issues.apache.org/...

Alex90 0 0

Flink State 和 Fault Tolerance（二）
Checkpoint Flink 中的 State 在上一篇中介绍过，Flink 中的每个方法或算子都能够是有状态的，为了使 State 容错，...

Alex90 0 0
Flink State 和 Fault Tolerance（一）
Overview 有状态函数（Stateful function）和算子（Operator）在处理独立的数据或事件时存储数据，使得状态（Stat...

Alex90 0 0
Flink EventTime 和 Watermark（1.13）
时间概念时间在流式计算中起很重要的作用，Flink 提供了3种时间模型：EventTime、ProcessingTime、IngestionT...

Alex90 0 0