细粒度资源管理的背景 目的 Flink 目前采用粗粒度的资源管理方法，其中task被部署到预定义的、通常相同的slot中，而不需要每个包含多少资源的概念。使用slot共享，可...
IP属地：上海
-
深入解析 Flink 细粒度资源管理 -
MySQL备份和恢复类型
备份和恢复类型 物理（原始）与逻辑备份 物理备份由存储数据库内容的目录和文件的原始副本组成。这种类型的备份适用于出现问题时需要快速恢复的大型重要数据库。逻辑备份将信息保存为逻...
-
Flink整合面向用户的数据流SDKs/API(Flink关于弃用Dataset API的论述)
动机 Flink提供了三种主要的sdk/API来编写程序:Table API/SQL、DataStream API和DataSet API。我们认为这个API太多了，建议弃用...
-
Flink JobManager | TaskManager内存模型Flink内存模型分析 JobManager内存模型 TaskManager内存模型 内存模型分析 Flink使用内存（Total Flink Memory）=框架堆内存+框...
-
Flink使用Pod Template将状态快照(Checkpoint、Savepoint)存储在NFS
背景 Flink 版本 1.13.3，使用 native k8s[https://mp.weixin.qq.com/s/QE_37OrPVdRb7JOPtmj2zQ] 部署模...
-
Flink中如何实现一个自定义MetricReporter
什么是 Metrics 在 flink 任务运行的过程中，用户通常想知道任务运行的一些基本指标，比如吞吐量、内存和 cpu 使用情况、checkpoint 稳定性等等。而通过...
-
flink+kafka的端到端一致性
上一篇中提到flink+kafka如何做到任务级顺序保证，而端到端一致性即为实现用户数据目标端与源端的准确一致，当源端数据发生更改时，保证目标端及时、正确、持久的写入更改数据...
-
flink+kafka的端到端一致性上一篇中提到flink+kafka如何做到任务级顺序保证，而端到端一致性即为实现用户数据目标端与源端的准确一致，当源端数据发生更改时，保证目标端及时、正确、持久的写入更改数据...
-
kafka+flink任务级顺序保证顺序保证难点 本文主要分析 CDC 业务场景中任务级顺序保证，技术选型为：debezium、kafka、flink，其构成了顺序保证中至关重要的每一环，应该充分考虑、分析各组...
-
flink相关概念介绍Flink定义 Apache Flink is a framework and distributed processing engine for stateful comp...
-
hive3.1.2安装(基于mysql存储元数据)
1.下载 2.解压 3.配置环境变量 4. 安装 4.1 修改hive-config.sh 4.2上传jar包 上传mysql-connector-java-5.1.10.j...
-
hadoop集群快速部署
1. 修改Linux主机名 或修改配置文件 2. 修改IP 3. 修改主机名和IP的映射关系 4.关闭防火墙 5.ssh免登陆 （四个回车）执行完这个命令后，会生成两个文件i...
-
flink on native k8s by application mode
flink1.13于5月4日发布，版本迭代之快，更是体现了其势不可挡的发展速度。社区活跃度逐步攀升，当然少不了与云原生等技术的集成。 本文主要讲解flink的原生k8s ap...
-
kubeadmin部署k8s集群1、安装要求 一台或多台机器，操作系统 CentOS7.x-86_x64 硬件配置：2GB 或更多 RAM，2 个 CPU 或更多 CPU，硬盘 30GB 或更多 集群中所有...
-
Flink读取Kafka数据写入Hive前言 本文针对数据库CDC(change data capture)场景设计，探讨基于Flink1.12最新版本提供的实时写入Hive的技术可行性，下面为本地IDEA程序案例...
