
一、集合大纲 1.集合和数组的区别: 2.Collection集合的方法: 3.常用集合的分类:Collection 接口的接口 对象的集合(单列集合)├——-List 接口...
窗口是处理无限流的核心。Windows将流分割成有限大小的"桶",我们可以在这些桶上进行计算。本文档主要介绍在Flink中如何执行窗口,以及程序员如何从它提供的功能中获得最大...
操作符将一个或多个数据令转换为一个新的数据令。程序可以将多种转换组合成复杂的数据流拓扑。 本节将介绍基本的转换、应用这些转换后的有效物理分区以及对Flink s操作符链接的深...
此页面的目标是为需要使用自定义状态序列化的用户提供指导方针,介绍了如何提供自定义状态序列化器,以及实现允许状态模式演化的序列化器的指导方针和最佳实践。 如果您只是使用Flin...
Apache Flink流媒体应用程序通常设计为无限期运行或长时间运行。与所有长期运行的服务一样,需要更新应用程序以适应不断变化的需求。这同样适用于应用程序所针对的数据模式;...
Flink提供了不同的状态后端,用于指定状态存储的方式和位置。 状态可以位于Java的堆或堆外。根据您的状态后端,Flink还可以管理应用程序的状态,这意味着Flink处理内...
Flink中的每个函数和运算符都可以是有状态的(有关详细信息,请参见使用状态[https://ci.apache.org/projects/flink/flink-docs-...
Working with State[https://www.jianshu.com/p/fa59ed63cf62]描述了操作符的状态,在恢复时,该状态是均匀地分布在操作符的...
本文档解释了在开发应用程序时如何使用Flink的状态抽象。 Keyed State and Operator State 在Flink中有两种基本的状态:Keyed Stat...
有状态的函数和运算符在处理单个元素/事件的过程中存储数据,从而使状态成为任何类型的更精细操作的关键构建块。例如: 当应用程序搜索某些事件模式时,状态将存储到目前为止遇到的事件...
正如在 timestamps and watermark handling[https://www.jianshu.com/p/bc0d1753a4be]中所描述的,Flin...
本节与在event time上运行的程序有关。有关event time, processing time, 和 ingestion time的介绍,请参阅 introduct...
Event Time / Processing Time / Ingestion Time Flink在流媒体程序中支持不同的时间概念。 Processing time: 处...
Flink DataStream API Programming Guide 在Flink中的数据流程序是实现数据流转换的常规程序(例如,过滤,更新状态,定义窗口,聚合)。数...
Spark shuffle模块主要包含三个组件: 负责shuffle数据读写的shuffleManager 负责跟踪shuffle数据地址的MapOutputTracker ...
理解spark我觉得最好的入口就是从sparkcontext初始化开始,所以放到这里先介绍一下。 TaskScheduler/xxxSchedulerBackend启动 Sp...
读前准备 本文档旨在帮助新人更好地学习Apache Spark源码,在阅读文档之前,需要读者掌握以下前置知识: 明白driver,executor等Spark中的基本概念,知...