论文概要 该论文是Spark团队在2018年发表的一篇基于Spark引擎之上新构建的一套Streaming api,Structured Str...
论文概要 该论文是Spark团队在2018年发表的一篇基于Spark引擎之上新构建的一套Streaming api,Structured Str...
根据集群的生命周期、资源隔离方式和应用程序的main()方法执行位置(client或者JobManager)可以将集群部署模式分为:Flink ...
Flink集群架构 Flink采用Master-Slave架构,其中JobManager作为集群Master节点,主要负责任务协调和资源分配,T...
快照策略(SnapshotStrategy) Flink的检查点机制是建立在分布式一致快照之上的,从而实现数据处理的exactly-once处理...
Flink系统组成 Flink是一个分层系统,从下到上分为:系统部署层、任务运行层、API层以及基于API开发的通用库层(Libraries)。...
Flink API介绍 Flink提供了三层API,每层在简洁性和表达性之间进行了不同的权衡。 ProcessFunction是Flink提供的...
Flink作为一个分布式流式计算引擎,需要计算资源才可以执行应用程序。Flink能够与目前所有通用的资源管理框架集成,比如Hadoop YARN...
项目构建 项目模板 Flink应用项目可以使用Maven或SBT来构建项目,Flink针对这些构建工具提供了相应项目模板。Maven模板命令如下...
Trident是什么 Trident是Storm上的高层次抽象,它能够在提供高吞吐量的能力同时(每秒几百万消息),也提供了有状态的流式处理和低延...
Storm架构 Storm是一个分布式、可靠的实时计算系统。与Hadoop不同的是,它采用流式的消息处理方法,对于每条消息输入到系统中后就能被立...
专题公告
分享实时计算相关的技术,比如Flink、Storm、Spark Streaming等,以及一些优秀的实时计算文章的相关翻译。