欢迎关注笔者的公众号:【阿飞的博客】,首发都在这里!!! LinkedIn中的个人主页是访问量最多的页面之一,它允许其他人访问你的个人主页,从而了解你的专业技能,经验和兴趣等...
欢迎关注笔者的公众号:【阿飞的博客】,首发都在这里!!! LinkedIn中的个人主页是访问量最多的页面之一,它允许其他人访问你的个人主页,从而了解你的专业技能,经验和兴趣等...
随着Apache Parquet和Apache ORC等存储格式以及Presto和Apache Impala等查询引擎的发展,Hadoop生态系统有潜力作为面向分钟级延时场景...
问题背景 笔者所在的部门属于公司的大数据架构部,现主要参与公司流式计算平台的推广,个人负责spark的平台维护、特性定制、线上问题修改等。为了方便业务用户提交spark应用。...
针对数据乱序的需求,需要使用eventtime和watermark来解决。 watermarks的生成方式有两种: With Periodic Watermarks:周期性的...
Window是无限数据流处理的核心,Window将一个无限的stream拆分成有限大小的”buckets”桶,我们可以在这些桶上做计算操作。本文主要聚焦于在Flink中如何进...
摘要 Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 S...
Apache Flink(下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些...
支付宝支付能力的接入已经是每个应用离不开的功能点之一了。但是作为个人开发者的话需要一大堆的资料以及认证就很难做了,幸好,支付宝开放平台有一项能极大方便个人开发者了解支付流程的...
Overview Savepints是外部存储的checkpoint,你可以通过该checkpoint来停止,重复消费和更新你的Flink程序。使用Flink的checkpo...