欢迎关注笔者的公众号:【阿飞的博客】,首发都在这里!!! LinkedIn中的个人主页是访问量最多的页面之一,它允许其他人访问你的个人主页,从而了解你的专业技能,经验和兴趣等...
随着Apache Parquet和Apache ORC等存储格式以及Presto和Apache Impala等查询引擎的发展,Hadoop生态系统有潜力作为面向分钟级延时场景...
问题背景 笔者所在的部门属于公司的大数据架构部,现主要参与公司流式计算平台的推广,个人负责spark的平台维护、特性定制、线上问题修改等。为了方便业务用户提交spark应用。...
@JonsonWung 可以的
基于SparkSQL实现的一套即席查询服务IQL (项目地址:https://github.com/teeyog/IQL) English | 简体中文 基于SparkSQL实现了一套即席查询服务,具有如下特性: 优...
@长振 可以
基于SparkSQL实现的一套即席查询服务IQL (项目地址:https://github.com/teeyog/IQL) English | 简体中文 基于SparkSQL实现了一套即席查询服务,具有如下特性: 优...
针对数据乱序的需求,需要使用eventtime和watermark来解决。 watermarks的生成方式有两种: With Periodic Watermarks:周期性的...
Window是无限数据流处理的核心,Window将一个无限的stream拆分成有限大小的”buckets”桶,我们可以在这些桶上做计算操作。本文主要聚焦于在Flink中如何进...
摘要 Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 S...
Apache Flink(下简称Flink)项目是大数据处理领域最近冉冉升起的一颗新星,其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些...
hplus
基于SparkSQL实现的一套即席查询服务IQL (项目地址:https://github.com/teeyog/IQL) English | 简体中文 基于SparkSQL实现了一套即席查询服务,具有如下特性: 优...
@linus_e96a 你试试就知道了
spark任务之Task失败监控需求 spark应用程序中,只要task失败就发送邮件,并携带错误原因。 背景 在spark程序中,task有失败重试机制(根据 spark.task.maxFailures...