一、统一的数据处理组件栈，不仅能处理流处理，还可以用于批处理，机器学习，可以满足不同的用户的需求，对不同形式的计算进行了整合。 二、支持时间时间...

定期删除Hive表的过期数据 由于Hive中有很多表都是每日全量的，数据量比较大，有些是可以将过去历史分区的数据进行删除的，所以需要一个定时执行...

SparkStreaming延迟监控 这篇博客来源于一个惨痛的线上事故经历，我们编写好SparkStreaming程序清洗行为数据，然后每十分钟...

Linux环境下安装FLink1.10.0并启动SQL-client读取Hive数据 首先去官网下载Flink1.10.0的tgz的包，教程如上...

Window10安装Flink1.10.0 基本可以确定在window10安装Flink1.10.0启动时会出问题，特别恶心，目前无法修复，现在...

FLink读取+插入Hive数据入坑指南 Flink1.9以上版本可以使用hivecatalog读取Hive数据，但是1.9对于Hive的版本支...

这次试手Flink从kafka读数据写入hbase，遇到了很大的坑 1.我的程序是用Flink 1.9.1从本地kafka读取数据，写到本地hb...

1.元数据的定义： 元数据是关于数据的数据，元数据打通了源数据、数据仓库、数据应用、记录了数据从产生到消费的全过程。元数据主要记录数据仓库中魔性...