Flink CDC介绍 CDC全称是Change Data Capture，捕获变更数据，比如数据库捕获完整的变更日志记录增、删、改等，都可以称为CDC。该功能被广泛应用于数...
发简信
IP属地：广东
-
Flink CDC实时数据入湖
-
Flink-算子（1）——DataSet
DataSet 一、Source算子 1. fromCollection fromCollection：从本地集合读取数据 例： 2. readTextFile readTe...
-
Hive SQL(5)-lateral view 、explode 、reflect
使用explode函数将hive表中的Map和Array字段数据进行拆分 lateral view用于和split、explode等UDTF一起使用的，能将一行数据拆分成多行...
-
Hive 的 left semi join 讲解介绍 LEFT SEMI JOIN （左半连接）是 IN/EXISTS 子查询的一种更高效的实现。 示例 可以改写为 特点 1、left semi join 的限制是， JO...
-
一线大厂的分布式唯一 ID 生成方案是什么样的？
一、前言 分布式系统中我们会对一些数据量大的业务进行分拆，如：用户表，订单表。因为数据量巨大一张表无法承接，就会对其进行分库分表。 但一旦涉及到分库分表，就会引申出分布式系统...
-
Redis 实现限流-令牌桶-简单实现
基于Redis的令牌桶算法 令牌桶算法提及到输入速率和输出速率，当输出速率大于输入速率，那么就是超出流量限制了。也就是说我们每访问一次请求的时候，可以从Redis中获取一个令...
-
数据分析之hive开窗函数（一）
温馨提示 : 本文非小白科普文 开窗函数简介 MYSQL 暂时还未对开窗函数给予支持。 测试数据 01、count 开窗函数 select username，product，...
-
数据分析之hive开窗函数（二）
FIRST_VALUE：取分组内排序后，截止到当前行，第一个值。LAST_VALUE：取分组内排序后，截止到当前行，最后一个值。LEAD(col，n，DEFAULT)：用于统...
-
Hive实现数据抽样的三种方法
在大规模数据量的数据分析及建模任务中，往往针对全量数据进行挖掘分析时会十分耗时和占用集群资源，因此一般情况下只需要抽取一小部分数据进行分析及建模操作。Hive提供了数据取样 ...
