IP属地：广东
-
奇怪的知识
数据中台是什么？ 是一种战略选择和组织形式， 是依据企业特有的业务模式和组织架构，通过有形的产品和可实施方法构建的一套持续不断把数据变成资产并服...
-
Spark 中join一定产生shuffle吗？
产生shuffle的原因 其根本原因在于数据需要进行迁移才能产出正确的数据 join什么时候不需要数据迁移就能得出结果？ 当 分区数 和 分区...
-
Kafka 保证分区有序
Kafka能做到全局有序吗？ Kafka只能保证分区有序，如果只有一个分区，那也是变向的全局有序 Kafka如何保证分区有序 通过配置 max....
-
Kafka 水位详解
什么是水位 kafka中用水位来描述，一个分区中的可见数据的offset。大概你需要知道这几点： hw（水位）你可以理解成是一个全局（所有副本最...
-
《搬迁声明》
我的博客即将同步至 OSCHINA 社区，这是我的 OSCHINA ID：solve，邀请大家一同入驻：https://www.oschina....
-
Flink WaterMaker详解什么是 WaterMaker WaterMaker 水位线在很多地方都有应用，其含义也不尽相同，在Flink中，水位线是用来触发窗口计算的其本...
-
Flink系列——感性认识
前言 可以当做一个初步认识 Flink 的文章，仅此而已！！！！！ 我们以一个生产口罩的工厂为例来尝试理解一下Flink的整个计算流程 工厂的老...
-
SparkSQL技巧——如何识别SQL语句 和 执行一个SQL文件前言 这是一个非常小的技巧，但是应该还是有点用。 怎么在SparkSQL中写SQL？ 如果我们直接使用，那么大概是如下这样：ss.sql("se...
-
SparkStreaming On Kafka —— Offset 管理
一、Kafka 消费者如何管理 offset 我之前有写一篇kafka Consumer — offset的控制如果你对于这方面的知识还不太清楚...