问题 https://github.com/alibaba/canal[https://github.com/alibaba/canal] binlog 同步组件，canal...
IP属地：上海
-
基于 Canal 设计可扩展、高可用 binlog 同步集群 -
[Flink BroadcastStream]Flink实战广播流之BroadcastStream
广播状态被引入以支持这样的用例:来自一个流的一些数据需要广播到所有下游任务，在那里它被本地存储，并用于处理另一个流上的所有传入元素。 作为广播状态自然适合出现的一个例子，我们...
-
Flink Join实现Window Join 基于窗口的Join是将具有相同key并位于同一个窗口中的事件进行联结。 用法： 官方案例： Tumbling Window Join的实现，关于其他的...
-
Apache Spark 动态分区 OverWrite 问题
1、问题：spark Dataframe : partition_day.write.partitionBy("day").mode(SaveMode.Overwrite)....
-
第十篇SparkStreaming手动维护Kafka Offset的几种方式
Spark Streaming No Receivers 方式的createDirectStream 方法不使用接收器，而是创建输入流直接从Kafka 集群节点拉取消息。输入...
-
Spark基础与数仓应用调优计算引擎的发展 了解Spark Spark核心理念 数据应用Spark-sql Spark四大组件 Spark-sql使用与优化 Spark中的基本概念 使用Spark-sq...
-
【Scala】使用Option、Some、None，避免使用null
避免null使用 大多数语言都有一个特殊的关键字或者对象来表示一个对象引用的是“无”，在Java，它是null。在Java 里，null 是一个关键字，不是一个对象，所以对它...
