240 发简信
IP属地:浙江
  • StreamingFileSink压缩与合并小文件

    Flink目前对于外部Exectly-Once支持提供了两种的connector,一个是Flink-Kafka Connector,另一个是Fl...

  • Flink中-C参数与DistributedCache使用

    -C 参数 flink命令下有这样的一个参数选项-C或者--classpath,含义解释: 含义就是:给一个user classloader添加...

  • Flink大礼包

    从19年10月份开始决定写这些东西,不知不觉写了43篇文章,真的没想到自己能够坚持下来,每一篇文章都是从自己工作中总结出来的,每写一个系列都需要...

    3.5 883 0 15
  • Flink去重第三弹:HyperLogLog去重

    HyperLogLog算法 也就是基数估计统计算法,预估一个集合中不同数据的个数,也就是我们常说的去重统计,在redis中也存在hyperlog...

  • Flink自定义StreamOperator

    在上一篇StreamOperator源码简析从源码角度分析了StreamOperator以及其实现类,此篇幅主要分析一下如何自定义一个Strea...

  • Resize,w 360,h 240
    记一次Flink写入Kafka坑点

    最近做了一个将结果数据写入到Kafka的需求,sink部分代码如下: val kafkaProducer: FlinkKafkaProducer...

  • Resize,w 360,h 240
    flink exactly-once系列之两阶段提交实现分析

    flink exactly-once系列目录: 一、TwoPhaseCommitSinkFunction beginTransaction, 开...

  • flink exactly-once系列之两阶段提交概述

    flink exactly-once系列目录: 一、flink Exactly-Once与At-Least-Once 个处理节点需要接收上游不同...

  • Resize,w 360,h 240
    flink时间系统系列之窗口函数中的应用分析

    flink时间系统系列篇幅目录: 首先会在WindowOperator.open 初始化方法中,注册了一个名为window-timers 的In...

个人介绍
专注Flink实时计算,分享Flink相关的原理、源码、使用经验等。同时会分享离线/实时数仓、OLAP、数据架构等干货。
欢迎关注微信公众号【Flink实战剖析】 ,获取更多信息~