240 发简信
IP属地:广东
  • Resize,w 360,h 240
    用flink算UV(UserVisit)数~即独立访客数

    思路:读入数据时,用flatMap算子过滤出PV(即PageVisit)的一条条的数据,在process算子中,用set对用户的id作去重,从而...

  • Resize,w 360,h 240
    reduce

    open方法只和并行度有关,并行度为几,则open执行几次: 修改代码,把并行度设为3,在reduce方法中输出value1,value2的值:...

  • Resize,w 360,h 240
    flink的键控流转换算子

    输入文件: min算子 输入输出之对照: Reduce算子 为了排除并行度带来的影响,先把并行度设置为1: 如下两图,分别是 关键逻辑 和 输出...

  • Resize,w 360,h 240
    scala的伴生类和伴生对象

    Person带有参构造方法(上文系无参构造方法):

  • Resize,w 360,h 240
    flink自定义数据源

    实体类: 测试代码: 输入输出:

  • Resize,w 360,h 240
    flink的local-cluster模式

    Flink中的Local-cluster(本地集群)模式,主要用于测试、学习,可帮助我们快速入门flink。 1)local-cluster模式...

  • Resize,w 360,h 240
    flink的per-job模式

    启动hdfs及yarn、zk后: 启动yarn的per job: 在yarn的web页面观察: 输入测试数据: 在flink的web页面观察:

  • Resize,w 360,h 240
    hive on yarn的高可用

    启动hdfs及yarn: 配置yarn,最多重启RM 4次: 修改flink-conf.yaml : 如下图,kill了hadoop102的Jo...

  • Resize,w 360,h 240
    PushConsumer和PullConsumer等

    Push 如下图,读到了很多历史数据: 即时发2条消息: 即时收到2条消息: Pull DefaultLitePullConsumer