240 发简信
IP属地:上海
  • 后续的flink 如何实现的kafka assigin() , 博主有后续的文章吗?

    Kafka 源码解析之 Consumer 两种订阅模式

    [TOC]本篇文章讲述的主要内容如下: consumer 的两种订阅模式, subscribe()和assign() 模式,一种是 topic 粒度(使用 group 管理)...

  • 既然看到了不能不说些什么,楼主对于以上的测试你的测试有问题,你用的是casecalass 进行的测试,case class和普通的类有一些区别,其内部已经重写的scala原生的eaqals 所以得的测试不准。希望你看到之后重新修改一下你的这篇文章。

    scala equals == != eq ne

    scala equals == != eq ne 测试

  • 120
    看了之后不再迷糊-Spark多种运行模式

    早就想写这章了,一直懒得动笔,不过还好,总算静下心来完成了。 刚接触Spark时,很希望能对它的运行方式有个直观的了解,而Spark同时支持多种运行模式,官网和书籍中对他们的...

  • 大兄弟写的很棒,有一点补充一下,standlonw 情况下有两种:deploy-mode client 和deploy-cluster 的区别就是,client必须在集群上的某个节点执行,所谓的客户端,也就是说提交应用程序的节点要作为整个程序运行的客户端,也就是说这个节点必须从属于集群!而cluster顾名思义,就是集群的意思,可以理解为提交的程序在某个集群运行,也就是说提交的机器只需要拥有单机版的spark环境就行了,至于提交的地方是哪里通过spark://指定就行了,提交的机器只作为提交的功能,提交完了之后就和他无关了!

    看了之后不再迷糊-Spark多种运行模式

    早就想写这章了,一直懒得动笔,不过还好,总算静下心来完成了。 刚接触Spark时,很希望能对它的运行方式有个直观的了解,而Spark同时支持多种运行模式,官网和书籍中对他们的...