240 发简信
IP属地:贵州
  • 同时最好能支持类似grok,morphline之类的数据处理工具?

    StreamingPro 可以暴露出原生API给大家使用

    我们知道StreamingPro 是一个完全SQL/Script化的,基于Spark平台的一套生产力工具。但是不可避免的,我们可能希望直接操作SqlContext或者使用原生...

  • 能不能支持JavaScript脚本,对一些非结构化数据进行清洗处理

    StreamingPro 可以暴露出原生API给大家使用

    我们知道StreamingPro 是一个完全SQL/Script化的,基于Spark平台的一套生产力工具。但是不可避免的,我们可能希望直接操作SqlContext或者使用原生...

  • 你这个socket source 输入的数据要有格式吗,我随便敲了一些东西,似乎没有输出。
    streamingpro 是对格式化的数据进行计算吗?如果是一些原始的日志呢,如何切分?

    StreamingPro支持Flink的流式计算了

    前言 有的时候我们只要按条处理,追求实时性而非吞吐量的时候,类似Storm的模式就比较好了。Spark 在流式处理一直缺乏改进,而Flink在流式方面做得很棒,两者高层的AP...

  • cool

    StreamingPro-Editor, 基于Intellij Idea 的编辑器插件发布

    前言 StreamingPro在内部已经用在比较复杂的项目上了。所以导致配置文件巨复杂,之前同事提到这事,然后我自己把配置代码拉下来,看了下确实如此。一开始想着能否利用其它格...

  • 120
    Java 的spi机制

    当服务的提供者,提供了服务接口的一种实现之后,在jar包的META-INF/services/目录里同时创建一个以服务接口命名的文件。 例如: 该文件里就是实现该服务接口的具...

  • jstorm和spark-streaming的区别

    大部分时候大家在选择技术方案的时候还是比较迷茫,是该选择JStorm还是Spark Streaming? 一般会流于一些并不重要问题的讨论,最后做出目光非常短浅的选择,几个月...