此页面列举了Storm的主要概念和资源连接。讨论的概念有:
- 拓扑(Topologies)
- 流(Streams)
- Spouts
- Bolts
- 流分组(Stream groupings)
- 可靠性(Reliability)
- 任务(Tasks)
- Workers
拓扑
实时应用程序的逻辑被打包进一个Storm拓扑。一个Storm拓扑类似于MapReduce作业。一个主要的差异是MapReduce作业最终会执行完成,而一个拓扑永久运行(知道你杀死它)。一个拓扑是一个spouts和bolts组成的图连接着流分组。这些概念下面讲述。
资源:
- TopologyBuilder:在java中使用此类构建拓扑。
- 在集群中运行拓扑
- 本地模式:如何在本地开发和测试拓扑
流
流是Strom的核心抽象。流是一个无界的元组序列,在分布式下被处理和创建。流的模式名称字段中定义流的元组。默认情况下,元组可以包含整形,长整型,短整型,字节,字符串,浮点型,bool,按字节数组。你也可以定义自己的序列化器使得自定义类型可以再tuples中使用。
每个流在声明的时候都要给定一个id。由于单个流spouts和bolts是如此常见, OutputFieldsDeclarer提供了便捷的方法声明一个留而不需设置Id,这种情况下,流的id默认值为default
。
资源:
- Tuple:流是由元组组成。
- OutputFieldsDeclarer:用来声明流和模式
- Serialization:关于Storm的动态元组类型和自定义序列化的信息
Spouts
一个Spouts是拓扑中流的源。通常spouts从外部源中读取元组并把他们发送到拓扑中。Spouts可以是可靠的或者不可靠的。一个可靠的spout可以在storm处理失败的时候重放元组,不可靠的spout发送晚了元组就不管了。
Spouts可以发送到多个流。这么做,需要使用OutputFieldsDeclarer的declareStream
方法声明多个流并且在使用 SpoutOutputCollector中的emit
方法时指定流。
spouts的主要方法是nextTuple
。nextTuple
发送一个新的元组到拓扑中或者在没有新的元组时直接返回。nextTuple
不阻塞所有spout的实现,因为Storm在同一现成中调用所有的spout方法。
spouts的其他重要的方法有ack
和fail
。当Storm检测到元组发送成功或者失败的时候调用。ack
和fail
只在可靠的spouts中有效,更多查看the Javadoc。
资源:
- IRichSpout:这是spouts必须实现的接口
- 保证消息处理
Bolts
拓扑中的所有的处理都在bolts中完成。Bolts可以做任何事,过滤,函数,聚合,连接,和数据库交互等等。
Bolts可以做简单的stream转换。复杂的流转换通常需要多步多个bolts。例如,
Bolts可以发送到多个流。这么做,需要使用OutputFieldsDeclarer的declareStream
方法声明多个流并且在使用 SpoutOutputCollector中的emit
方法时指定流。
当你声明了一个bolt输入流,通常订阅到其他组件指定流上。如果你想要另外一个组件的所有流,你必须逐个订阅。 InputDeclarer有愈发同订阅流声明了默认的stream id。declarer.shuffleGrouping("1")
订阅到组件1的默认留中等价于declarer.shuffleGrouping("1", DEFAULT_STREAM_ID)
。
bolts的主要方法是execute
接受一个元组作为输入。Bolts使用OutputCollector对象发送新的元组。Bolts处理每个元组时必须调用OutputCollector 的ack
方法,使得Storm知道元组完成了(并最终决定发送ack到原始的spout元组)。处理一个输入元组,发送0个或多个tuples取决于输入元组并ack到如入元组,Storm提供了一个 IBasicBolt 接口自动执行ack操作。
在bolts中完全可以启用新的现成一部处理, OutputCollector线程安全可随时调用。
资源:
- IRichBolt:bolts通用接口
- IBasicBolt:一个方便定义bolts过滤和些简单函数的接口
- OutputCollector:使用此类型的实例供bolts发送元组到输出流
- 保证消息处理
Stream groupings
定义拓扑的一部分指定每个bolt该从哪些流中接受如数。一个流分组根据bolt的任务定义了流应该如何划分。
Storm有8个内置流分组。你也可以通过实现 CustomStreamGrouping接口实现自定义的流分组。
- Shuffle grouping(洗牌分组):元组随机的出现在bolt任务中,每个bolt都会得到等量的tuples
- Fields grouping(字段分组):根据分组的字段划分流。例如,如果流是根据
user-id
的字段分组,有相同user-id
的元组到相同的bolt任务中,不同的user-id
的元组到不同的任务中。 - Partial Key grouping:
- All grouping:流被发送到所有的bolt任务中,使用此分组需小心。
- Global grouping:整个流至进入到一个bolt任务中。明确的,它只会到id最小的任务中。
- None grouping
- Direct grouping
- Local or shuffle grouping
资源:
- TopologyBuilder:使用此类定义拓扑
-
InputDeclarer:当
TopologyBuilder
调用setBolt
方法时返回此对象,用于声明bolt输入流和如何组织流分组。
可靠性
Storm保证每个spout元组都会被完全处理。