【Druid】Broker

Broker是Druid中一种类型的节点,在分布式集群部署环境中,它用来路由查询。它能够知晓ZK中存储的关于segment在集群节点分布的meta信息,以便于将查询路由至正确的节点。同时,broker还承担着合并节点查询结果的任务。在启动时,实时节点会向ZK注册自己,并上报其提供服务的segment信息。

启动命令

io.druid.cli.Main server broker

转发查询(Forwarding Queries)

大多数的Druid查询会包含一个interval字段用于指明需要查询的数据时间范围。Druid segment分布于整个集群,它们被分片后存储某些时间段的数据。想象一个简单的datasource,它有7个segment,每个segment包含一个星期中某一天的数据。任何一个查询大于两天数据的查询请求都会定位到多个segment上。这些segment很可能是分布在集群的多个节点上,因此查询也会涉及到对多个节点的请求。

为了确定将查询路由到哪些节点,Broker首先会对ZK中存储的信息做分析汇总。ZK中存储了历史节点、实时节点和他们分别服务的segment信息。针对ZK中存储的每一个datasource,Broker建立了一个segment和服务它们的节点的(时间表)timeline。当接收到一个查询请求时,broker会去时间表中查询包含请求中指定datasource和interval数据的节点信息,从而将请求路由到这些节点上。

缓存

Broker节点维护了一个基于LRU策略的缓存空间,其缓存了每个sgement的数据。它有两种实现方式,一是实现为每个Broker节点的私有本地缓存;而是利用memcached等外部分布式缓存组件实现跨节点缓存共享。Broker每次收到一个请求后,它首先会将其映射到一组segment上面,这组segment的子集的数据有可能已经存在于缓存中,Broker可以直接从缓存中拉取。对于数据不在缓存中的节点,Broker会把请求路由到相应的历史节点上。一旦历史节点返回了查询结果,Broker就会将这些结果数据存储在缓存中。实时节点的segment不会被缓存,因此对于实时数据的查询肯定会被路由到实时节点上,究其理由,实时数据是一直在变动的,所以基于缓存数据的查询是不可靠的。

HTTP Endpoints

Broker为交互暴露了几个HTTP的接口:

GET

  • /status
    返回Druid的版本信息、加载扩展、使用内存、全部内存和节点的其他有用的信息。
  • /druid/v2/datasources
    返回可查询的datasource列表
  • /druid/v2/datasources/{dataSourceName}
    返回指定datasource的维度和指标信息。同时,可以使用可选参数"full",来获取intervals列表和这些interval包含的维度和指标信息。也可以通过"interval"参数来查询确定的某个interval的信息。
    如果没有指定interval,将会使用基于当前时间的一个默认interval,它包含当前时刻之前的一段时间。这个interval的长度使用 ISO8601 format格式指定,对应设置参数为:druid.query.segmentMetadata.defaultHistory
  • /druid/v2/datasources/{dataSourceName}/dimensions
    返回这个datasource的维度
  • /druid/v2/datasources/{dataSourceName}/metrics
    返回这个datasource的指标
  • /druid/v2/datasources/{dataSourceName}/candidates?intervals={comma-separated-intervals-in-ISO8601-format}&numCandidates={numCandidates}
    根据给定的datasource和intervals,返回segment列表和所在的节点信息。如果"numCandidates"未指定,将会返回每个interval包含的segment所在的所有节点信息。
  • /druid/broker/v1/loadstatus
    返回一个标志,指明Broker是否获取了ZK中所有segment的信息。通过这个接口可以知道在比如重启的场景下,Broker是否能接受查询请求。

POST

  • /druid/v2/candidates/
    根据指定的查询,返回包含服务地址的segment信息列表。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342