RabbitMq系列之一:基础概念

1 消息服务的出现

后台微服务的相互调用一般有以下几种。

种类 协议 支持 优缺点
restful api、soap、graphql等 http/json、xml 实现了http的语言都支持 通用性强,不需要额外的学习成本,但是性能比较差。
grpc http2.0 /Protobuf 常用的开发语言 基于http2请求和Protobuf数据解析,性能高于http,但是需要编写idl。
thrift TFramedTransport/TBinaryProtocol 等 基本全语言 thrift基本socket封装,可以根据需求选用不用的传输协议和数据解析格式,性能高于grpc,也需要idl。
nanomsg、kafka、rabbitmq等 各种mq协议 基本全语言 不同的mq适用与不同的场景,但是都是为了解耦,并且消费者可以扩展。

2 AMQP(高级消息队列协议)

在异步通讯中,消息不会立刻到达接收方,而是被存放到一个容器中,当满足一定的条件之后,消息会被容器发送给接收方,这个容器即消息队列,而完成这个功能需要双方和容器以及其中的各个组件遵守统一的约定和规则,AMQP就是这样的一种协议,消息发送与接受的双方遵守这个协议可以实现异步通讯。这个协议约定了消息的格式和工作方式。RabbitMQ是流行的开源消息队列系统,用erlang语言开发。RabbitMQ是AMQP的标准实现。

2.1 规范文档

AMQP-0-9-1中文规范
AMQP-0-9-1英文规范

以下为选取部分文档中重点来解析

2.2 模型

消息从"发送端"(publisher)把消息发布到"交换器"(exchange),通常比邮局或邮箱。"交换器"根据"路由关键字"(routing-key)去绑定(binding)一个队列(queue)。然后AMQP代理(broker)向消费者(consumers)传递消息订阅队列(queues),或消费者从队列获取消息。

The AMQP 0-9-1 Model has the following view of the world: messages are published to exchanges, which are often compared to post offices or mailboxes. Exchanges then distribute message copies to queues using rules called bindings. Then AMQP brokers either deliver messages to consumers subscribed to queues, or consumers fetch/pull messages from queues on demand.

hello-world-example-routing.png

2.2 message、producter、consumer

message:由消息头和消息体组成。消息体是不透明的,而消息头则由一系列的可选属性组成,这些属性包括routing-key(路由键)、priority(相对于其他消息的优先权)、delivery-mode(指出该消息可能需要持久性存储)等。
producter(Publisher): 生产者,一般指生产消息的一端。
consumer: 消费者,一般指消费消息的一端。

2.2 Broker

消息队列服务器的实体,也可以理解为代理,不管消费者还是生产者,都需要连接到broker,才能进行生产消费。

2.3 exchange and exchange types

rabbitmq的message model实际上消息不直接发送到queue中,中间有一个exchange是做消息分发,producer甚至不知道消息发送到那个队列中去。因此,当exchange收到message时,必须准确知道该如何分发。是append到一定规则的queue,还是append到多个queue中,还是被丢弃?这些规则都是通过exchagne的4种type去定义的。

type 创建vhost时默认创建的exchange 的名称
Direct exchange (Empty string) and amq.direct
Fanout exchange amq.fanout
Topic exchange amq.topic
Headers exchange amq.match (and amq.headers in RabbitMQ)

exchange还有以下属性:

attribute type describe
name string exchange的名称
Durability bool exchange是否持久化
Auto-delete bool 当所有绑定队列都不再使用时,是否自动删除该交换器
Arguments object 使用 broker-specific 时候的参数

exchange 的type

  • Default Exchange
    default exchange(默认交换器)是没有名字的direct exchange。name为空字符串。所有queue都默认binding 到该交换器上。所有binding到该交换器上的queue,routing-key都和queue的name一样。例如: 当创建一个name="search-indexing-online"的queue,broker会把改queue绑定到name="search-indexing-online"的routing-key上。因此消息发送到default exchange并且匹配到search-indexing-online的router,则该消息被送到search-indexing-online的queue。

  • Direct Exchange
    direct exchange(直接交换器)是理想的单播路由的消息交换(尽管它们可以用于多播路由)。例如一个queue 绑定到"router key" =K的direct exchange上,那么当发送一个router key为R的message到该direct exchange,那个该消息会推送到"router key"=K的queue上。

image.png
  • Fanout Exchange
    fanout exchange(展开交换器),该交换器会把消息发送到所有binding到该交换器上的queue。这种是publisher/subcribe模式。用来做广播最好。


    image.png
  • Topic Exchange
    topic exchange(通配符交换器),exchange会把消息发送到一个或者多个满足通配符规则的routing-key的queue。这里的routingkey可以有通配符:'','#'。其中''表示匹配一个单词, '#'则表示匹配没有或者多个单词

  • Header Exchang
    header exchang(自定义交换器),根据自定义的header attribute去匹配不同的queue。

2.4 Quue

queue(队列,task-queueing系统),主要存储消息被提供消费者进行消费。

queue还有以下属性:

attribute type describe
name string queue的名称
Durability bool queue是否持久化
exclusive bool 当消费者断开连接后是否删除该队列
Auto-delete bool 当所有消费客户端连接断开后,是否自动删除队列。
Arguments object 使用 broker-specific 时候的参数

2.5 bindings

exchange和queue通过routing-key关联,这两者之间的关系是就是binding。

2.6 Message Acknowledgements

消息应答。执行一个任务可能需要花费几秒钟,你可能会担心如果一个消费者在执行任务过程中挂掉了。一旦RabbitMQ将消息分发给了消费者,就会从内存中删除。在这种情况下,如果正在执行任务的消费者宕机,会丢失正在处理的消息和分发给这个消费者但尚未处理的消息。
但是,我们不想丢失任何任务,如果有一个消费者挂掉了,那么我们应该将分发给它的任务交付给另一个消费者去处理。
为了确保消息不会丢失,RabbitMQ支持消息应答。消费者发送一个消息应答,告诉RabbitMQ这个消息已经接收并且处理完毕了。RabbitMQ就可以删除它了。
如果一个消费者挂掉却没有发送应答,RabbitMQ会理解为这个消息没有处理完全,然后交给另一个消费者去重新处理。这样,你就可以确认即使消费者偶尔挂掉也不会丢失任何消息了。
没有任何消息超时限制;只有当消费者挂掉时,RabbitMQ才会重新投递。即使处理一条消息会花费很长的时间。
消息应答是默认打开的。我们通过显示的设置autoAsk=true关闭这种机制。现即自动应答开,一旦我们完成任务,消费者会自动发送应答。通知RabbitMQ消息已被处理,可以从内存删除。如果消费者因宕机或链接失败等原因没有发送ACK(不同于ActiveMQ,在RabbitMQ里,消息没有过期的概念),则RabbitMQ会将消息重新发送给其他监听在队列的下一个消费者。

2.7 Rejecting Messages

拒绝消息。当消费者应用程序收到消息时,该消息的处理可能会成功,也可能不会成功。 消费者可以通过拒绝消息向代理指出消息处理失败(或当时无法完成)。 当拒绝消息时,消费者可以要求代理丢弃或重新发送消息。 当队列中只有一个消费者时,确保您不会通过一次又一次地拒绝并重新发送来自同一个消费者的消息来创建无限的消息传递循环。

2.8 Negative Acknowledgements

拒绝应答。消费者使用 basic.reject拒绝消息,则该消息为Rejecting Messages。AMQP
只能一次拒绝一条消息,但是如果用的rabbitmq则可以拒绝多个消息。参考地址

2.9 Prefetching Messages

预取消息。指定channel(通道)的等待处理的消息个数,如果等待的消息已经达到该值,则该消费者不再接受新的消息。默认的channel不限制个数。最好的方式是设置该值在一个合理的数值,达到多消费者之间的简单负载均衡。

2.10 Message Attributes and Payload

消息的属性和有效载荷(携带的数据)。

某些属性由AMQP代理使用,但大多数属性可以接收它们的应用程序使用。有些属性是可选的,称为标题。它们与HTTP中的X-Headers类似。邮件发布时设置邮件属性。

AMQP消息也有一个有效负载(它们携带的数据),AMQP代理将其视为一个不透明的字节数组。经纪人不会检查或修改有效载荷。消息可能只包含属性而没有有效载荷。使用JSON,Thrift,Protocol Buffers和MessagePack等序列化格式来序列化结构化数据以便将其发布为消息有效载荷是很常见的。 AMQP同伴通常使用“内容类型”和“内容编码”字段来传达这些信息,但这只是惯例而已。

消息可能会作为持久性发布,这会使AMQP代理将它们保存到磁盘。如果服务器重新启动,系统会确保接收到的持久性消息不会丢失。简单地将消息发布到持久交换或者将其发送到队列的事实是持久的并不会使消息持久化:这完全取决于消息本身的持久模式。将消息发布为持久性会影响性能(就像使用数据存储一样,持久性在性能上会带来一定的成本)。
Content type
Content encoding
Routing key
Delivery mode (persistent or not)
Message priority
Message publishing timestamp
Expiration period
Publisher application id

2.11 Connections

AMQP是一种使用TCP进行可靠传输的应用程序级协议。 AMQP连接可以使用身份验证,并且可以使用TLS(SSL)进行保护。 当应用程序不再需要连接到AMQP代理时,它应该正常关闭AMQP连接,而不是突然关闭底层TCP连接。

2.12 Channels

某些应用程序需要多个连接到AMQP代理。 但是,不希望同时打开多个TCP连接,因为这样做会占用系统资源并使配置防火墙变得更加困难。 AMQP 0-9-1连接可被认为是“共享单个TCP连接的轻量级连接”的通道复用。
对于使用多个线程/进程进行处理的应用程序,通常为每个线程/进程打开一个新通道并且不共享它们之间的通道。
特定通道上的通信与另一个通道上的通信完全分离,因此每个AMQP方法都会携带一个通道号,客户端可以使用该通道号来确定该方法适用于哪个通道。

2.13 Virtual Hosts

为了使单个代理可以托管多个孤立的“环境”(用户组,交换,队列等),AMQP包含虚拟主机(虚拟主机)的概念。 它们与许多流行的Web服务器使用的虚拟主机相似,并提供AMQP实体所处的完全隔离的环境。 AMQP客户端指定在AMQP连接协商期间他们想要使用哪些虚拟主机。

3 rabbitmq

rabbitmq是使用erlang实现AMQP规范的消息代理。支持各种语言的客户端


RabbitMq系列之一:基础概念
RabbitMq系列之二:linux下安装
RabbitMq系列之三:web管理端

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 200,667评论 5 472
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 84,361评论 2 377
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 147,700评论 0 333
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,027评论 1 272
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 62,988评论 5 361
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,230评论 1 277
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,705评论 3 393
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,366评论 0 255
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,496评论 1 294
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,405评论 2 317
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,453评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,126评论 3 315
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,725评论 3 303
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,803评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,015评论 1 255
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,514评论 2 346
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,111评论 2 341

推荐阅读更多精彩内容