1. RabbitMQ简介
什么是消息队列?(Message queue)
消息队列是在消息传递过程中保存消息的容器,通过消息队列可以使用消息将应用程序连接起来。这些消息通过像RabbitMQ这样的消息代理服务器在应用程序之间路由。
运用消息队列的好处?
- 解耦、易于扩展
- 数据冗余、可恢复
- 保证顺序
- 削峰、异步通信
使用消息队列带来的一些问题?
- 系统可用性降低: 系统可用性在某种程度上降低,为什么这样说呢?在加入MQ之前,你不用考虑消息丢失或者说MQ挂掉等等的情况,但是,引入MQ之后你就需要去考虑了!
- 系统复杂性提高: 加入MQ之后,你需要保证消息没有被重复消费、处理消息丢失的情况、保证消息传递的顺序性等等问题!
- 一致性问题: 我上面讲了消息队列可以实现异步,消息队列带来的异步确实可以提高系统响应速度。但是,万一消息的真正消费者并没有正确消费消息怎么办?这样就会导致数据不一致的情况了!
JMS VS AMQP
JMS(JAVA Message Service,Java消息服务)API是一个消息服务的标准或者说是规范。
高级消息队列协议(Advanced Message Queuing Protocol)一个提供统一消息服务的应用层标准高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。
RabbitMQ特点
RabbitMQ 是采用Erlang 语言实现AMQP的开源消息代理软件(亦称面向消息的中间件),它最初起源于金融系统,用于在分布式系统中存储转发消息。
应用程序可以发送和接受数据,而数据所在的服务器也可以发送和接受数据,RabbitMQ在应用程序和服务器之间扮演着路由器的作用,即:消息投递服务。
- 可靠性:持久化、发送确认、消费确认等机制
- 高可用:集群、镜像
- 支持多种协议:AMQP、STOMP(面向消息的简单文本协议)、MQTT(消息队列遥测传输)
- 多语言
- 管理界面
- 插件机制
2. RabbitMQ基础知识点
- 生产者(producer)包括:数据和标签
- 消费者(consumer)
- 信道(channel),采用NIO也称非阻塞UO , 包含三大核心部分Channel (信道)、Buffer (缓冲区)和Selector (选择器).,达到TCP 连接复用。
- 队列(queue)
- 绑定(binding)
- 交换器(exchange ):direct、fanout、topic
- 路由键(routing key)
绑定只是建立了关系,路由键和交换器类型确定最终消息是否发送到队列
3. 如何保证消息不丢失
- 生产者发送消息确认机制
- 消费者消息手动确认
- 配合死信队列
4. 什么是延迟队列,如何实现
顾名思义就是消息在队列中存在一定时间后再被消费。比如下单后半小时没有支付的订单自动取消,比如预约某项功能时提前15分钟提醒,比如希望某一个功能在多长时间后执行等都可以使用延迟队列。
RabbitMQ本身是没有延迟队列功能的,但是可以通过死信队列的TTL(过期时间)和DLX(死信队列)模拟延迟队列功能。
用rabbitmq-delayed-message-exchange插件实现延迟队列。
5. 集群简介
元数据共享包括哪些?
- 队列元数据: 队列的名称及属性
- 交换器: 交换器的名称及属性
- 绑定关系元数据: 交换器与队列或者交换器与交换器之间的绑定关系
- vhost元数据: 为vhost 内的队列、交换器和绑定提供命名空间及安全属性
节点类型
磁盘节点(disc)(默认)、内存节点(ram)
如果集群中唯一的磁盘节点宕机,集群虽然可以保持收发消息但不能进行执行创建队列、交换器、绑定关系、用户,以及更改权限、添加或删除集群节点的操作。
6. 什么是镜像队列,原理
所谓镜像队列其实就是在另外一个RabbitMQ服务器Broker存放一个该队列的一个拷贝队列,实现队列内消息的冗余存储。该模式带来的副作用也很明显,随着镜像队列越来越多,会大大消耗掉系统性能。
镜像队列解决的是消息高可用问题,而不是基于负载均衡实现的高吞吐量问题。高吞吐量主要是通过RabbitMQ集群来实现的。
原理:
镜像队列机制是基于Master-Slave主从模式的,镜像队列所有操作都是只能在Master节点进行操作,产者发布消息到队列,分发消息给消费者,跟踪消费者的消费确认ACK,消费者不管连接的哪个节点最终都会转发到Master节点,然后将这些操作对应的消息由Master节点广播同步给其他节点。
在某种程度上你可以理解镜像队列拥有一个隐藏的fanout交换器,它指示着信道将消息分发到队列的从拷贝上。
7. 如何搭建高可用架构
HAProxy是一个使用C语言编写的自由及开放源代码软件,可以用其来实现负载均衡机制。
Keepalived采用VRRP(Virtual Router Redundancy Protocol,虚拟路由冗余协议),以软件的形式实现服务器热备功能。它能够通过自身健康检查、资源接管功能做高可用(双机热备),实现故障转移。
8. 常见的消息队列软件对比
RabbitMQ | ActiveMQ | RocketMQ | kafka |
---|---|---|---|
erlang语言 | java语言 | java语言 | scala+java语言 |
主从架构 | 主从架构 | 分布式架构 | 分布式架构 |
吞吐量高 | 一般 | 很高 | 非常高 |
一般公司首选消息队列 | 性能差,迭代慢 | 阿里出品开源项目 | 大数据领域的实时计算、日志采集 |