- 数据结构:先进先出的队列。其应用场景主要有3个方面:
-
应用解耦
:系统的耦合性越高,容错性就越低。以电商应用为例,用户创建订单后,若耦合调用库存系统、物流系统、支付系统,任何一个子系统出了故障或者因为升级等原因暂时不可用,都会造成下单操作异常,影响用户使用体验。使用消息队列解耦合,系统的耦合性就会大大降低了。比如物流系统发生故障,需要几分钟才能修复,在这段时间内,物流系统要处理的数据被缓存到消息队列中,而用户的下单操作正常完成。当物流系统恢复后,补充处理存在消息队列中的订单消息即可,终端系统感知不到物流系统发生过几分钟故障。
-
流量削峰
:若应用系统遇到请求流量的瞬间猛增,则有可能会被压垮。有了消息队列可以将大量请求缓存起来,分散到很长一段时间处理,这样可以大大提升系统的稳定性和用户体验。一般情况下,为了保证系统的稳定性,若系统负载超过阈值,则会阻止用户请求,但这影响了用户体验。使用消息队列将请求缓存起来,等待系统处理完毕后再通知用户下单完毕,这比不能下单体验要好。处于经济考量目的:若业务系统正常时段的QPS为1000,流量最高峰是10000,为了应对流量高峰配置高性能的服务器显然不划算,则可以使用消息队列对峰值流量进行削峰。
-
数据分发
:通过消息队列可以让数据在多个系统之间流通更加方便。数据的产生方不需要关心谁来使用数据,只需要将数据发送到消息队列,数据使用方直接在消息队列中获取数据即可。
- MQ的优点:解耦、削峰、数据分发。
- MQ的缺点:
-
系统可用性降低
:系统引入的外部依赖越多,系统稳定性越差。一旦MQ宕机,就会对业务造成影响,如何保证MQ的高可用?
-
系统复杂度提高
:MQ的加入大大增加了系统的复杂度,以前系统间是同步的远程调用,现在是通过MQ进行异步调用,如何保证消息没有被重复消费?怎么处理消息丢失的情况?如何保证消息传递的顺序性?
-
一致性问题
:A系统处理完业务,通过MQ给B、C、D三个系统发送消息数据,若B系统、C系统处理成功,而D系统处理失败,则如何保证消息数据处理的一致性?
- 常见的MQ产品包括ActiveMQ、RabbitMQ、RocketMQ、Kafka,各方面对比如下:
特性 |
ActiveMQ |
RabbitMQ |
RocketMQ |
Kafka |
开发语言 |
Java |
Erlang |
Java |
Scala |
单机吞吐量 |
万级 |
万级 |
10万级 |
10万级 |
时效性 |
ms级 |
us级 |
ms级 |
ms级以内 |
可用性 |
高(主从架构) |
高(主从架构) |
非常高(分布式架构) |
非常高(分布式架构) |
功能特性 |
成熟的产品,有很多公司都在使用;有较多的文档;各种协议支持较好 |
基于Erlang开发,所以并发能力很强,性能极其好,延时很低,管理界面较丰富 |
MQ功能完备,扩展性极佳 |
只支持主要的MQ功能,像一些消息查询,消息回溯等功能没有提供,毕竟是为大数据准备的,在大数据领域应用广 |
Linux上搭建RocketMQ
- 下载地址:传送门
- 环境要求:需要提前安装好jdk1.8
- 解压压缩包:
unzip rocketmq-all-4.5.1-bin-release.zip
,重新命名为rocketmq
:mv rocketmq-all-4.5.1-bin-release rocketmq
- 修改两个配置文件(
runbroker.sh
、runserver.sh
)中的内存参数,不然会启动失败。
# vim runbroker.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"
# vim runserver.sh
JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
启动RocketMQ服务
- 后台启动
NameServer
:nohup sh bin/mqnamesrv &
,实时查看启动日志:tail -f ~/logs/rocketmqlogs/namesrv.log
- 后台启动
Broker
:nohup sh bin/mqbroker -n localhost:9876 &
,实时查看启动日志:tail -f ~/logs/rocketmqlogs/broker.log
测试RocketMQ生产和消费消息
#设置临时的环境变量
export NAMESRV_ADDR=localhost:9876
#使用安装包的Demo生产消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer
#设置临时的环境变量
export NAMESRV_ADDR=localhost:9876
#消费消息
sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer
关闭RocketMQ服务
#关闭NameServer
sh bin/mqshutdown namesrv
#关闭Broker
sh bin/mqshutdown broker
RocketMQ集群搭建
- 集群中各个角色的介绍:
-
Producer
:消息的发送者 => 发信者。
-
Consumer
:消息接收者 => 收信者。
-
Broker
:暂存和传输消息 => 邮局。
-
NameServer
:管理Broker => 各个邮局的管理机构。
-
Topic
:区分消息的种类;一个发送者可以发送消息给一个或者多个Topic;一个消息的接收者可以订阅一个或者多个Topic消息。
-
Message Queue
:是Topic的分区,用于并行发送和接收消息。
- RocketMQ集群特点:
-
NameServer
是一个几乎无状态的节点,可集群部署,节点之间无任何信息同步。
- Broker部署相对复杂,Broker分为Master与Slave,一个Master可以对应多个Slave,但是一个Slave只能对应一个Master,Master与Slave的对应关系通过指定相同的
BrokerName
,不同的BrokerId来定义,BrokerId=0
表示Master,非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接
,定时注册Topic信息到所有NameServer。
- Producer与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer获取Topic路由信息,并向提供Topic服务的Master建立长连接,且定时向Master发送心跳。Producer完全无状态,可集群部署。
- Consumer与NameServer集群中的其中一个节点(随机选择)建立长连接,定期从NameServer获取Topic路由信息,并向提供Topic服务的Master、Slave建立长连接,且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息,也可以从Slave订阅消息,订阅规则由Broker配置决定。
- 几种集群模式:
-
单Master模式
:风险较大,一旦Broker重启或者宕机时,会导致整个服务不可用。不建议线上环境使用,可用于本地测试。
-
多Master模式
:一个集群无Slave,全是Master,例如2个Master或3个Master。
- 优点:配置简单,单个Master宕机或重启维护对应用无影响,在磁盘配置为RAID10时,即使机器宕机不可恢复情况下,由于RAID10磁盘非常可靠,消息也不会丢(异步刷盘丢失少量消息,同步刷盘一条不丢),性能最高;
- 缺点:单台机器宕机期间,这台机器上未被消费的消息在机器恢复之前不可订阅,消息实时性会受到影响。
-
多Master多Slave模式(异步)
:每个Master配置一个Slave,有多对Master-Slave,HA采用异步复制
方式,主备有短暂消息延迟(毫秒级)。
- 优点:即使磁盘损坏,消息丢失的非常少,且消息实时性不会受影响,同时Master宕机后,消费者仍然可以从Slave消费,而且此过程对应用透明,不需要人工干预,性能同多Master模式几乎一样;
- 缺点:Master宕机,磁盘损坏情况下会丢失少量消息。
-
多Master多Slave模式(同步)
:每个Master配置一个Slave,有多对Master-Slave,HA采用同步双写
方式,即只有主备都写成功,才向应用返回成功。
- 优点:数据与服务都无单点故障,Master宕机情况下,消息无延迟,服务可用性与数据可用性都非常高;
- 缺点:性能比异步复制模式略低(大约低10%左右),发送单个消息的RT会略高,且目前版本在主节点宕机后,备机不能自动切换为主机。
双主双从集群搭建
- 总体架构:消息高可用采用2m-2s(同步双写)方式。
- 集群工作流程:
- 启动NameServer,NameServer起来后监听端口,等待Broker、Producer、Consumer连上来,相当于一个路由控制中心。
- Broker启动,跟所有的NameServer保持长连接,定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后,NameServer集群中就有Topic跟Broker的映射关系。
- 收发消息前,先创建Topic,创建Topic时需要指定该Topic要存储在哪些Broker上,也可以在发送消息时自动创建Topic。
- Producer发送消息,启动时先跟NameServer集群中的其中一台建立长连接,并从NameServer中获取当前发送的Topic存在哪些Broker上,轮询从队列列表中选择一个队列,然后与队列所在的Broker建立长连接从而向Broker发消息。
- Consumer跟Producer类似,跟其中一台NameServer建立长连接,获取当前订阅Topic存在哪些Broker上,然后直接跟Broker建立连接通道,开始消费消息。
- 服务器环境:
序号 |
IP |
角色 |
架构模式 |
1 |
192.168.10.102 |
nameserver、brokerserver |
Master1、Slave2 |
2 |
192.168.10.103 |
nameserver、brokerserver |
Master2、Slave1 |
- 修改host文件:
vim /etc/hosts
,然后重启网卡:systemctl restart network
# nameserver
192.168.10.102 rocketmq-nameserver1
192.168.10.103 rocketmq-nameserver2
# broker
192.168.10.102 rocketmq-master1
192.168.10.102 rocketmq-slave2
192.168.10.103 rocketmq-master2
192.168.10.103 rocketmq-slave1
- 防火墙配置:宿主机需要远程访问虚拟机的rocketmq服务和web服务,需要开放相关的端口号,简单粗暴的方式是直接关闭防火墙。
#关闭防火墙
systemctl stop firewalld.service
#查看防火墙的状态
firewall-cmd --state
#禁止 firewalld 开机启动
systemctl disable firewalld.service
- 或者为了安全,只开放特定的端口号,RocketMQ默认使用3个端口:
9876
、10911
、11011
。若防火墙没有关闭,则必须开放这些端口:
-
nameserver
默认使用9876
端口;
-
master
默认使用10911
端口;
-
slave
默认使用11011
端口。
#开放 nameserver 默认端口
firewall-cmd --remove-port=9876/tcp --permanent
#开放 master 默认端口
firewall-cmd --remove-port=10911/tcp --permanent
#开放slave默认端口(当前集群模式可不开启)
firewall-cmd --remove-port=11011/tcp --permanent
#重启防火墙
firewall-cmd --reload
- 环境变量配置:
vim /etc/profile
,修改完后执行:source /etc/profile
使得配置立即生效。
#set rocketmq
ROCKETMQ_HOME=/opt/module/rocketmq
PATH=$PATH:$ROCKETMQ_HOME/bin
export ROCKETMQ_HOME PATH
#服务器1:192.168.10.102
mkdir /opt/module/rocketmq/store
mkdir /opt/module/rocketmq/store/broker-a
mkdir /opt/module/rocketmq/store/broker-a/commitlog
mkdir /opt/module/rocketmq/store/broker-a/consumequeue
mkdir /opt/module/rocketmq/store/broker-a/index
mkdir /opt/module/rocketmq/store/broker-b-s
mkdir /opt/module/rocketmq/store/broker-b-s/commitlog
mkdir /opt/module/rocketmq/store/broker-b-s/consumequeue
mkdir /opt/module/rocketmq/store/broker-b-s/index
#服务器2:192.168.10.103
mkdir /opt/module/rocketmq/store
mkdir /opt/module/rocketmq/store/broker-b
mkdir /opt/module/rocketmq/store/broker-b/commitlog
mkdir /opt/module/rocketmq/store/broker-b/consumequeue
mkdir /opt/module/rocketmq/store/broker-b/index
mkdir /opt/module/rocketmq/store/broker-a-s
mkdir /opt/module/rocketmq/store/broker-a-s/commitlog
mkdir /opt/module/rocketmq/store/broker-a-s/consumequeue
mkdir /opt/module/rocketmq/store/broker-a-s/index
- 修改Master1配置文件(服务器ip:192.168.10.102):
vim /opt/module/rocketmq/conf/2m-2s-sync/broker-a.properties
#暴露的外网IP,必须暴露
brokerIP1=192.168.10.102
brokerIP2=192.168.10.102
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master,大于0 表示 Slave
brokerId=0
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/module/rocketmq/store/broker-a
#commitLog 存储路径
storePathCommitLog=/opt/module/rocketmq/store/broker-a/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/module/rocketmq/store/broker-a/consumequeue
#消息索引存储路径
storePathIndex=/opt/module/rocketmq/store/broker-a/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/module/rocketmq/store/broker-a/checkpoint
#abort 文件存储路径
abortFile=/opt/module/rocketmq/store/broker-a/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
- 修改Slave2配置文件(服务器ip:192.168.10.102):
vim /opt/module/rocketmq/conf/2m-2s-sync/broker-b-s.properties
#暴露的外网IP
brokerIP1=192.168.10.102
brokerIP2=192.168.10.102
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master,>0 表示 Slave
brokerId=1
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/module/rocketmq/store/broker-b-s
#commitLog 存储路径
storePathCommitLog=/opt/module/rocketmq/store/broker-b-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/module/rocketmq/store/broker-b-s/consumequeue
#消息索引存储路径
storePathIndex=/opt/module/rocketmq/store/broker-b-s/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/module/rocketmq/store/broker-b-s/checkpoint
#abort 文件存储路径
abortFile=/opt/module/rocketmq/store/broker-b-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
- 修改Master2配置文件(服务器ip:192.168.10.103):
vim /opt/module/rocketmq/conf/2m-2s-sync/broker-b.properties
#暴露的外网IP
brokerIP1=192.168.10.103
brokerIP2=192.168.10.103
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-b
#0 表示 Master,>0 表示 Slave
brokerId=0
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/module/rocketmq/store/broker-b
#commitLog 存储路径
storePathCommitLog=/opt/module/rocketmq/store/broker-b/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/module/rocketmq/store/broker-b/consumequeue
#消息索引存储路径
storePathIndex=/opt/module/rocketmq/store/broker-b/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/module/rocketmq/store/broker-b/checkpoint
#abort 文件存储路径
abortFile=/opt/module/rocketmq/store/broker-b/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=SYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
- 修改Slave1配置文件(服务器ip:192.168.10.103):
vim /opt/module/rocketmq/conf/2m-2s-sync/broker-a-s.properties
#暴露的外网IP
brokerIP1=192.168.10.103
brokerIP2=192.168.10.103
#所属集群名字
brokerClusterName=rocketmq-cluster
#broker名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=1
#nameServer地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=11011
#删除文件时间点,默认凌晨 4点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue每个文件默认存30W条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/opt/module/rocketmq/store/broker-a-s
#commitLog 存储路径
storePathCommitLog=/opt/module/rocketmq/store/broker-a-s/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/opt/module/rocketmq/store/broker-a-s/consumequeue
#消息索引存储路径
storePathIndex=/opt/module/rocketmq/store/broker-a-s/index
#checkpoint 文件存储路径
storeCheckpoint=/opt/module/rocketmq/store/broker-a-s/checkpoint
#abort 文件存储路径
abortFile=/opt/module/rocketmq/store/broker-a-s/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制Master
#- SYNC_MASTER 同步双写Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128
#分别在两台主机上启动NameServe集群:
nohup sh bin/mqnamesrv &
#启动Broker集群
#启动 Master1 节点(服务器ip:192.168.10.102):
nohup sh bin/mqbroker -c /opt/module/rocketmq/conf/2m-2s-sync/broker-a.properties &
#启动 Slave2 节点(服务器ip:192.168.10.102):
nohup sh bin/mqbroker -c /opt/module/rocketmq/conf/2m-2s-sync/broker-b-s.properties &
#启动 Master2 节点(服务器ip:192.168.10.103):
nohup sh bin/mqbroker -c /opt/module/rocketmq/conf/2m-2s-sync/broker-b.properties &
#启动 Slave1 节点(服务器ip:192.168.10.103):
nohup sh bin/mqbroker -c /opt/module/rocketmq/conf/2m-2s-sync/broker-a-s.properties &
# 查看nameServer日志
tail -500f ~/logs/rocketmqlogs/namesrv.log
# 查看broker日志
tail -500f ~/logs/rocketmqlogs/broker.log