当前位置: 首页 > news >正文

消息中间件之八股面试回答篇:三、RabbitMQ如何解决消息堆积问题(100万条消息堆积)+RabbitMQ高可用性和强一致性机制+回答模板

RabbitMQ中的消息堆积问题

当生产者发送消息的速度超过了消费者处理消息的速度,就会导致队列中的消息堆积,直到队列存储消息达到上限。之后发送的消息就会成为死信,可能会被丢弃,这就是消息堆积问题。

解决消息堆积有三种种思路:

  • 增加更多消费者,提高消费速度
  • 在消费者内开启线程池加快消息处理速度
  • 采用惰性队列,扩大队列容积,提高堆积上限

惰性队列

惰性队列的特征如下:

  • 接收到消息后直接存入磁盘而非内存,所以可以支持数百万条的消息存储
  • 消费者要消费消息时才会从磁盘中读取并加载到内存
  • 性能较稳定,但是受限于磁盘IO,时效性会降低。

实现惰性队列只需要在声明队列的时候设置属性x-queue-mode为lazy。

面试不需要掌握,本人存档用的

声明队列时:
在这里插入图片描述
如果是用的注解的话,如下:
在这里插入图片描述

RabbitMQ高可用性和强一致性机制

RabbitMQ有三种集群模式:普通集群、镜像集群、仲裁队列

普通集群

普通集群,或者叫标准集群(classic cluster)
会在集群的各个节点间共享部分数据,包括:交换机、队列元信息(实际上就是队列的地址引用)。不包含队列中的消息

所以队列所在节点宕机,队列中的消息就会丢失。为此出现了镜像集群。

镜像集群

镜像集群:本质是主从模式,具备下面的特征:

  • 交换机、队列、队列中的消息会在各个mq的镜像节点之间同步备份。
  • 创建队列的节点被称为该队列的主节点,备份到的其它节点叫做该队列的镜像节点。
  • 一个队列的主节点可能是另一个队列的镜像节点
  • 所有操作都是主节点完成,然后同步给镜像节点
  • 主节点宕机后,镜像节点会替代成新的主节点。
    在这里插入图片描述

但是也可能出现主节点还未来得及同步数据给镜像节点就宕机,从而导致数据丢失的情况。虽然该情况概率比较小,但是某些情况我们需要保证数据的强一致性,为此出现了仲裁队列。

仲裁队列

仲裁队列是3.8版本以后才有的新功能,用来替代镜像队列,具备下列特征:

  • 与镜像队列一样,都是主从模式,支持主从数据同步
  • 使用非常简单,没有复杂的配置
  • 主从同步基于Raft协议,强一致

其中的Raft协议就保证了数据的强一致性,不过与之相对的是性能会降低些。
目前使用最多的还是镜像集群。

问题及回答模板

如果有100万消息堆积在MQ , 如何解决 ?

回答:(背熟以下回答,大概用时1min)

我在实际的开发中,没遇到过这种情况,不过,如果发生了堆积的问题,解决方案也所有很多的。
第一,我们可以使用多线程消费任务。
第二,我们可以增加更多消费者,提高消费速度 。
第三,我们可以扩大队列容积,提高堆积上限 。譬如可以使用RabbitMQ惰性队列,惰性队列与普通队列不同的主要是:接收到消息后直接存入磁盘而非内存,只有消费者要消费消息时才会从磁盘中读取并加载到内存。基于这个性质,使得它可以支持数百万条的消息存储。

RabbitMQ的高可用机制有了解过嘛?、

回答:(背熟以下回答,大概用时1min)

候选人

嗯,熟悉的~

我们当时项目在生产环境下,使用的集群,当时搭建是镜像模式集群,使用了3台机器。

镜像队列结构是一主多从,所有操作都是主节点完成,然后同步给镜像节点,如果主节点宕机后,镜像节点会替代成新的主节点,不过在主从同步完成前,主节点就已经宕机,可能出现数据丢失

面试官:那出现丢数据怎么解决呢?

候选人

我们可以采用仲裁队列,与镜像队列一样,都是主从模式,支持主从数据同步,主从同步基于Raft协议,保证了数据的强一致。并且使用起来也非常简单,不需要额外的配置,在声明队列的时候只要指定这个是仲裁队列即可。

相关文章:

  • Datawhale 组队学习Task8大模型的有害性(上/下)
  • 毕业找工作只会C语言是不是完蛋了?
  • 当代码遇上玄学……
  • SRE-Redis基本概念篇
  • 初识elasticsearch
  • 内网安全:NTLM-Relay
  • 幻兽帕鲁服务器出租,腾讯云PK阿里云怎么收费?
  • 计算机网络——网络层(2)
  • c#之构值类型和引用类型
  • 4核16G幻兽帕鲁服务器优惠价格表,阿里云和腾讯云报价
  • ES 分词器
  • Android源码设计模式解析与实战第2版笔记(一)
  • RabbitMQ-如何保证消息不丢失
  • Sentinel背后的原理:守卫你的代码安全之旅
  • [GXYCTF2019]BabySQli1
  • Angular数据绑定机制
  • hadoop入门学习教程--DKHadoop完整安装步骤
  • interface和setter,getter
  • JS+CSS实现数字滚动
  • js操作时间(持续更新)
  • js作用域和this的理解
  • Linux快速复制或删除大量小文件
  • Linux学习笔记6-使用fdisk进行磁盘管理
  • seaborn 安装成功 + ImportError: DLL load failed: 找不到指定的模块 问题解决
  • Shadow DOM 内部构造及如何构建独立组件
  • 搞机器学习要哪些技能
  • 关于extract.autodesk.io的一些说明
  • 使用Gradle第一次构建Java程序
  • 小程序、APP Store 需要的 SSL 证书是个什么东西?
  • 用简单代码看卷积组块发展
  • 3月7日云栖精选夜读 | RSA 2019安全大会:企业资产管理成行业新风向标,云上安全占绝对优势 ...
  • PostgreSQL之连接数修改
  • ​一文看懂数据清洗:缺失值、异常值和重复值的处理
  • (2022 CVPR) Unbiased Teacher v2
  • (C语言版)链表(三)——实现双向链表创建、删除、插入、释放内存等简单操作...
  • (NO.00004)iOS实现打砖块游戏(十二):伸缩自如,我是如意金箍棒(上)!
  • (附源码)springboot炼糖厂地磅全自动控制系统 毕业设计 341357
  • (附源码)ssm基于jsp的在线点餐系统 毕业设计 111016
  • (六)库存超卖案例实战——使用mysql分布式锁解决“超卖”问题
  • (七)Java对象在Hibernate持久化层的状态
  • (亲测)设​置​m​y​e​c​l​i​p​s​e​打​开​默​认​工​作​空​间...
  • (使用vite搭建vue3项目(vite + vue3 + vue router + pinia + element plus))
  • (四)linux文件内容查看
  • (四)库存超卖案例实战——优化redis分布式锁
  • (未解决)macOS matplotlib 中文是方框
  • (转)h264中avc和flv数据的解析
  • (转)Linux整合apache和tomcat构建Web服务器
  • (转)ORM
  • ... fatal error LINK1120:1个无法解析的外部命令 的解决办法
  • .NET CLR基本术语
  • .NET Core 通过 Ef Core 操作 Mysql
  • .NET Entity FrameWork 总结 ,在项目中用处个人感觉不大。适合初级用用,不涉及到与数据库通信。
  • .net mvc actionresult 返回字符串_.NET架构师知识普及
  • .net 获取url的方法
  • .NET/C# 判断某个类是否是泛型类型或泛型接口的子类型