当前位置: 首页 > news >正文

RocketMQ第5集

一  RocketMQ的工作流程

1.1 生产环节producer

Producer可以将消息写入到某Broker中的某Queue:其中Producer发送消息之前,会先向NameServer发出获取消息Topic的路由信息的请求NameServer返回该Topic的路由表及Broker列表简单的说:路由表的key为Topic名称,value则为所有涉及该TopicBrokerName列表。

1.2  MQ的存储

RocketMQ中的消息存储在本地文件系统中,这些相关文件默认在当前用户主目录下的store目录中。

abort:该文件在Broker启动后会自动创建,正常关闭Broker该文件会自动消失。若在没有启动Broker的情况下,发现这个文件是存在的,则说明之前Broker的关闭是非正常关闭。

1.2.1 mq的commitlog

commitlog目录中存放着很多的mappedFile文件,当前Broker中的所有消息都是落盘到这些mappedFile文件中的。需要注意的是,一个Broker中仅包含一个commitlog目录,所有的mappedFile文件都是存放在该目录中的。

mappedFile文件是顺序读写的文件,所有其访问效率很高

1.2.2 mq的consumequeue

consumequeue文件是commitlog的索引文件,可以根据consumequeue定位到具体的消息,consumequeue文件名也由20位数字构成,表示当前文件的第一个索引条目的起始位移偏移量

1.2.3 mq的存储读写流程

1.3 rocketmq与kafka性能比较*

首先,RocketMQ对文件的读写操作是通过mmap零拷贝进行的,将对文件的操作转化为直接对内存地址进行操作,从而极大地提高了文件的读写效率。

其次,consumequeue中的数据是顺序存放的,还引入了PageCache的预读取机制,使得对consumequeue文件的读取几乎接近于内存读取,即使在有消息堆积情况下也不会影响性能。

RocketMQ中的commitlog目录与consumequeue的结合就类似于Kafka中的partition分区目录。 mappedFile文件就类似于Kafka中的segment段。

Kafka中消息存放的目录结构是:topic目录下有partition目录,partition目录下有segment文件

Kafka中无需索引文件。因为生产者是将消息直接写在了partition中的,消费者也是直接从partition中读取数据的。

1.4 rocketmq的消费方式

消费者从Broker中获取消息的方式有两种:pull拉取方式和push推动方式。消费者组对于消息消费的模式又分为两种:集群消费Clustering和广播消费Broadcasting

Pull拉取方式:

由于拉取时间间隔是由用户指定的主动权自己掌控所以在设置该间隔时需要注意平稳:间隔太短,空请求比例会增加;间隔太长,消息的实时性太差

Push方式:

该模式下Broker收到数据后会主动推送给Consumer。该获取方式一般实时性较高。而这些都是基于Consumer与Broker间的长连接的。长连接的维护是需要消耗系统资源的。

集群消费模式下,相同Consumer Group的每个Consumer实例平均分摊同一个Topic的消息。即每条消息只会被发送到Consumer Group中的某个Consumer。

 

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • Flutter ListView滑动
  • noexcept关键字
  • 【通俗理解】Transformer哈希机制——序列数据的情感搅拌机
  • 基于SpringBoot的财务管理系统
  • 学习记录:js算法(十八): 反转字符串中的单词
  • FLUX 1 将像 Stable Diffusion 一样完整支持ControlNet组件
  • 文本分析之关键词提取(TF-IDF算法)
  • 数据库sqlite3
  • 4.4 bps 拯救小哈
  • flannel,etcd,docker
  • LeetCode 热题100-39 对称二叉树
  • uniapp vue3安装 uview-plus3+
  • 更高效、更灵活的策略回测新体验?这份白皮书请收好!
  • kali
  • [SimCLR v2] Big Self-Supervised Models are Strong Semi-Supervised Learners
  • 【知识碎片】第三方登录弹窗效果
  • AWS实战 - 利用IAM对S3做访问控制
  • css的样式优先级
  • django开发-定时任务的使用
  • ES6系列(二)变量的解构赋值
  • HTML中设置input等文本框为不可操作
  • js面向对象
  • js算法-归并排序(merge_sort)
  • maya建模与骨骼动画快速实现人工鱼
  • Protobuf3语言指南
  • React组件设计模式(一)
  • Vue2 SSR 的优化之旅
  • -- 查询加强-- 使用如何where子句进行筛选,% _ like的使用
  • 仿天猫超市收藏抛物线动画工具库
  • 买一台 iPhone X,还是创建一家未来的独角兽?
  • 面试遇到的一些题
  • 如何使用Mybatis第三方插件--PageHelper实现分页操作
  • 使用Gradle第一次构建Java程序
  • ​经​纬​恒​润​二​面​​三​七​互​娱​一​面​​元​象​二​面​
  • ​决定德拉瓦州地区版图的关键历史事件
  • ## 临床数据 两两比较 加显著性boxplot加显著性
  • #图像处理
  • $HTTP_POST_VARS['']和$_POST['']的区别
  • (2024,LoRA,全量微调,低秩,强正则化,缓解遗忘,多样性)LoRA 学习更少,遗忘更少
  • (Java实习生)每日10道面试题打卡——JavaWeb篇
  • (windows2012共享文件夹和防火墙设置
  • (保姆级教程)Mysql中索引、触发器、存储过程、存储函数的概念、作用,以及如何使用索引、存储过程,代码操作演示
  • (博弈 sg入门)kiki's game -- hdu -- 2147
  • (二)十分简易快速 自己训练样本 opencv级联lbp分类器 车牌识别
  • (二十九)STL map容器(映射)与STL pair容器(值对)
  • (每日一问)设计模式:设计模式的原则与分类——如何提升代码质量?
  • (三)Honghu Cloud云架构一定时调度平台
  • (限时免费)震惊!流落人间的haproxy宝典被找到了!一切玄妙尽在此处!
  • (一)RocketMQ初步认识
  • (已解决)vue+element-ui实现个人中心,仿照原神
  • (原創) 如何動態建立二維陣列(多維陣列)? (.NET) (C#)
  • (转)eclipse内存溢出设置 -Xms212m -Xmx804m -XX:PermSize=250M -XX:MaxPermSize=356m
  • (转)ObjectiveC 深浅拷贝学习
  • (轉貼) 蒼井そら挑戰筋肉擂台 (Misc)
  • (最优化理论与方法)第二章最优化所需基础知识-第三节:重要凸集举例