当前位置: 首页 > news >正文

Kafka中的时间轮算法

1. Kafka与时间轮:

        Kafka的定时器底层使用时间轮算法。Kafka时间轮是层次时间轮,并且支持时间轮复用。

优点:

  • 高效的插入操作:
    • 时间轮底层数据结构(桶),使用双向链表的设计使得插入操作的时间复杂度达到O(1)。
    • 把相同到期时间的任务放到桶中,在DQ中只插入一次。
  • 层级时间轮,时间轮有升降级机制。
  • 复用过期时间格。

优秀文章:

Kafka如何通过层级时间轮实现延时消息队列?_kafka基于时间轮如何实现延迟队列-CSDN博客 -> 非常不错的文章

时间轮(TimingWheel)-CSDN博客 -> 使用图例方式演示

2. Kafka时间轮(TimingWheel)算法:

  • 时间轮的算法思想可以通过我们日常生活中的钟表来理解。
  • 一个存储定时任务的环形队列。底层采用数组实现,数组中的每个元素存放一个定时任务列表(TimerTaskList)。
  • 定时任务列表是一个环形的双向链表,链表中的每一项表示一个定时任务项(TimerTaskEntry),其中封装了真正的定时任务(TimerTask)。

3. Kafka如何支持大跨度的定时任务呢?

两种解决方案:使用增加轮次/圈数的概念(Netty 的 HashedWheelTimer )、使用多层时间轮的概念 (Kafka 的 TimingWheel)。

多层时间轮就更像我们钟表的概念。秒针走的一圈、分针走的一圈和时针走的一圈就形成了一个多层时间轮的关系。

4. Kakfa时间轮中DelayQueue的作用:

1.使用DelayQueue推进时间轮往前走,并且避免时间轮的空推进。

2.使用DelayQueue获取到期的任务。

拓展:时间轮使用DQ,如何避免空推荐?

Kafka则是通过DelayQueue来推进,是一种空间换时间的思想:

  • DelayQueue 中保存着所有的 TimerTaskList 对象,根据时间来排序,这样延时越小的任务排在越前面。
  • 外部通过一个线程(叫做ExpiredOperationReaper)从 DelayQueue 中获取超时的任务列表 TimerTaskList,然后根据 TimerTaskList 的 过期时间来精确推进时间轮的时间,这样就不会存在空推进的问题啦。

拓展:时间轮用到了DQ,为什么不直接用DQ?

1.性能高:

1.1 DQ插入和删除操作都是O(log n),时间轮算法的插入和删除操作都是 O(1) -> 底层是任务的添加和删除是基于链表实现的。

1.2 DQ只存放了TimerTaskList,并不是所有的TimerTask,所以数量并不多。

相关文章:

  • 2024广东省职业技能大赛云计算赛项实战——Ansible部署Zabbix
  • error: the type ‘const zjloc::<lambda(const Vec2i, const Vec2i)>’
  • JAVA NIO(二) Buffer和Channel
  • Elasticsearch:倒数排序融合 - Reciprocal rank fusion - 8.14
  • go的有栈和无栈
  • C#开发-集合使用和技巧(一)常用集合和方法介绍
  • 设计模式——访问者模式
  • python从入门到精通1:注释
  • Android 屏幕适配
  • python_根据关键词匹配文件中的数据并绘图
  • python学习—字典(Dictionary)
  • 【自动驾驶】运动底盘状态数据:里程计、IMU、运动学分析、串口通信协议
  • 计算机组成原理网课笔记2
  • 【刷力扣】23. 合并 K 个升序链表(dummy节点技巧 + 分治思维 + 优先队列)
  • 番外篇 | YOLOv8算法解析和实战应用:车辆检测 + 车辆追踪 + 行驶速度计算
  • 03Go 类型总结
  • CSS居中完全指南——构建CSS居中决策树
  • Laravel 实践之路: 数据库迁移与数据填充
  • React的组件模式
  • V4L2视频输入框架概述
  • XForms - 更强大的Form
  • 测试开发系类之接口自动化测试
  • 对话 CTO〡听神策数据 CTO 曹犟描绘数据分析行业的无限可能
  • 利用jquery编写加法运算验证码
  • 前端性能优化--懒加载和预加载
  • 实战|智能家居行业移动应用性能分析
  • 使用 5W1H 写出高可读的 Git Commit Message
  • 使用putty远程连接linux
  • 思维导图—你不知道的JavaScript中卷
  • 一些基于React、Vue、Node.js、MongoDB技术栈的实践项目
  • 400多位云计算专家和开发者,加入了同一个组织 ...
  • RDS-Mysql 物理备份恢复到本地数据库上
  • 通过调用文摘列表API获取文摘
  • ​configparser --- 配置文件解析器​
  • ​LeetCode解法汇总2670. 找出不同元素数目差数组
  • ​sqlite3 --- SQLite 数据库 DB-API 2.0 接口模块​
  • ​批处理文件中的errorlevel用法
  • ### RabbitMQ五种工作模式:
  • #{}和${}的区别?
  • #大学#套接字
  • #我与Java虚拟机的故事#连载08:书读百遍其义自见
  • (Charles)如何抓取手机http的报文
  • (HAL)STM32F103C6T8——软件模拟I2C驱动0.96寸OLED屏幕
  • (Matalb时序预测)PSO-BP粒子群算法优化BP神经网络的多维时序回归预测
  • (vue)el-checkbox 实现展示区分 label 和 value(展示值与选中获取值需不同)
  • (附源码)ssm航空客运订票系统 毕业设计 141612
  • (官网安装) 基于CentOS 7安装MangoDB和MangoDB Shell
  • (免费领源码)Python#MySQL图书馆管理系统071718-计算机毕业设计项目选题推荐
  • (切换多语言)vantUI+vue-i18n进行国际化配置及新增没有的语言包
  • (一)、软硬件全开源智能手表,与手机互联,标配多表盘,功能丰富(ZSWatch-Zephyr)
  • (转)Mysql的优化设置
  • (转)大型网站架构演变和知识体系
  • (轉貼) VS2005 快捷键 (初級) (.NET) (Visual Studio)
  • **登录+JWT+异常处理+拦截器+ThreadLocal-开发思想与代码实现**
  • .java 9 找不到符号_java找不到符号