当前位置: 首页 > news >正文

Kafka日志

位置

server.properties配置文件中通过log.dir指定日志存储目录

log.dir/{topic}-{partition}

核心文件

.log

存储消息的日志文件,固定大小为1G,写满后会新增一个文件,文件名表示当前日志文件记录的第一条消息的偏移量。

.index

以偏移量为索引来记录对应的.log日志文件中的消息偏移量

.timeindex

以时间戳为索引来记录对应的.log日志文件中的消息偏移量

partition.metadata

记录当前Partition所属的cluster和Topic

leader-epoch-checkpoint
和epoch机制相关

index和timeindex加速读取log消息日志

index和timeindex都是以相对偏移量的方式建立log消息日志的数据索引。比如 0000.index和0550.index中记录的索引数字,都是从0开始的。表示相对日志文件起点的消息偏移量。而绝对的消息偏移量可以通过日志文件名 + 相对偏移量得到。

这两个索引并不是对每一条消息都建立索引。而是Broker每写入40KB的数据,就建立一条index索
引。

Kafka的消费者通过这两个索引能够指定从某一个offset或者某一个时间点读取消息。

相关文章:

  • 编写一个Java程序,其中包含三个线程: 厨师(Chef)、服务员(Waiter)和顾客(Customer)
  • docker安装的php 在cli中使用
  • 构建数字化金融生态系统:云原生的创新方法
  • pycharm修改项目文件夹名称
  • PostGreSQL:货币类型
  • hiveserver负载均衡配置
  • cpp_05_类_string类
  • Vue3 性能优化
  • Java 解决远程调用 ssl 证书认证问题
  • 智能优化算法应用:基于鹈鹕算法3D无线传感器网络(WSN)覆盖优化 - 附代码
  • 探索微软Edge:使用方法和心得分享
  • 【快速开发】使用SvelteKit
  • Django Rest Framework框架的安装
  • ChatGPT免费 | 8个免费使用GPT-4的方法
  • [node] Node.js的全局对象Global
  • (三)从jvm层面了解线程的启动和停止
  • @jsonView过滤属性
  • Apache的80端口被占用以及访问时报错403
  • css的样式优先级
  • Java 11 发布计划来了,已确定 3个 新特性!!
  • mysql常用命令汇总
  • NSTimer学习笔记
  • Object.assign方法不能实现深复制
  • vue数据传递--我有特殊的实现技巧
  • 关键词挖掘技术哪家强(一)基于node.js技术开发一个关键字查询工具
  • 关于使用markdown的方法(引自CSDN教程)
  • 诡异!React stopPropagation失灵
  • 基于Mobx的多页面小程序的全局共享状态管理实践
  • 记录一下第一次使用npm
  • 来,膜拜下android roadmap,强大的执行力
  • 利用DataURL技术在网页上显示图片
  • 使用 Docker 部署 Spring Boot项目
  • ​​​​​​​ubuntu16.04 fastreid训练过程
  • ​【C语言】长篇详解,字符系列篇3-----strstr,strtok,strerror字符串函数的使用【图文详解​】
  • #在线报价接单​再坚持一下 明天是真的周六.出现货 实单来谈
  • (3)(3.2) MAVLink2数据包签名(安全)
  • (rabbitmq的高级特性)消息可靠性
  • (十六)串口UART
  • (五) 一起学 Unix 环境高级编程 (APUE) 之 进程环境
  • (转)创业的注意事项
  • (转)负载均衡,回话保持,cookie
  • .form文件_一篇文章学会文件上传
  • .NET 程序如何获取图片的宽高(框架自带多种方法的不同性能)
  • .net 验证控件和javaScript的冲突问题
  • .Net 中Partitioner static与dynamic的性能对比
  • @Conditional注解详解
  • @font-face 用字体画图标
  • [ vulhub漏洞复现篇 ] Apache APISIX 默认密钥漏洞 CVE-2020-13945
  • [ 渗透测试面试篇 ] 渗透测试面试题大集合(详解)(十)RCE (远程代码/命令执行漏洞)相关面试题
  • [ 英语 ] 马斯克抱水槽“入主”推特总部中那句 Let that sink in 到底是什么梗?
  • [2019.3.20]BZOJ4573 [Zjoi2016]大森林
  • [Angular] 笔记 7:模块
  • [ANT] 项目中应用ANT
  • [BZOJ5250][九省联考2018]秘密袭击(DP)
  • [C# WPF] DataGrid选中行或选中单元格的背景和字体颜色修改