当前位置: 首页 > news >正文

Kafka系列之:Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据

Kafka系列之:Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据

  • 一、基于日志大小
  • 二、基于时间大小
  • 三、参数设置
  • 四、设置命令

一、基于日志大小

  • "log.retention.bytes"是Apache Kafka中的一项配置参数,用于指定每个日志段文件的最大大小。当日志段文件的大小达到或超过该配置值时,Kafka将开始删除该日志段中最旧的消息,以保持日志段文件的大小在一定的范围内。
  • 这个参数的设置可以帮助控制消息在Kafka中的持久化存储时间。如果设置得较小,将会导致更频繁的日志段切换和消息删除,可能会增加磁盘IO的负载。相反,如果设置得较大,将会导致消息在Kafka中存储的时间更长,可能会增加磁盘使用量。
  • 合理设置"log.retention.bytes"参数可以根据实际需求来平衡磁盘空间的利用率和消息的保留时间。需要根据具体的业务场景和预期的消息保留时间,以及可用磁盘空间等因素来进行设置。

二、基于时间大小

  • "log.retention.hours"是Apache Kafka中的另一个配置参数,用于指定每个日志段文件的最大保留时间。当日志段文件的最后一条消息的时间戳超过该配置值时,Kafka将开始删除该日志段文件,以保持消息在Kafka中的存储时间在一定的范围内。

相关文章:

  • 学习好并用好大模型
  • 【Cocos入门】场景切换(loadScene、preloadScene)
  • nginx slice模块的使用和源码分析
  • jmeter-06常用的几种断言方式
  • PdfFactory Pro软件下载以及序列号注册码生成器
  • Pandas 对带有 Multi-column(多列名称) 的数据排序并写入 Excel 中
  • vue 引入 百度地图API 和 路书
  • 功能强大的国外商业PHP在线教育系统LMS源码,直播课程系统
  • K8S之运用亲和性设置Pod的调度约束
  • 在centos7中利用pybind11构建C++的动态库供python调用
  • 初始web服务器(并基于idea来实现无需下载的tomcat)
  • Flink实战六_直播礼物统计
  • CTFshow web(命令执行 41-44)
  • yarn/npm certificate has expired
  • MySQL的DDL语言
  • (ckeditor+ckfinder用法)Jquery,js获取ckeditor值
  • JavaScript DOM 10 - 滚动
  • JavaScript的使用你知道几种?(上)
  • JavaWeb(学习笔记二)
  • SpringCloud集成分布式事务LCN (一)
  • Webpack 4x 之路 ( 四 )
  • 从零搭建Koa2 Server
  • 浮动相关
  • 实习面试笔记
  • 使用 QuickBI 搭建酷炫可视化分析
  • 一个JAVA程序员成长之路分享
  • 用Node EJS写一个爬虫脚本每天定时给心爱的她发一封暖心邮件
  • 1.Ext JS 建立web开发工程
  • Android开发者必备:推荐一款助力开发的开源APP
  • 不要一棍子打翻所有黑盒模型,其实可以让它们发挥作用 ...
  • 国内唯一,阿里云入选全球区块链云服务报告,领先AWS、Google ...
  • 曾刷新两项世界纪录,腾讯优图人脸检测算法 DSFD 正式开源 ...
  • ​Base64转换成图片,android studio build乱码,找不到okio.ByteString接腾讯人脸识别
  • ​iOS安全加固方法及实现
  • #每天一道面试题# 什么是MySQL的回表查询
  • (39)STM32——FLASH闪存
  • (5)STL算法之复制
  • (ISPRS,2023)深度语义-视觉对齐用于zero-shot遥感图像场景分类
  • (Matalb回归预测)PSO-BP粒子群算法优化BP神经网络的多维回归预测
  • (Matlab)遗传算法优化的BP神经网络实现回归预测
  • (附源码)基于SSM多源异构数据关联技术构建智能校园-计算机毕设 64366
  • (详细版)Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
  • (循环依赖问题)学习spring的第九天
  • (一)appium-desktop定位元素原理
  • (转)visual stdio 书签功能介绍
  • .net FrameWork简介,数组,枚举
  • .NET3.5下用Lambda简化跨线程访问窗体控件,避免繁复的delegate,Invoke(转)
  • .net6 webapi log4net完整配置使用流程
  • .netcore如何运行环境安装到Linux服务器
  • @Documented注解的作用
  • [2544]最短路 (两种算法)(HDU)
  • [383] 赎金信 js
  • [ajaxupload] - 上传文件同时附件参数值
  • [C++]priority_queue的介绍及模拟实现
  • [HTML]Web前端开发技术18(HTML5、CSS3、JavaScript )HTML5 基础与CSS3 应用——喵喵画网页