当前位置: 首页 > news >正文

关于kafka发送消息过大导致的异常的解决方式

在kafka发送消息的时候,如果消息过大超过了max.request.size的默认大小(1M),就会报下面的异常:

这个时候我们如果单独调整max.request.size参数的大小可能不起作用,因为在broker端和consumer端同样对消息的大小存在限制,我们在调整的时候要同时调整这三个参数,不然可能是broker接受不了producter端的消息,要不就是consumer端消费不了消息。调整如下:

producer端:
max.request.size=5242880(5M)
broker:
message.max.bytes=6291456(6M)
consumer:
fetch.max.bytes=7340032(7M)

max.request.size < message.max.bytes < fetch.max.bytes

还有一个地方就是topic端同样也有一个max.message.bytes参数,它只针对某个主题生效,可动态配置,可覆盖全局的 message.max.bytes,好处就是可以针对不同主题去设置 Broker 接收消息的大小,而且不用重启 broker。

相关文章:

  • PHP利用Curl实现多线程抓取网页和下载文件
  • Java Logback教程
  • 石子合并[DP-N3]
  • log4j2定期生成和删除过期日志文件的配置
  • 使用netcat进行反弹链接的shellcode
  • mybatis 判断是否传入了某参数
  • sleep()和wait()区别
  • [LeetCode] NO. 387 First Unique Character in a String
  • Linux命令(网络)
  • 抽象工厂的一个范例
  • WebBrowser 和 Win Form 的关闭问题?
  • 蓝鸥Unity开发基础二——课时18 单例
  • 表示数值的字符串
  • 如何配置搜索功能
  • W3bsafe]SQLmap过狗命令的利用+教程
  • [译] 怎样写一个基础的编译器
  • 【140天】尚学堂高淇Java300集视频精华笔记(86-87)
  • 【JavaScript】通过闭包创建具有私有属性的实例对象
  • 8年软件测试工程师感悟——写给还在迷茫中的朋友
  • Docker 笔记(2):Dockerfile
  • js面向对象
  • learning koa2.x
  • Linux学习笔记6-使用fdisk进行磁盘管理
  • Redux系列x:源码分析
  • vuex 笔记整理
  • WordPress 获取当前文章下的所有附件/获取指定ID文章的附件(图片、文件、视频)...
  • 搭建gitbook 和 访问权限认证
  • 规范化安全开发 KOA 手脚架
  • 快速构建spring-cloud+sleuth+rabbit+ zipkin+es+kibana+grafana日志跟踪平台
  • 聊聊directory traversal attack
  • 让你的分享飞起来——极光推出社会化分享组件
  • 原生Ajax
  • 中国人寿如何基于容器搭建金融PaaS云平台
  • 《TCP IP 详解卷1:协议》阅读笔记 - 第六章
  • MyCAT水平分库
  • 长三角G60科创走廊智能驾驶产业联盟揭牌成立,近80家企业助力智能驾驶行业发展 ...
  • 格斗健身潮牌24KiCK获近千万Pre-A轮融资,用户留存高达9个月 ...
  • ​ 全球云科技基础设施:亚马逊云科技的海外服务器网络如何演进
  • ​第20课 在Android Native开发中加入新的C++类
  • #免费 苹果M系芯片Macbook电脑MacOS使用Bash脚本写入(读写)NTFS硬盘教程
  • (1)STL算法之遍历容器
  • (1/2)敏捷实践指南 Agile Practice Guide ([美] Project Management institute 著)
  • (板子)A* astar算法,AcWing第k短路+八数码 带注释
  • (附源码)springboot建达集团公司平台 毕业设计 141538
  • **python多态
  • .bat批处理(五):遍历指定目录下资源文件并更新
  • .NET/C# 的字符串暂存池
  • .net生成的类,跨工程调用显示注释
  • ??javascript里的变量问题
  • @property python知乎_Python3基础之:property
  • [2017][note]基于空间交叉相位调制的两个连续波在few layer铋Bi中的全光switch——
  • [20171113]修改表结构删除列相关问题4.txt
  • [Angular] 笔记 21:@ViewChild
  • [BZOJ1010] [HNOI2008] 玩具装箱toy (斜率优化)
  • [C#]OpenCvSharp使用帧差法或者三帧差法检测移动物体