当前位置: 首页 > news >正文

面试官:你说说Kafka是怎么保证消息可靠性的

在这里插入图片描述

面试官:听说你精通Kafka,那我就考考你吧


面试官:不用慌尽管说,错了也没关系😊。。。


以【面试官面试】的形式来分享技术,本期是《Kafka系列》,感兴趣就关注我吧❤️

面试官:知道Kafka高水位吗

当前高水位就是复制偏移量嘛,记录了当前已提交消息的最大偏移量

是这样的,Kafka的消息只有在所有分区副本都同步该消息后,才算是已提交的消息。

分区副本会根据首领分区副本提供的高水位,来避免未提交的消息被消费。
在这里插入图片描述


面试官思考中…


面试官:你说说Kafka是怎么保证消息可靠性的

嗯嗯好的。

在Broker方面,主要使用了分区多副本架构,来保证消息不丢失。

Kafka集群的每一个分区的首领副本,都会有n(复制系数)个broker机器去复制后,生成跟随者副本

同时如果首领副本的机器挂了,跟随者副本会选举成为新的首领副本

分区有多个备份是消息保存的一个可靠性保障。


面试官思考中…


面试官:还有吗,比如生产者消费者呢

噢噢还有的,还有在生产者、消费者方面的可靠性。

一、在生产者方面

  1. 提供了ack = all这种发送确认机制。也就是只有在消息成功写入所有副本后,才算该消息已提交,保证了消息的多备份。
  2. ack = all失败的话,生产者可以继续重试发送消息。

二、在消费者方面

  1. 消费者消费时,会根据偏移量进行消费,保证了消息的顺序性
  2. 消费后会同步提交、异步提交偏移量,保证了消息不被重复消费

面试官思考中…


面试官:那要是Kafka消费堆积了怎么办

这样的话,要从Broker和消费者两方面来看。

一、Broker的话

  1. 每个topic是分为多个分区给不同Broker处理,要合理分配分区数量来提高Broker的消息处理能力。比如3个Broker2个分区,可以改为3个Broker3个分区
  2. 也可以横向扩展Broker集群

二、消费者的话

  1. 可以增加消费者服务数量
  2. 提交偏移量时,可以把同步提交改为异步提交,来减少同步等待Broker的时间

面试官思考中…


面试官:emmmm,你知道Kafka控制器吧

嗯嗯知道的。控制器其实也是一个broker,不过它还负责选举分区首领

也就是在首领副本所在的分区失效后,通过控制器来在分区副本里选举出新的首领副本

面试官抓抓脑袋,继续看你的简历…


得想想考点你不懂的😰

未完待续。。。。。。

好了,今天的分享就先到这,我们下期【Kafka系列】继续。

创作不易,不妨点赞、收藏、关注支持一下,各位的支持就是我创作的最大动力❤️

相关文章:

  • 网络原理(3)——TCP协议
  • vue 中 清除form 校验状态
  • 关于继承是怎么样的?那当然是很好理解之
  • 解决Linux中Eclipse启动时找不到Java环境的问题
  • vue+elementUI实现指定列的单元格可编辑
  • 【09】进阶JavaScript事件循环Promise
  • C语言救赎之路,有些鸟儿是困不住的!(其4) (逻辑运算符+函数)
  • SpringCloudGateway之限流集成篇
  • 数据库笔记
  • 【Godot4.2】颜色完全使用手册
  • 第二十七节 Java 多态
  • Swift 从获取所有 NSObject 对象聊起:ObjC、汇编语言以及底层方法调用链(一)
  • Git版本管理工具
  • python中的类与对象
  • python 常用装饰器
  • codis proxy处理流程
  • Java Agent 学习笔记
  • Just for fun——迅速写完快速排序
  • Linux链接文件
  • PHP CLI应用的调试原理
  • scrapy学习之路4(itemloder的使用)
  • Spring Cloud(3) - 服务治理: Spring Cloud Eureka
  • Terraform入门 - 3. 变更基础设施
  • 给Prometheus造假数据的方法
  • 工作踩坑系列——https访问遇到“已阻止载入混合活动内容”
  • 诡异!React stopPropagation失灵
  • 如何邀请好友注册您的网站(模拟百度网盘)
  • 详解移动APP与web APP的区别
  • ​如何防止网络攻击?
  • #DBA杂记1
  • (附源码)springboot优课在线教学系统 毕业设计 081251
  • (附源码)计算机毕业设计SSM基于java的云顶博客系统
  • (深度全面解析)ChatGPT的重大更新给创业者带来了哪些红利机会
  • (十二)python网络爬虫(理论+实战)——实战:使用BeautfulSoup解析baidu热搜新闻数据
  • (实战篇)如何缓存数据
  • (转) Android中ViewStub组件使用
  • (转)linux自定义开机启动服务和chkconfig使用方法
  • (转)Windows2003安全设置/维护
  • (转载)VS2010/MFC编程入门之三十四(菜单:VS2010菜单资源详解)
  • .bat批处理(十一):替换字符串中包含百分号%的子串
  • .L0CK3D来袭:如何保护您的数据免受致命攻击
  • .net core webapi 部署iis_一键部署VS插件:让.NET开发者更幸福
  • .Net Core与存储过程(一)
  • .net(C#)中String.Format如何使用
  • .net6 webapi log4net完整配置使用流程
  • .sh
  • /usr/local/nginx/logs/nginx.pid failed (2: No such file or directory)
  • @在php中起什么作用?
  • [ACM] hdu 1201 18岁生日
  • [AR Foundation] 人脸检测的流程
  • [BJDCTF2020]The mystery of ip
  • [BZOJ 1040] 骑士
  • [C/C++]数据结构 深入挖掘环形链表问题
  • [CF703D]Mishka and Interesting sum/[BZOJ5476]位运算
  • [codevs 1288] 埃及分数 [IDdfs 迭代加深搜索 ]