当前位置: 首页 > news >正文

【Kafka】

1、请说明什么是Apache Kafka?

Apache Kafka是由Apache开发的一种发布订阅消息系统,它是一个分布式的、分区的和重复的日志服务。

 

2、请说明什么是传统的消息传递方法?

传统的消息传递方法包括两种:

  • 排队:在队列中,一组用户可以从服务器中读取消息,每条消息都发送给其中一个人。

  • 发布-订阅:在这个模型中,消息被广播给所有的用户。

 

3、请说明Kafka相对传统技术有什么优势?

Apache Kafka与传统的消息传递技术相比优势之处在于:

快速:单一的Kafka代理可以处理成千上万的客户端,每秒处理数兆字节的读写操作。

可伸缩:在一组机器上对数据进行分区和简化,以支持更大的数据

持久:消息是持久性的,并在集群中进行复制,以防止数据丢失。

设计:它提供了容错保证和持久性

 

4、在Kafka中broker的意义是什么?

在Kafka集群中,broker术语用于引用服务器。

 

5、Kafka服务器能接收到的最大信息是多少?

Kafka服务器可以接收到的消息的最大大小是1000000字节。

 

6、解释Kafka的Zookeeper是什么?我们可以在没有Zookeeper的情况下使用Kafka吗?

Zookeeper是一个开放源码的、高性能的协调服务,它用于Kafka的分布式应用。

不,不可能越过Zookeeper,直接联系Kafka broker。一旦Zookeeper停止工作,它就不能服务客户端请求。

  • Zookeeper主要用于在集群中不同节点之间进行通信

  • 在Kafka中,它被用于提交偏移量,因此如果节点在任何情况下都失败了,它都可以从之前提交的偏移量中获取

  • 除此之外,它还执行其他活动,如: leader检测、分布式同步、配置管理、识别新节点何时离开或连接、集群、节点实时状态等等。

 

7、解释Kafka的用户如何消费信息?

在Kafka中传递消息是通过使用sendfile API完成的。它支持将字节从套接口转移到磁盘,通过内核空间保存副本,并在内核用户之间调用内核。

 

8、解释如何提高远程用户的吞吐量?

如果用户位于与broker不同的数据中心,则可能需要调优套接口缓冲区大小,以对长网络延迟进行摊销。

 

9、解释一下,在数据制作过程中,你如何能从Kafka得到准确的信息?

在数据中,为了精确地获得Kafka的消息,你必须遵循两件事: 在数据消耗期间避免重复,在数据生产过程中避免重复。

这里有两种方法,可以在数据生成时准确地获得一个语义:

  • 每个分区使用一个单独的写入器,每当你发现一个网络错误,检查该分区中的最后一条消息,以查看您的最后一次写入是否成功

  • 在消息中包含一个主键(UUID或其他),并在用户中进行反复制

 

10、解释如何减少ISR中的扰动?broker什么时候离开ISR?

ISR是一组与leaders完全同步的消息副本,也就是说ISR中包含了所有提交的消息。ISR应该总是包含所有的副本,直到出现真正的故障。如果一个副本从leader中脱离出来,将会从ISR中删除。

 

11、Kafka为什么需要复制?

Kafka的信息复制确保了任何已发布的消息不会丢失,并且可以在机器错误、程序错误或更常见些的软件升级中使用。

 

12、如果副本在ISR中停留了很长时间表明什么?

如果一个副本在ISR中保留了很长一段时间,那么它就表明,跟踪器无法像在leader收集数据那样快速地获取数据。

 

13、请说明如果首选的副本不在ISR中会发生什么?

如果首选的副本不在ISR中,控制器将无法将leadership转移到首选的副本。

 

14、有可能在生产后发生消息偏移吗?

在大多数队列系统中,作为生产者的类无法做到这一点,它的作用是触发并忘记消息。broker将完成剩下的工作,比如使用id进行适当的元数据处理、偏移量等。

作为消息的用户,你可以从Kafka broker中获得补偿。如果你注视SimpleConsumer类,你会注意到它会获取包括偏移量作为列表的MultiFetchResponse对象。此外,当你对Kafka消息进行迭代时,你会拥有包括偏移量和消息发送的MessageAndOffset对象。

 

相关文章:

  • Android动画实现详解
  • HDU 1824 Let#39;s go home (2-SAT判定)
  • Java Proxy 和 CGLIB 动态代理原理
  • Scrapy
  • python数据分析及展示(二)
  • 千里走单骑:02-北京到上海骑记--Day1.首日征程
  • VS2008设置快捷键Ctrl+W关闭当前打开的文本编辑器窗口
  • 人工智能概念第一股?即将在美国上市的Veritone是怎样一家公司
  • 从setTimeout-setInterval看JS线程
  • 2017 5月22日上午
  • 详解MySQL数据类型
  • JavaScript(二)-精简
  • 以太网交换机市场 华为崛起思科份额减少
  • Linux安全应用之防垃圾邮件server的构建
  • Openstack 干掉 VMWare(1)
  • JS中 map, filter, some, every, forEach, for in, for of 用法总结
  • 【399天】跃迁之路——程序员高效学习方法论探索系列(实验阶段156-2018.03.11)...
  • 【css3】浏览器内核及其兼容性
  • 【node学习】协程
  • Angular数据绑定机制
  • ECMAScript 6 学习之路 ( 四 ) String 字符串扩展
  • exports和module.exports
  • k8s 面向应用开发者的基础命令
  • PHP 小技巧
  • Python打包系统简单入门
  • Swift 中的尾递归和蹦床
  • vue-cli3搭建项目
  • vue从入门到进阶:计算属性computed与侦听器watch(三)
  • 编写高质量JavaScript代码之并发
  • 产品三维模型在线预览
  • 构建二叉树进行数值数组的去重及优化
  • 回流、重绘及其优化
  • 力扣(LeetCode)357
  • 使用 QuickBI 搭建酷炫可视化分析
  • [Shell 脚本] 备份网站文件至OSS服务(纯shell脚本无sdk) ...
  • 【干货分享】dos命令大全
  • 阿里云服务器如何修改远程端口?
  • #Js篇:单线程模式同步任务异步任务任务队列事件循环setTimeout() setInterval()
  • #NOIP 2014# day.1 T2 联合权值
  • $GOPATH/go.mod exists but should not goland
  • %check_box% in rails :coditions={:has_many , :through}
  • (04)odoo视图操作
  • (23)Linux的软硬连接
  • (android 地图实战开发)3 在地图上显示当前位置和自定义银行位置
  • (C++17) optional的使用
  • (day 2)JavaScript学习笔记(基础之变量、常量和注释)
  • (JS基础)String 类型
  • (python)数据结构---字典
  • (附源码)计算机毕业设计ssm-Java网名推荐系统
  • (七)理解angular中的module和injector,即依赖注入
  • (正则)提取页面里的img标签
  • (转) RFS+AutoItLibrary测试web对话框
  • (转)h264中avc和flv数据的解析
  • (转贴)用VML开发工作流设计器 UCML.NET工作流管理系统
  • (转载)从 Java 代码到 Java 堆