当前位置: 首页 > news >正文

. Flume面试题

1. Flume 使用场景

线上数据一般主要是落地(存储到磁盘)或者通过 socket 传输给另外一个系
统,这种情况下,你很难推动线上应用或服务去修改接口,实现直接向 kafka
里写数据,这时候你可能就需要 flume 这样的系统帮你去做传输。

2. Flume 丢包问题

单机 upd 的 flume source 的配置,100+M/s 数据量,10w qps flume 就开
始大量丢包,因此很多公司在搭建系统时,抛弃了 Flume,自己研发传输系统,
但是往往会参考 Flume 的 Source-Channel-Sink 模式。
一些公司在 Flume 工作过程中,会对业务日志进行监控,例如 Flume agent
中有多少条日志,Flume 到 Kafka 后有多少条日志等等,如果数据丢失保持在
1%左右是没有问题的,当数据丢失达到 5%左右时就必须采取相应措施。

3. Flume 与 Kafka 的选取

采集层主要可以使用 Flume、Kafka 两种技术。 Flume:Flume 是管道流方式,提供了很多的默认实现,让用户通过参数部
署,及扩展 API。
Kafka:Kafka 是一个可持久化的分布式的消息队列。
Kafka 是一个非常通用的系统。你可以有许多生产者和很多的消费者共享多个主题 Topics。相比之下,Flume 是一个专用工具被设计为旨在往HDFS,HBase 发送数据。它对 HDFS 有特殊的优化,并且集成了 Had

相关文章:

  • 来了 Android开发中高级进阶通关全文档
  • CONTINUOUS CONTROL WITH DEEP REINFORCEMENT LEARNING
  • 【Dubbo】入门搭建
  • 理解红黑树
  • 【精通内核】CPU控制并发原理CPU中断控制
  • 牛客 NC208246 胖胖的牛牛
  • 源码安装nginx及其配置
  • Vue element-ui表格嵌进度条
  • 前后数据传输协议规范
  • Unions
  • 基于springboot的地质灾害应急管理系统
  • Structures
  • 向量数据库入坑指南:聊聊来自元宇宙大厂 Meta 的相似度检索技术 Faiss
  • 电子邮件营销新趋势-自动化
  • ICT产业关联效应的国际比较——基于投入产出的分析
  • (ckeditor+ckfinder用法)Jquery,js获取ckeditor值
  • 【Amaple教程】5. 插件
  • 【每日笔记】【Go学习笔记】2019-01-10 codis proxy处理流程
  • angular学习第一篇-----环境搭建
  • supervisor 永不挂掉的进程 安装以及使用
  • 程序员该如何有效的找工作?
  • 区块链分支循环
  • 三栏布局总结
  • 微信端页面使用-webkit-box和绝对定位时,元素上移的问题
  • 小程序、APP Store 需要的 SSL 证书是个什么东西?
  • 移动端 h5开发相关内容总结(三)
  • 在GitHub多个账号上使用不同的SSH的配置方法
  • 看到一个关于网页设计的文章分享过来!大家看看!
  • Python 之网络式编程
  • 大数据全解:定义、价值及挑战
  • 蚂蚁金服CTO程立:真正的技术革命才刚刚开始
  • 如何用纯 CSS 创作一个菱形 loader 动画
  • ​如何使用ArcGIS Pro制作渐变河流效果
  • #QT(串口助手-界面)
  • #ubuntu# #git# repository git config --global --add safe.directory
  • (2009.11版)《网络管理员考试 考前冲刺预测卷及考点解析》复习重点
  • (5)STL算法之复制
  • (done) ROC曲线 和 AUC值 分别是什么?
  • (二)Eureka服务搭建,服务注册,服务发现
  • (翻译)Quartz官方教程——第一课:Quartz入门
  • (附源码)springboot猪场管理系统 毕业设计 160901
  • (附源码)计算机毕业设计SSM基于java的云顶博客系统
  • (七)微服务分布式云架构spring cloud - common-service 项目构建过程
  • (顺序)容器的好伴侣 --- 容器适配器
  • (转) 深度模型优化性能 调参
  • (转)ORM
  • .axf 转化 .bin文件 的方法
  • .NET 6 在已知拓扑路径的情况下使用 Dijkstra,A*算法搜索最短路径
  • .Net CoreRabbitMQ消息存储可靠机制
  • .net 按比例显示图片的缩略图
  • .Net 路由处理厉害了
  • .net遍历html中全部的中文,ASP.NET中遍历页面的所有button控件
  • .Net高阶异常处理第二篇~~ dump进阶之MiniDumpWriter
  • .Net接口调试与案例
  • .Net通用分页类(存储过程分页版,可以选择页码的显示样式,且有中英选择)