当前位置： 首页 > news >正文

大数据架构对比记录

news 来源：原创 2024/9/21 5:35:09

Lambda架构

-维护两套项目，开发和维护成本高
-两套链路，数据容易不一致
-数据计算成本大（例如原定每小时计算一次，但有额外新需求需要计算两点半-三点半之间数据，则需要重新计算）

Kappa

-过于依赖kafka消息队列，数据存储成本高，数据存储回溯hdfs有额外成本
-存储有时效性
-数据顺序存储，无法用OLAP做如谓词下推等优化计算策略
-kafka有乱序问题，可能导致结果不正确

Flink+iceberg（优化Kappa）

-实现存储层的流批统一
-中间层支持 OLAP 分析
-基于HDFS存储，存储成本降低，高效回溯

缺点：近实时而不是实时，对接其他数据系统需要额外开发
通过iceberg底层将加入缓存来加速数据湖实时计算

实时数仓设计案例

在这里插入图片描述

为什么Kafka会乱序

Kafka乱序原因
-不同分区的数据顺序无法保证
-消费者并发消费，数据处理顺序混乱
-重试机制导致乱序

Kafka乱序解决
-生产者携带分区键信息来分区处理，同一分区数据顺序消费
-调整超时时间，减少重试几率

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 【面试题】Golang之互斥锁与读写锁(第七篇)
  • 【面试题】Redo log和Undo log
  • 【功能】DOTween动画插件使用
  • 【js自学打卡8】filter / 类与原型链 / 转字符串
  • 关于Mysql的面试题(实时更新中~)
  • Python 基础——元组
  • Unity UGUI 之 Graphic Raycaster
  • 珈和科技完成全国首个农险服务类数据产品入表，实现数据资产化
  • ModbusRTU转Profinet协议转化网关（建议收藏吖）
  • lua 游戏架构 之 SceneLoad场景加载（一）
  • 【Nacos】Nacos服务注册与发现 心跳检测机制源码解析
  • Unity UGUI 之EventSystem
  • PyTorch Autograd内部实现
  • RICHTEK立锜科技 WIFI 7电源参考设计
  • OCC 创建点线面体
  • IE9 : DOM Exception: INVALID_CHARACTER_ERR (5)
  • JavaScript-如何实现克隆(clone)函数
  • ComponentOne 2017 V2版本正式发布
  • JavaScript 奇技淫巧
  • Java教程_软件开发基础
  • js算法-归并排序（merge_sort）
  • node入门
  • oschina
  • Perseus-BERT——业内性能极致优化的BERT训练方案
  • thinkphp5.1 easywechat4 微信第三方开放平台
  • 百度贴吧爬虫node+vue baidu_tieba_crawler
  • 基于Volley网络库实现加载多种网络图片（包括GIF动态图片、圆形图片、普通图片）...
  • 紧急通知：《观止-微软》请在经管柜购买！
  • 王永庆：技术创新改变教育未来
  • 译自由幺半群
  • 在weex里面使用chart图表
  • 正则学习笔记
  • Nginx实现动静分离
  • 扩展资源服务器解决oauth2 性能瓶颈
  • ​水经微图Web1.5.0版即将上线
  • #define 用法
  • #我与Java虚拟机的故事#连载19：等我技术变强了，我会去看你的 ​
  • $.ajax()方法详解
  • (13)Latex：基于ΤΕΧ的自动排版系统——写论文必备
  • （javaweb）Http协议
  • （Redis使用系列） Springboot 实现Redis消息的订阅与分布 四
  • （二刷）代码随想录第15天|层序遍历 226.翻转二叉树 101.对称二叉树2
  • （附源码）springboot 个人网页的网站 毕业设计031623
  • (佳作)两轮平衡小车（原理图、PCB、程序源码、BOM等）
  • (四)js前端开发中设计模式之工厂方法模式
  • (杂交版)植物大战僵尸
  • **PHP分步表单提交思路（分页表单提交）
  • .NET core 自定义过滤器 Filter 实现webapi RestFul 统一接口数据返回格式
  • .net dataexcel 脚本公式 函数源码
  • .net php 通信,flash与asp/php/asp.net通信的方法
  • .NET(C#) Internals: as a developer, .net framework in my eyes
  • .net(C#)中String.Format如何使用
  • .NET建议使用的大小写命名原则
  • .NET面试题(二)
  • @Service注解让spring找到你的Service bean