当前位置: 首页 > news >正文

flinksql 回撤流中主键发生变更的影响(group by中的值发生改变)

flinksql 回撤流中,主键发生变更的影响

  • 1 什么是回撤流
  • 2 主键变更场景
  • 3 实践中发现的比较好的的实时数仓架构

1 什么是回撤流

这篇文章主要谈论一个场景,简单来说:
首先我们来简单的说一下什么是回撤流,以及回撤流的底层原理,举个例子:
在这里插入图片描述

这个说的不是很清晰 ,其实倒数第二个图当作输出 比较好看出来,再bank 这一条来之后,数据结果是
hello 1
world 1
bank 1
这个时候 又来了一条hello,刚刚已经下发的hello 1 这个结果就不对了,就需要降这条结果撤回,也就是撤回一条 hello 1 下发一条 hello 2。简单的说 这就是回撤流。

我们用最常见的 ,用的最多的kafka来举例回撤流 大家可能就明白了

  • 来了一条hello数据 下发一条
    [+I] hello 1
  • 又来了一条hello,上一条撤回
    [-U] hello 1
  • 下发一条
    [+U] hello 2

其实所谓的回撤,是下发了两条数据,告诉下游 上一条我废弃了&#x

相关文章:

  • Go-知识并发控制Context
  • NextJs 渲染篇 - 什么是CSR、SSR、SSG、ISR 和服务端/客户端组件
  • 设计模式(四)原型模式
  • 线性代数|机器学习-P2 A的列向量空间
  • 如何解决Mac系统创建/home目录提示Read-Only filesystem(补充)?
  • Flutter 中的 SliverMainAxisGroup 小部件:全面指南
  • Flutter 中的 SliverOpacity 小部件:全面指南
  • MMPose-RTMO推理详解及部署实现(上)
  • 低代码开发平台(Low-code Development Platform)的模块组成部分
  • Hive操作
  • Python知识点4---循环语句
  • 【WP|6】WordPress 主题开发详解
  • IntelliJ IDEA / Android Studio 方法显示Git提交人
  • js 纯前端实现数组分页、列表模糊查询、将数组转成formdata格式传给接口
  • MongoDB CRUD操作:批量写操作
  • #Java异常处理
  • 2017 年终总结 —— 在路上
  • angular学习第一篇-----环境搭建
  • const let
  • create-react-app项目添加less配置
  • ES6语法详解(一)
  • exif信息对照
  • gf框架之分页模块(五) - 自定义分页
  • java取消线程实例
  • JS创建对象模式及其对象原型链探究(一):Object模式
  • php面试题 汇集2
  • 阿里中间件开源组件:Sentinel 0.2.0正式发布
  • 初识MongoDB分片
  • 对JS继承的一点思考
  • 今年的LC3大会没了?
  • 看完九篇字体系列的文章,你还觉得我是在说字体?
  • 批量截取pdf文件
  • 前端性能优化——回流与重绘
  • AI又要和人类“对打”,Deepmind宣布《星战Ⅱ》即将开始 ...
  • 整理一些计算机基础知识!
  • # MySQL server 层和存储引擎层是怎么交互数据的?
  • #define用法
  • #传输# #传输数据判断#
  • #免费 苹果M系芯片Macbook电脑MacOS使用Bash脚本写入(读写)NTFS硬盘教程
  • (02)Hive SQL编译成MapReduce任务的过程
  • (delphi11最新学习资料) Object Pascal 学习笔记---第8章第5节(封闭类和Final方法)
  • (Oracle)SQL优化技巧(一):分页查询
  • (二刷)代码随想录第15天|层序遍历 226.翻转二叉树 101.对称二叉树2
  • (接口自动化)Python3操作MySQL数据库
  • (论文阅读32/100)Flowing convnets for human pose estimation in videos
  • (转)http协议
  • (转)清华学霸演讲稿:永远不要说你已经尽力了
  • .net 4.0发布后不能正常显示图片问题
  • .NET/C# 中你可以在代码中写多个 Main 函数,然后按需要随时切换
  • .NetCore部署微服务(二)
  • .net遍历html中全部的中文,ASP.NET中遍历页面的所有button控件
  • .net下简单快捷的数值高低位切换
  • .NET与java的MVC模式(2):struts2核心工作流程与原理
  • .xml 下拉列表_RecyclerView嵌套recyclerview实现二级下拉列表,包含自定义IOS对话框...
  • [ Linux ] git工具的基本使用(仓库的构建,提交)