当前位置: 首页 > news >正文

FlinkCDC实现主数据与各业务系统数据的一致性(瀚高、TIDB)

         文章末尾附有flinkcdc对应瀚高数据库flink-cdc-connector代码下载地址

1、业务需求

        目前项目有主数据系统和N个业务系统,为保障“一数一源”,各业务系统表涉及到主数据系统的字段都需用主数据系统表中的字段进行实时覆盖,这里以某个业务系统的一张表举例说明:业务系统表TableB字段col_b3与主数据系统表TableA中col_a3不一致,需要用col_a3实时覆盖col_b3生成目标表TableB_new中间表,业务系统存储为国产瀚高数据库,中间库用TIDB。

2、需求分析

         业务系统已上线多年,存在历史数据和新数据,需要分两个阶段进行处理。

        第一阶段,历史数据通过TableA、TableB联合关联生成中间表TableC,其中TableC中的主数据字段已用主数据进行了更新,再将TableC实时同步到瀚高数据库中生成一个新的业务表TableB_new(TableC和TableB_new表结构一致);

        第二阶段,历史数据处理结束后,业务系统直接割接到新表TableB_new,后期新的业务数据用TableB_new与主数据表TableA关联,实时生成中间表TableC,再用FlinkCDC,实时同步TableC数据覆盖TableB_new主数据字段。

3、具体实现

        第一阶段流程图,历史数据处理,由TableA和Tabl

相关文章:

  • Axure插件浏览器一键安装:轻松享受高效工作!
  • 【广州华锐互动】VR虚拟现实技术助力太空探险:穿越时空,探索宇宙奥秘
  • 源启容器平台KubeGien 打造云原生转型的破浪之舰
  • skywalking中gateway的拓扑图没有出现
  • quickapp_快应用_requestHeader
  • git进阶使用《多账号管理》
  • HarmonyOS ArkTS开发语言介绍(三)
  • IO口电压下降那么多是怎么回事??
  • Pytorch中的tensor维度理解
  • 【SpringBoot篇】Spring_Task定时任务框架
  • opencv使用pyinstaller打包错误:‘can‘t find starting number (in the name of file)
  • YOLOv7独家改进: Inner-IoU基于辅助边框的IoU损失,高效结合 GIoU, DIoU, CIoU,SIoU 等 | 2023.11
  • Navicat 技术指引 | 适用于 GaussDB 的自动运行功能
  • WifiManager的getConnectionInfo被弃用了?快来使用ConnectivityManager获取更全的网络信息吧
  • Git 版本控制工具
  • Bytom交易说明(账户管理模式)
  • CSS3 聊天气泡框以及 inherit、currentColor 关键字
  • express如何解决request entity too large问题
  • Markdown 语法简单说明
  • Python 基础起步 (十) 什么叫函数?
  • Python学习之路16-使用API
  • Redis学习笔记 - pipline(流水线、管道)
  • Redis字符串类型内部编码剖析
  • swift基础之_对象 实例方法 对象方法。
  • 计算机常识 - 收藏集 - 掘金
  • 解决iview多表头动态更改列元素发生的错误
  • 如何借助 NoSQL 提高 JPA 应用性能
  • 线性表及其算法(java实现)
  • 在GitHub多个账号上使用不同的SSH的配置方法
  • 这几个编码小技巧将令你 PHP 代码更加简洁
  • (rabbitmq的高级特性)消息可靠性
  • (附源码)ssm高校志愿者服务系统 毕业设计 011648
  • (附源码)ssm航空客运订票系统 毕业设计 141612
  • (六)激光线扫描-三维重建
  • (七)理解angular中的module和injector,即依赖注入
  • (十三)Flask之特殊装饰器详解
  • (一)使用Mybatis实现在student数据库中插入一个学生信息
  • .form文件_一篇文章学会文件上传
  • .net 8 发布了,试下微软最近强推的MAUI
  • .NET C#版本和.NET版本以及VS版本的对应关系
  • .NET CF命令行调试器MDbg入门(二) 设备模拟器
  • .NET Reactor简单使用教程
  • .NET 中选择合适的文件打开模式(CreateNew, Create, Open, OpenOrCreate, Truncate, Append)
  • .net操作Excel出错解决
  • .net和php怎么连接,php和apache之间如何连接
  • .NET是什么
  • .NET下的多线程编程—1-线程机制概述
  • .NET学习全景图
  • .net知识和学习方法系列(二十一)CLR-枚举
  • .vollhavhelp-V-XXXXXXXX勒索病毒的最新威胁:如何恢复您的数据?
  • @data注解_一枚 架构师 也不会用的Lombok注解,相见恨晚
  • @RequestBody与@ResponseBody的使用
  • @RequestMapping 的作用是什么?
  • [2009][note]构成理想导体超材料的有源THz欺骗表面等离子激元开关——
  • [C]编译和预处理详解