Flink系列之:基于Flink CDC2.0实现海量数据的实时同步和转换
Flink系列之:基于Flink CDC2.0实现海量数据的实时同步和转换
- 一、CDC技术
- 二、Flink CDC技术
- 三、传统数据集成方案的痛点
-
- 1.传统数据入仓架构1.0
- 2.传统数据入仓架构2.0
- 3.传统CDC ETL分析
- 四、基于Flink CDC的海量数据的实时同步和转换
-
- 1.Flink CDC增量快照读取算法
- 2.flink CDC存储友好的写入设计
- 3.Flink CDC入湖架构
- 4.Flink CDC ETL分析
- 5.强大的transformation能力
- 6.Flink CDC实现异构数据源集成
- 7.Flink CDC实现分库分表集成
一、CDC技术
从原理上可以分为两大类:
-
基于查询的CDC:例如DataX