Flink CDC基本概念以及MySQL同步到MySQL
目录
欢迎来到Flink CDC
核心概念
数据管道（Data Pipeline）
数据源（Data Source）
数据接收器（Data Sink）
表ID（Table ID）
转换（Transform）
路由（Route）
连接器（connectors）
管道连接器（pipeline connectors）
支持连接器
开发自己的连接器
Flink源
Flink CDC 源
支持的连接器
支持的Flink版本
特征
MySQL同步到MySQL
DataStream方式实现
需要的依赖pom.xml
准备工作
代码
测试
编辑
SQL方式实现
需要的依赖pom.xml
代码
测试
本文基于Flink CDC v2.4.2版本和Flink 1.17.1版本。
欢迎来到Flink CDC
Flink CDC是一个流数据集成工具，旨在为用户提供更强大的API。它允许用户通过YAML优雅地描述他们的ETL管道逻辑，并帮助用户自动生成自定义Flink算子和提交作业。Flink CDC优先优化任务提交过程，并提供增强的功能，如模式演化（schema evolution）、数据转换（data transformation）、全数据库同步（full database synchronization）和仅一次语义（exactly-once semantic）。
与Apache Flink深度集成并由其提供支持，Flink CDC提供:
✅端到端数据集成框架
✅基于数据集成API用户可轻松构建作业
✅源端/目标端中多表支持
✅整个数据库的同步
✅模式演化能力
核心概念
数据管道（Data Pipeline）
由于Flink CDC中的事件（events）以管道（ pipeline）方式从上游流向下游，因此整个ETL