TiDB-从0到1-TiCDC数据同步工具
TiDB从0到1系列
- TiDB-从0到1-体系结构
- TiDB-从0到1-分布式存储
- TiDB-从0到1-分布式事务
- TiDB-从0到1-MVCC
- TiDB-从0到1-部署篇
- TiDB-从0到1-配置篇
- TiDB-从0到1-集群扩缩容
- TiDB-从0到1-数据导出导入
- TiDB-从0到1-BR工具
一、TiCDC简介
每每介绍TiDB的组件都不得不感叹一下其强大的整体功能性。当使用MySQL还需要在下游挂canal时，TiDB则可以使用与其更适配的原生TiCDC。TiCDC 是一款 TiDB 增量数据同步工具，通过拉取上游 TiKV 的数据变更日志，TiCDC 可以将数据解析为有序的行级变更数据输出到下游。
TiCDC目前支持直接将TiDB数据同步至MySQL\TiDB\Kafka等
（整体架构图）
二、TiCDC原理
- TiCDC是直接读取TiKV的change log，而不是读binlog，所以性能极高
- 与DM Worker的工作逻辑不同，TiCDC中的各个节点将监测到各个TiKV节点的change log并统一传递到TiCDC的owner节点，由owner节点进行数据整合后再传输至下游组件
三、TiCDC使用限制
1、TiCDC只能同步至少存在一个有效索引的表
- 主键为有效索引
- 唯一索引中每一列在表结构中明确定义非空（NOT NULL）
- 唯一索引中不存在虚拟生成列（VIRTUAL GENERATED COLUMNS）
2、TiCDC不支持的场景
- 不支持单独同步某个TiKV，必须是TiKV集群
- 不支持在TiDB中创建SEQUENCE的DDL操作和SEQUENCE函数
四、TiCDC部署
1、同TiDB集群一起部署
#在TiDB集群启动配置文件中加入cdc节点内容
cdc_servers:
- host: xx.xxx.xx.xxport:8300deploy_dir: "/tidb-deploy/cdc-8300"data_dir: "/tidb-data/cdc-8300"log_dir: “/tidb-deploy/cdc-8300/log”
- host: xx.xxx.xx.xxport:8300deploy_dir: "/tidb-deploy/cdc-8300"data_dir: "/tidb-data/cdc-8300"log_dir: “/tidb-deploy/cdc-8300/log”
- host: xx.xxx.xx.xxport:8300deploy_dir: "/tidb-deploy/cdc-8300"data_dir: "/tidb-data/cdc-8300"log_dir: “/tidb-deploy/cdc-8300/log”
2、扩容部署
#当已有的TiDB集群已经运行了一段时间后，可以通过扩容的方式将CDC加入TiDB集群
#准备扩容文件
cdc_servers:
-host: xx.xxx.xx
gc-ttl:86400
data_dir: /data/deploy/install/data/cdc-8300
-host: xx.xxx.xx.x
gc-ttl:86400
data_dir: /data/deploy/install/data/cdc-8300
-host: xx.xxx.xx.x
gc-ttl:86400
data_dir: /data/deploy/install/data/cdc-8300
#执行扩容命令
tiup cluster scale-out tidb_test scale-out-ticdc.yml
#查看CDC节点
tiup cdc cli capture list --pd=http://xxx.xxx.xxx.xxx:2379
五、使用TiCDC
1、使用TiCDC创建同步任务（实例为同步数据至MySQL）
cdc cli changefeed create --pd=http://xx.xxx.xx.xx:2379 --sink-uri="mysql://root:xxx@127.0.0.1:3306/"
--changefeed-id="replication-task-1"
--sort-engine="unified"
常用参数：
- –changefeed-id：同步任务的ID
- –sink-uri：同步任务下游的地址
- –start-ts：开始同步上游的时间戳
- –target-ts：下游截止的时间戳
- –config：执行配置文件目录
- –sort-engine：
#数据汇总在哪里完成
memory：在内存
file：在磁盘
unified：优先在内存，内存不够在磁盘
2、查看有哪些TiCDC同步任务
tiup cdc cli changefeed list --pd=http://xxx.xxx.xx.xx:2379
3、查看同步任务状态
tiup cdc cli changefeed query --pd=http://xx.xx.xxx.xx:2379 --changefeed-id=replication-task-1
4、停止同步任务
tiup cdc cli changefeed pause --pd=http://xxx.xxx.xxx.xx:2379 --changefeed-id=replication-task-1
5、恢复同步任务
tiup cdc cli changefeed resume --pd=http://xxx.xxx.xxx.xx:2379 --changefeed-id=replication-task-1
6、删除同步任务
tiup cdc cli changefeed remove --pd=http://xxx.xxx.xxx.xx:2379 --changefeed-id=replication-task-1
7、TiCDC任务状态
彩蛋
基于TiCDC的可玩性就可以适用于多类场景
- TiDB集群的容灾
- MySQL迁到TiDB后，再用TiCDC实时同步数据回MySQL，为回滚做准备
- 实现原MySQL上canal+kafka的功能，以应对更多业务场景
