dbsyncer同步mysql数据
1 概述
DBSyncer（代码地址：https://github.com/86dbs/dbsyncer）是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。
2 部署
2.1 环境
版本信息如下：
a、操作系统：centos 7.6
b、主机IP：192.168.243.128
c、docker版本：20.10.5-3
2.2 安装docker
yum install -y yum-utils device-mapper-persistent-data lvm2
yum install yum-utils -y
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum list docker-ce --showduplicates
yum install docker-ce-cli-20.10.5-3.el7 docker-ce-20.10.5-3.el7 -ymkdir -p /etc/docker
cat > /etc/docker/daemon.json << EOF
{"registry-mirrors": ["https://bxsfpjcb.mirror.aliyuncs.com", "https://registry.docker-cn.com"],"max-concurrent-downloads": 10,"log-driver": "json-file","log-level": "warn","log-opts": {"max-size": "100m","max-file": "3"},"live-restore": true,"exec-opts": ["native.cgroupdriver=systemd"]
}
EOFsystemctl daemon-reload
systemctl enable docker.service
systemctl restart docker
2.3 部署dbsyncer
使用docker部署dbsyncer，便于测试。
docker run -it --entrypoint=bash --name=dbsyncer --net=host \
registry.cn-hangzhou.aliyuncs.com/xhtb/dbsyncer:latest# 此时已进入容器环境，执行以下脚本启动dbsyncer程序
cd /app/cd dbsyncer-2.0.3
./bin/startup.sh
浏览器访问18686端口，在我的机器IP是192.168.243.128，因此在浏览器访问http://192.168.243.128:18686，输入账号密码即可（admin/admin）。
2.4 部署mysql
2.4.1 运行mysql 8.0实例
部署两个mysql实例，demo2实例是源数据库（192.168.243.128:3307），demo3实例是目标数据库（192.168.243.128:3308）。
docker run -p 3307:3306 --name mysql-demo2 -e MYSQL_ROOT_PASSWORD=password -d mysql:8.0
docker run -p 3308:3306 --name mysql-demo3 -e MYSQL_ROOT_PASSWORD=password -d mysql:8.0
2.4.2 准备mysql测试数据
在demo2实例中准备以下数据：
CREATE DATABASE demo;CREATE TABLE users (id INT AUTO_INCREMENT PRIMARY KEY,username VARCHAR(255) NOT NULL,email VARCHAR(255) NOT NULL
);INSERT INTO users (username, email) VALUES ('user1', 'user1@example.com');
INSERT INTO users (username, email) VALUES ('user2', 'user2@example.com');
INSERT INTO users (username, email) VALUES ('user3', 'user3@example.com');在demo3实例中准备以下数据：
CREATE DATABASE demo;CREATE TABLE users (id INT AUTO_INCREMENT PRIMARY KEY,username VARCHAR(255) NOT NULL,email VARCHAR(255) NOT NULL
);2.5 dbsyncer配置mysql数据库源
配置源端数据源，如下图：
配置目标数据源，如下图：
配置完成后，界面如图所示
2.6 dbsyncer配置驱动
所谓驱动就是任务。任务可以分为全量同步任务和增量同步任务。填写表单时，不仅需要选择是全量同步还是增量同步，还需要设置源端的表和目标端的表之间的映射关系。
2.6.1 配置全量同步
点击运行后，了三条数据，如下图所示：
2.6.2 配置增量同步
开启任务，在源端数据库新插入一条数据后，该新增记录同步到目标数据库。
3 小结
本文通过dbsyncer同步两个mysql实例的数据来介绍dbsyncer这个工具。dbsyncer的数据源，是一个JDBC URL（例如：jdbc:mysql://192.168.243.128:3308/demo?），所谓驱动就是数据同步的任务。