基于OMS构建OceanBase容灾双活架构的实践

在实际生产环境中，对于关键业务，往往会有容灾双活的需求。除了OceanBase提供的主备库能力，通过官方工具OMS也可以实现容灾双活架构。目前，通过OMS实现的双活架构仅支持OceanBase数据库之间的数据同步。

要通过OMS实现双活架构，用户需要在各地域都部署OMS系统。若仅在单地域进行部署，则无法通过OMS实施双活架构。需要注意的是，在创建数据源时，两端的OceanBase集群也需要位于不同的地域，以满足异地双活架构的配置要求。

具体的安装配置过程，这里做了一个测试案例，并记录整个双活搭建的过程，以供大家参考。

环境准备

安装准备

OMS的多地域部署详细步骤也可以参考官网文档：OMS多地域部署

首先，需要在官网下载OMS安装包：官网下载地址，选择OceanBase迁移服务的安装包；

通过docker load -i <下载下来的安装包>的方式，将OMS镜像加载到本地（需要安装docker，版本不低于V1.13）；

如果需要部署influxdb，可以使用docker或者本地部署的方式，这里采用和官网一样，docker部署，目前支持的时序数据库为 InfluxDB 1.8 版本；

环境资源规划

安装部署

安装influxdb（可选）

安装inflxudb之后，可以监控数据同步链路情况。

influxdb安装配置如下

# 运行influxdb docker环境
[root@oms oms]# sudo docker run  -dit -p 8086:8086 -p 14444:14444 \
> -v /omsdata:/var/lib/influxdb \
> --env INFLUXDB_BIND_ADDRESS=127.0.0.1:14444 \
> --env INFLUXDB_HTTP_AUTH_ENABLED=true \
> --env INFLUXDB_HTTP_PING_AUTH_ENABLED=true \
> --name=oms-influxdb \
> influxdb:1.8
95dedec9ea51147898d56b74dfaf021fba3543e8e1d903364f4a907af812c424# 查看influxdb docker
[root@oms oms]# docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                                              NAMES
95dedec9ea51        influxdb:1.8        "/entrypoint.sh in..."   5 seconds ago       Up 5 seconds        0.0.0.0:8086->8086/tcp, 0.0.0.0:14444->14444/tcp   oms-influxdb# 进入容器中进行配置
[root@oms oms]# docker exec -it 95dedec9ea51 /bin/bash
root@95dedec9ea51:/# cd /usr/bin# 创建用户，提供OMS连接
root@95dedec9ea51:/usr/bin# ./influx
Connected to http://localhost:8086 version 1.8.3
InfluxDB shell version: 1.8.3
> create user admin with password 'xxxxxx' with all privileges;
> exit
root@95dedec9ea51:/usr/bin# exit
exit
[root@oms oms]#

创建OMS配置文件

这里使用有配置文件的方式进行部署，配置文件内容如下：

# OMS 元数据库信息
oms_meta_host: 172.24.255.16
oms_meta_port: 2881
oms_meta_user: root@租户名  # 已为OMS创建好对应的租户，并设置了登陆密码
oms_meta_password: xxxxxx# 用户可以自定义以下三个数据库的名称，OMS 部署时会在元信息库中创建出这三个数据库
drc_rm_db: drc_rm_db
drc_cm_db: drc_cm_db
drc_cm_heartbeat_db: drc_cm_heartbeat_db# OMS 集群配置
# 单节点部署时，通常配置为当前 OMS 机器 IP（建议使用内网 IP）
cm_url: http://172.24.255.24:8088
cm_location: 100
# 单节点部署时，无需设置 cm_region
cm_region: cn-beijing
# 单节点部署时，无需设置 cm_region_cn
cm_region_cn: 北京
cm_is_default: true
cm_nodes:- 172.24.255.24# 时序数据库配置
# 默认值为 false。如果您需要开启指标汇报功能，请设置为 true
tsdb_enabled: true
# 当 tsdb_enabled 为 true 时，请取消下述参数的注释并根据实际情况填写
tsdb_service: 'INFLUXDB'
tsdb_url: '172.24.255.24:8086'
tsdb_username: admin
tsdb_password: xxxxxx

注意，如果这里每个地域要部署多个OMS服务的话，cm_url 需要配置为当前地域所有 CM 隶属的一个 VIP 或域名下。这里因为北京和杭州两个地域，每个地域只部署一个节点，所以直接在每个地域选择使用本地节点IP。

安装OMS多地域

# 查看oms镜像
[root@oms oms]# docker images
REPOSITORY                                 TAG                 IMAGE ID            CREATED             SIZE
reg.docker.alibaba-inc.com/oceanbase/oms   feature_4.1.1_ce    258282c19081        5 weeks ago         3.82 GB
influxdb                                   1.8                 c15aefdd926b        2 years ago         307 MB# 获取部署脚本
[root@oms oms]# sudo docker run -d --name oms-config-tool 258282c19081 bash && sudo docker cp oms-config-tool:/root/docker_remote_deploy.sh . && sudo docker rm -f oms-config-tool# 执行安装部署，安装提示，一步一步进行选择
[root@oms oms]# sh docker_remote_deploy.sh -o /omsdata -c /opt/oms/oms_config.yaml -i 172.24.255.24 -d 258282c19081提示：输入 <Control-C> 可退出部署请选择部署模式：单地域单节点单地域多节点
●多地域
您选择的部署模式是：多地域部署模式
请选择您所需要进行的任务：无配置文件，全新部署 OMS，从生成配置文件开始
●已通过脚本[-c]选项传入参考配置文件，基于参考配置文件开始配置
已加载您的所有配置项，并校验通过。
您的配置如下：
{"apsara_audit_enable": "false","apsara_audit_sls_access_key": "","apsara_audit_sls_access_secret": "","apsara_audit_sls_endpoint": "","apsara_audit_sls_ops_site_topic": "","apsara_audit_sls_user_site_topic": "","cm_is_default": true,"cm_location": "100","cm_nodes": ["172.24.255.24"],"cm_region": "cn-beijing","cm_region_cn": "北京","cm_url": "http://172.24.255.24:8088","drc_cm_db": "drc_cm_db","drc_cm_heartbeat_db": "drc_cm_heartbeat_db","drc_rm_db": "drc_rm_db","oms_meta_host": "172.24.255.16","oms_meta_password": "xxxxxx","oms_meta_port": "2881","oms_meta_user": "root@租户名","tsdb_enabled": true,"tsdb_password": "xxxxxx","tsdb_service": "INFLUXDB","tsdb_url": "172.24.255.24:8086","tsdb_username": "admin"
}[y/n] 您是否需要重新配置？[n]n
您是需要在当前执行的机器上
接下来 OMS 需要在节点 ['172.24.255.24'] 上依次执行部署脚本。
请输入节点 172.24.255.24 上预备部署 OMS 的挂载目录：[/omsdata/]/omsdata/
请您确认以下内容：
[y/n] 部署 OMS 的 [镜像名/IMAGE-ID] 是：258282c19081 ，请确认是否正确。[y]y
[y/n] 是否需要在 OMS 容器中挂载 HTTPS 证书？[n]n
[y/n] 172.24.255.24 节点下的配置文件 config.yaml 将写在这个路径：/omsdata/ 下可以吗？[y]y1d7e4d1df16c456474a71636ae73e01acb3f7b156376b43a7b32821de00ba751
[CHECK] Check the validity of config.yaml format.
[PASSED]
[CHECK] Check the version of Docker on the host machine.
Docker version is: 1.13.1.
[PASSED]
[CHECK] Check the synchronization between the MetaDB clock and the machine clock.
[PASSED]
Waiting docker_cmd.sh to finished
......

当出现如下：“【结束】全部初始化步骤执行成功”，则表示第一个地域已经安装完成

2023-09-08 16:34:10,322-urllib3.connectionpool-DEBUG connectionpool._new_conn.249 :Starting new HTTP connection (1): 172.24.255.24:8088
2023-09-08 16:34:10,343-urllib3.connectionpool-DEBUG connectionpool._make_request.482 :http://172.24.255.24:8088 "POST /consumer/create HTTP/1.1" 200 35
{"consumer":"drc","isSuccess":true}--------------------------------------------------------------------------------
# 【结束】全部初始化步骤执行成功
--------------------------------------------------------------------------------

安装完成之后，因为是多地域，所以安装程序不会直接退出，接着需要配置和安装其他地域的oms

[y/n] 已完成地域：[['cn-beijing']]的部署，需要在新的地域上部署吗？[y]y
您选择的部署模式为多地域部署模式
请输入英文地域标识，如：cn-hangzhou：[cn-beijing]cn-hangzhou
请输入中文地域标识，如：杭州：[北京]杭州
请输入 OMS 集群管理服务的地址(即当前地域所有 CM 机器挂载的同一个 VIP 或域名，原配置项名称为：cm_url)：[http://172.24.255.24:8088]http://172.24.255.25:8088
请依次输入本地域中所有机器 IP 地址，用","分隔：[172.24.255.24]172.24.255.25
请为当前地域（杭州）设置一个地域编号，范围为[0,127]：[100]101
您的 OMS 集群配置如下：
{"cm_is_default": false,"cm_location": "101","cm_nodes": ["172.24.255.25"],"cm_region": "cn-hangzhou","cm_region_cn": "杭州","cm_url": "http://172.24.255.25:8088"
}[y/n] 请确认配置信息[y]y
接下来 OMS 需要在节点 ['172.24.255.25'] 上依次执行部署脚本。
请输入节点 172.24.255.25 上预备部署 OMS 的挂载目录：[/omsdata/]/omsdata/
请您确认以下内容：
[y/n] 部署 OMS 的 [镜像名/IMAGE-ID] 是：258282c19081 ，请确认是否正确。[y]y
[y/n] 是否需要在 OMS 容器中挂载 HTTPS 证书？[n]n
[y/n] 检查到待部署节点 172.24.255.25 与当前执行部署工具所在机器 IP 不一致，是否远程执行脚本（需要远程节点 172.24.255.25 能够通过 SSH 连接，用户具有远程节点上 sudo 权限）[y]y
[y/n] 请确认节点 172.24.255.25 的端口 22 是否能够通过 SSH 连通？[y]y
请输入节点：172.24.255.25 的用户名：root
请输入节点：172.24.255.25 的密码：***********
[y/n] 172.24.255.25 节点下的配置文件 config.yaml 将写在这个路径：/omsdata/ 下可以吗？[y]y
1b10361403d14e4584a53ef930737b7579dfd2f6da8c9f524b6a8c418dde302e
oceanbaseV5
[CHECK] Check the validity of config.yaml format.
[PASSED]
[CHECK] Check the version of Docker on the host machine.
Docker version is: 1.13.1.
[PASSED]
[CHECK] Check the synchronization between the MetaDB clock and the machine clock.
[PASSED]
Waiting docker_cmd.sh to finished
......

等待部署成功，部署完成之后，会提示已经安装完成哪些地域。如果不需要再安装新的地域，输入n退出即可。

2023-09-08 16:39:27,700-urllib3.connectionpool-DEBUG connectionpool._new_conn.249 :Starting new HTTP connection (1): 172.24.255.25:8088
2023-09-08 16:39:27,716-urllib3.connectionpool-DEBUG connectionpool._make_request.482 :http://172.24.255.25:8088 "POST /consumer/create HTTP/1.1" 200 116
{"errMsg":"com.alibaba.drc.exception.CMBizException: Consumer [drc] already exists","errCode":302,"isSuccess":false}--------------------------------------------------------------------------------
# 【结束】全部初始化步骤执行成功
--------------------------------------------------------------------------------
[y/n] 已完成地域：[['cn-beijing', 'cn-hangzhou']]的部署，需要在新的地域上部署吗？[y]n
[root@oms oms]#

登陆访问OMS

这个时候无论访问 http://172.24.255.24:8089 还是 http://172.24.255.25:8089 都是可以的，这块也可以使用负载均衡，可以实现当其中一个oms挂了，不影响oms的访问和登陆。

OceanBase集群双活搭建

可参照官网文档 OceanBase 社区版之间的容灾双活，介绍了搭建容灾双活的使用限制和注意事项等。搭建容灾双活，需要依赖于OCP或者ConfigServer，ConfigServer安装部署可参考官网博客文档：【SOP 系列 15】configserver 安装和使用。

容灾双活需要创建两条同步链路，分别为正向同步链路和反向同步链路。

创建数据源

OMS多地域部署之后，在创建数据源时，如下图可以选择数据源为多个地域

当OceanBase作为源数据库做增量同步时，需要指定OCP或者ConfigServer组件，这里先关联下已部署的OCP

在数据源管理页面，创建双活两端的数据源

创建完成之后如下，两个数据源分别在不同的地域

创建正向同步链路

在数据迁移页面，开始创建正向同步链路

选择好数据源之后，在使用场景这里选择容灾双活

第二步，这里选择迁移类型，根据实际情况进行选择

因为OceanBase作为源端，并且需要做增量同步，因此这里需要关联下OCP，填写账号密码

如果没有OCP，这里也可以用ConfigUrl，如果单独安装了ConfigServer

选择要同步的表

迁移选项配置

预检查

出现如下警告，可以进到OceanBase数据库中做下修改

目标端数据库 max_allowed_packet 参数小于预期值 8388608 B，可能会导致数据迁移性能不佳。对目标端 OceanBase 的情况，建议 MySQL 模式 >= 8MB，Oracle 模式 >= 64MB，命令设置：set global max_allowed_packet=8388608。

开始同步

此时已完成正向的同步链路创建，要想实现双活，还需要反向进行同步

创建反向同步链路

反向同步链路创建方式与正向基本一致，不过需要注意的是在迁移类型部分

迁移类型这里，不能再选择结构迁移和全量迁移，因为结构和全量数据已经通过正向链路进行了同步，并且不能同步DDL，正向和反向链路，只能有一个开启同步DDL，因此在这里只选择增量同步。

其他的步骤都基本一样

保存之后点击下一步

配置迁移选项

预检查

开始同步

双活测试

以下是双活的测试过程：

分别开启两个窗口，连接两端的OceanBase数据库：

1、在OB1插入两条数据，可以在OB2端看到数据同步过去；

2、在OB2插入两条数据，可以看到在OB1端也同步过来；

3、在OB1端创建一张表，在OB2端该表结构也做了同步；

4、在OB2端对新建表插入数据，在OB1端可以查到插入的数据；

5、在OB1端对表结构进行变更，在OB2端可以看到变更成功。