OMS搭建OceanBase容灾双活架构测试

2024年 5月 7日 110.2k 0

在我们实际生产环境中,因为业务的重要性,经常会有容灾双活需求,除了OceanBase提供的主备库功能外,OMS官方也提供了容灾双活的能力,双活架构目前只支持OceanBase与OceanBase数据库互相同步。

使用OMS双活架构前提,需要用户多地域部署OMS,如果单地域部署,是没办法做OMS双活架构,这里在创建数据源的时候,需要两端的OceanBase集群属于不同的地域,才可以配置双活。

具体的安装配置过程,我这里做了一个测试,记录一下整个双活搭建过程,以供各位参考。

环境准备

安装准备

OMS的多地域部署详细步骤也可以参考官网文档:OMS多地域部署

首先,需要在官网下载OMS安装包:官网下载地址,选择OceanBase迁移服务的安装包;

通过docker load -i <下载下来的安装包>的方式,将OMS镜像加载到本地(需要安装docker,版本不低于V1.13);

如果需要部署influxdb,可以使用docker或者本地部署的方式,这里采用和官网一样,docker部署,目前支持的时序数据库为 InfluxDB 1.8 版本

环境资源规划

IP地址 角色 地域
172.24.255.16 OMS的元数据库 其他
172.24.255.24 OMS节点1 & influxdb 北京
172.24.255.25 OMS节点2 杭州
172.24.255.17 源端OBServer节点 北京
172.24.255.18 目标端OBServer节点 杭州

安装部署

安装influxdb(可选)

安装inflxudb之后,可以监控数据同步链路情况。

influxdb安装配置如下

# 运行influxdb docker环境
[root@oms oms]# sudo docker run  -dit -p 8086:8086 -p 14444:14444 \
> -v /omsdata:/var/lib/influxdb \
> --env INFLUXDB_BIND_ADDRESS=127.0.0.1:14444 \
> --env INFLUXDB_HTTP_AUTH_ENABLED=true \
> --env INFLUXDB_HTTP_PING_AUTH_ENABLED=true \
> --name=oms-influxdb \
> influxdb:1.8
95dedec9ea51147898d56b74dfaf021fba3543e8e1d903364f4a907af812c424

# 查看influxdb docker
[root@oms oms]# docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                                              NAMES
95dedec9ea51        influxdb:1.8        "/entrypoint.sh in..."   5 seconds ago       Up 5 seconds        0.0.0.0:8086->8086/tcp, 0.0.0.0:14444->14444/tcp   oms-influxdb

# 进入容器中进行配置
[root@oms oms]# docker exec -it 95dedec9ea51 /bin/bash
root@95dedec9ea51:/# cd /usr/bin

# 创建用户,提供OMS连接
root@95dedec9ea51:/usr/bin# ./influx
Connected to http://localhost:8086 version 1.8.3
InfluxDB shell version: 1.8.3
> create user admin with password 'xxxxxx' with all privileges;
> exit
root@95dedec9ea51:/usr/bin# exit
exit
[root@oms oms]#

创建OMS配置文件

这里使用有配置文件的方式进行部署,配置文件内容如下:

# OMS 元数据库信息
oms_meta_host: 172.24.255.16
oms_meta_port: 2881
oms_meta_user: root@租户名  # 已为OMS创建好对应的租户,并设置了登陆密码
oms_meta_password: xxxxxx

# 用户可以自定义以下三个数据库的名称,OMS 部署时会在元信息库中创建出这三个数据库
drc_rm_db: drc_rm_db
drc_cm_db: drc_cm_db
drc_cm_heartbeat_db: drc_cm_heartbeat_db

# OMS 集群配置
# 单节点部署时,通常配置为当前 OMS 机器 IP(建议使用内网 IP)
cm_url: http://172.24.255.24:8088
cm_location: 100
# 单节点部署时,无需设置 cm_region
cm_region: cn-beijing
# 单节点部署时,无需设置 cm_region_cn
cm_region_cn: 北京
cm_is_default: true
cm_nodes:
 - 172.24.255.24

# 时序数据库配置
# 默认值为 false。如果您需要开启指标汇报功能,请设置为 true
tsdb_enabled: true
# 当 tsdb_enabled 为 true 时,请取消下述参数的注释并根据实际情况填写
tsdb_service: 'INFLUXDB'
tsdb_url: '172.24.255.24:8086'
tsdb_username: admin
tsdb_password: xxxxxx

注意,如果这里每个地域要部署多个OMS服务的话,cm_url 需要配置为当前地域所有 CM 隶属的一个 VIP 或域名下。这里因为北京和杭州两个地域,每个地域只部署一个节点,所以直接在每个地域选择使用本地节点IP。

安装OMS多地域

# 查看oms镜像
[root@oms oms]# docker images
REPOSITORY                                 TAG                 IMAGE ID            CREATED             SIZE
reg.docker.alibaba-inc.com/oceanbase/oms   feature_4.1.1_ce    258282c19081        5 weeks ago         3.82 GB
influxdb                                   1.8                 c15aefdd926b        2 years ago         307 MB

# 获取部署脚本
[root@oms oms]# sudo docker run -d --name oms-config-tool 258282c19081 bash && sudo docker cp oms-config-tool:/root/docker_remote_deploy.sh . && sudo docker rm -f oms-config-tool

# 执行安装部署,安装提示,一步一步进行选择
[root@oms oms]# sh docker_remote_deploy.sh -o /omsdata -c /opt/oms/oms_config.yaml -i 172.24.255.24 -d 258282c19081

提示:输入 <Control-C> 可退出部署

请选择部署模式:
 单地域单节点
 单地域多节点
●多地域
您选择的部署模式是:多地域部署模式
请选择您所需要进行的任务:
 无配置文件,全新部署 OMS,从生成配置文件开始
●已通过脚本[-c]选项传入参考配置文件,基于参考配置文件开始配置
已加载您的所有配置项,并校验通过。
您的配置如下:
{
    "apsara_audit_enable": "false",
    "apsara_audit_sls_access_key": "",
    "apsara_audit_sls_access_secret": "",
    "apsara_audit_sls_endpoint": "",
    "apsara_audit_sls_ops_site_topic": "",
    "apsara_audit_sls_user_site_topic": "",
    "cm_is_default": true,
    "cm_location": "100",
    "cm_nodes": [
        "172.24.255.24"
    ],
    "cm_region": "cn-beijing",
    "cm_region_cn": "北京",
    "cm_url": "http://172.24.255.24:8088",
    "drc_cm_db": "drc_cm_db",
    "drc_cm_heartbeat_db": "drc_cm_heartbeat_db",
    "drc_rm_db": "drc_rm_db",
    "oms_meta_host": "172.24.255.16",
    "oms_meta_password": "xxxxxx",
    "oms_meta_port": "2881",
    "oms_meta_user": "root@租户名",
    "tsdb_enabled": true,
    "tsdb_password": "xxxxxx",
    "tsdb_service": "INFLUXDB",
    "tsdb_url": "172.24.255.24:8086",
    "tsdb_username": "admin"
}

[y/n] 您是否需要重新配置?[n]n
您是需要在当前执行的机器上
接下来 OMS 需要在节点 ['172.24.255.24'] 上依次执行部署脚本。
请输入节点 172.24.255.24 上预备部署 OMS 的挂载目录:[/omsdata/]/omsdata/
请您确认以下内容:
[y/n] 部署 OMS 的 [镜像名/IMAGE-ID] 是:258282c19081 ,请确认是否正确。[y]y
[y/n] 是否需要在 OMS 容器中挂载 HTTPS 证书?[n]n
[y/n] 172.24.255.24 节点下的配置文件 config.yaml 将写在这个路径:/omsdata/ 下可以吗?[y]y


1d7e4d1df16c456474a71636ae73e01acb3f7b156376b43a7b32821de00ba751
[CHECK] Check the validity of config.yaml format.
[PASSED]
[CHECK] Check the version of Docker on the host machine.
Docker version is: 1.13.1.
[PASSED]
[CHECK] Check the synchronization between the MetaDB clock and the machine clock.
[PASSED]
Waiting docker_cmd.sh to finished
......

当出现如下:“【结束】全部初始化步骤执行成功”,则表示第一个地域已经安装完成

2023-09-08 16:34:10,322-urllib3.connectionpool-DEBUG connectionpool._new_conn.249 :Starting new HTTP connection (1): 172.24.255.24:8088
2023-09-08 16:34:10,343-urllib3.connectionpool-DEBUG connectionpool._make_request.482 :http://172.24.255.24:8088 "POST /consumer/create HTTP/1.1" 200 35
{"consumer":"drc","isSuccess":true}


--------------------------------------------------------------------------------
# 【结束】全部初始化步骤执行成功
--------------------------------------------------------------------------------

安装完成之后,因为是多地域,所以安装程序不会直接退出,接着需要配置和安装其他地域的oms

[y/n] 已完成地域:[['cn-beijing']]的部署,需要在新的地域上部署吗?[y]y
您选择的部署模式为多地域部署模式
请输入英文地域标识,如:cn-hangzhou:[cn-beijing]cn-hangzhou
请输入中文地域标识,如:杭州:[北京]杭州
请输入 OMS 集群管理服务的地址(即当前地域所有 CM 机器挂载的同一个 VIP 或域名,原配置项名称为:cm_url):[http://172.24.255.24:8088]http://172.24.255.25:8088
请依次输入本地域中所有机器 IP 地址,用","分隔:[172.24.255.24]172.24.255.25
请为当前地域(杭州)设置一个地域编号,范围为[0,127]:[100]101
您的 OMS 集群配置如下:
{
    "cm_is_default": false,
    "cm_location": "101",
    "cm_nodes": [
        "172.24.255.25"
    ],
    "cm_region": "cn-hangzhou",
    "cm_region_cn": "杭州",
    "cm_url": "http://172.24.255.25:8088"
}

[y/n] 请确认配置信息[y]y
接下来 OMS 需要在节点 ['172.24.255.25'] 上依次执行部署脚本。
请输入节点 172.24.255.25 上预备部署 OMS 的挂载目录:[/omsdata/]/omsdata/
请您确认以下内容:
[y/n] 部署 OMS 的 [镜像名/IMAGE-ID] 是:258282c19081 ,请确认是否正确。[y]y
[y/n] 是否需要在 OMS 容器中挂载 HTTPS 证书?[n]n
[y/n] 检查到待部署节点 172.24.255.25 与当前执行部署工具所在机器 IP 不一致,是否远程执行脚本(需要远程节点 172.24.255.25 能够通过 SSH 连接,用户具有远程节点上 sudo 权限)[y]y
[y/n] 请确认节点 172.24.255.25 的端口 22 是否能够通过 SSH 连通?[y]y
请输入节点:172.24.255.25 的用户名:root
请输入节点:172.24.255.25 的密码:***********
[y/n] 172.24.255.25 节点下的配置文件 config.yaml 将写在这个路径:/omsdata/ 下可以吗?[y]y
1b10361403d14e4584a53ef930737b7579dfd2f6da8c9f524b6a8c418dde302e
oceanbaseV5
[CHECK] Check the validity of config.yaml format.
[PASSED]
[CHECK] Check the version of Docker on the host machine.
Docker version is: 1.13.1.
[PASSED]
[CHECK] Check the synchronization between the MetaDB clock and the machine clock.
[PASSED]
Waiting docker_cmd.sh to finished
......

等待部署成功,部署完成之后,会提示已经安装完成哪些地域。如果不需要再安装新的地域,输入n退出即可。

2023-09-08 16:39:27,700-urllib3.connectionpool-DEBUG connectionpool._new_conn.249 :Starting new HTTP connection (1): 172.24.255.25:8088
2023-09-08 16:39:27,716-urllib3.connectionpool-DEBUG connectionpool._make_request.482 :http://172.24.255.25:8088 "POST /consumer/create HTTP/1.1" 200 116
{"errMsg":"com.alibaba.drc.exception.CMBizException: Consumer [drc] already exists","errCode":302,"isSuccess":false}


--------------------------------------------------------------------------------
# 【结束】全部初始化步骤执行成功
--------------------------------------------------------------------------------
[y/n] 已完成地域:[['cn-beijing', 'cn-hangzhou']]的部署,需要在新的地域上部署吗?[y]n
[root@oms oms]#

登陆访问OMS

这个时候无论访问 http://172.24.255.24:8089 还是 http://172.24.255.25:8089 都是可以的,这块也可以使用负载均衡,可以实现当其中一个oms挂了,不影响oms的访问和登陆。

OceanBase集群双活搭建

可参照官网文档 OceanBase 社区版之间的容灾双活,介绍了搭建容灾双活的使用限制和注意事项等。搭建容灾双活,需要依赖于OCP或者ConfigServer,ConfigServer安装部署可参考官网博客文档:【SOP 系列 15】configserver 安装和使用。

容灾双活需要创建两条同步链路,分别为正向同步链路和反向同步链路。

创建数据源

OMS多地域部署之后,在创建数据源时,如下图可以选择数据源为多个地域

OMS搭建OceanBase容灾双活架构测试-1

当OceanBase作为源数据库做增量同步时,需要指定OCP或者ConfigServer组件,这里先关联下已部署的OCP

OMS搭建OceanBase容灾双活架构测试-2

在数据源管理页面,创建双活两端的数据源

OMS搭建OceanBase容灾双活架构测试-3

创建完成之后如下,两个数据源分别在不同的地域

OMS搭建OceanBase容灾双活架构测试-4

创建正向同步链路

在数据迁移页面,开始创建正向同步链路

OMS搭建OceanBase容灾双活架构测试-5

选择好数据源之后,在使用场景这里选择容灾双活

OMS搭建OceanBase容灾双活架构测试-6

第二步,这里选择迁移类型,根据实际情况进行选择

OMS搭建OceanBase容灾双活架构测试-7

因为OceanBase作为源端,并且需要做增量同步,因此这里需要关联下OCP,填写账号密码

OMS搭建OceanBase容灾双活架构测试-8

如果没有OCP,这里也可以用ConfigUrl,如果单独安装了ConfigServer

OMS搭建OceanBase容灾双活架构测试-9

选择要同步的表

OMS搭建OceanBase容灾双活架构测试-10

迁移选项配置

OMS搭建OceanBase容灾双活架构测试-11

预检查

OMS搭建OceanBase容灾双活架构测试-12

出现如下警告,可以进到OceanBase数据库中做下修改

目标端数据库 max_allowed_packet 参数小于预期值 8388608 B,可能会导致数据迁移性能不佳。对目标端 OceanBase 的情况,建议 MySQL 模式 >= 8MB,Oracle 模式 >= 64MB,命令设置:set global max_allowed_packet=8388608。

开始同步

OMS搭建OceanBase容灾双活架构测试-13

此时已完成正向的同步链路创建,要想实现双活,还需要反向进行同步

OMS搭建OceanBase容灾双活架构测试-14

创建反向同步链路

反向同步链路创建方式与正向基本一致,不过需要注意的是在迁移类型部分

OMS搭建OceanBase容灾双活架构测试-15

迁移类型这里,不能再选择结构迁移和全量迁移,因为结构和全量数据已经通过正向链路进行了同步,并且不能同步DDL,正向和反向链路,只能有一个开启同步DDL,因此在这里只选择增量同步。

OMS搭建OceanBase容灾双活架构测试-16

其他的步骤都基本一样

OMS搭建OceanBase容灾双活架构测试-17

保存之后点击下一步

OMS搭建OceanBase容灾双活架构测试-18

配置迁移选项

OMS搭建OceanBase容灾双活架构测试-19

预检查

OMS搭建OceanBase容灾双活架构测试-20

开始同步

OMS搭建OceanBase容灾双活架构测试-21

双活测试

以下是双活的测试过程:

OMS搭建OceanBase容灾双活架构测试-22

分别开启两个窗口,连接两端的OceanBase数据库:

1、在OB1插入两条数据,可以在OB2端看到数据同步过去;

2、在OB2插入两条数据,可以看到在OB1端也同步过来;

3、在OB1端创建一张表,在OB2端该表结构也做了同步;

4、在OB2端对新建表插入数据,在OB1端可以查到插入的数据;

5、在OB1端对表结构进行变更,在OB2端可以看到变更成功。

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论