OceanBase集群部署
我认为学习一个中间件比较好的方式是，先了解它的架构和运行原理，然后动手部署一遍，加深对它的了解，再使用它，最后进行总结和分享
本篇介绍OceanBase部署前提条件和集群部署
1.使用开源免费的社区版，企业版需要付费
社区版目前最新是V4.2.1_CE_BP3，它们之间的差异请查看此链接：https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000507492
2.OceanBase下载地址
https://www.oceanbase.com/softwarecenter
https://mirrors.aliyun.com/oceanbase/community/stable/el/7/x86_64/?spm=a2c6h.25603864.0.0.34a0130dfVJgW5
3.软硬件环境满足以下要求：
| 项目 | 描述 |
|---|---|
| 系统 | 内核 Linux 3.10.0 版本及以上，如：CentOS7.X Ubuntu 20.X |
| CPU | 最低要求 2 核，推荐 4 核及以上。 |
| 内存 | 最低要求 8 GB，推荐设置在 16 GB 至 1024 GB 范围内。 |
| 磁盘类型 | 建议使用 SSD 存储。 |
| 磁盘存储空间 | 最低要求 19 GB。 |
| 文件系统 | EXT4 戓 XFS，当数据超过 16T 时，使用 XFS。 |
| all-in-one 安装包 | all-in-one 安装包需选择 V4.1.0 及以上版本。 |
4.部署方式
- 使用 OBD 部署 OceanBase 集群 （本篇使用OBD）
- 使用 OCP 部署 OceanBase 集群
- 使用 Docker 镜像的方式部署 OceanBase 集群
- 在 Kubernetes 环境中使用 ob-operator 部署 OceanBase 集群
介绍下部署工具软件：
OBD 全称为 OceanBase Deployer，是 OceanBase 集群安装部署工具，通过命令行部署或白屏web界面部署的方式，将复杂配置流程标准化，降低集群部署难度，该软件包61M，适合中小型团队，OBD文档：https://www.oceanbase.com/docs/community-obd-cn-10000000002049469
OCP 全称为 OceanBase Cloud Platform云平台，是一款以 OceanBase 数据库为核心的企业级数据库管理平台。使用 OCP，可以一键安装、升级、扩容、卸载 OceanBase 数据库集群，创建和管理运维任务，监控集群的运行状态，并查看告警，该软件包ocp-all-in-one-4.2.1有1.1GB，适合有运维能力的大型团队，OCP文档：https://www.oceanbase.com/docs/ocp
OCP Express是OCP的精剪版，是基于 Web 的 OceanBase 4.x 管理工具，它集成在 OceanBase 数据库集群中，可以以极小的资源消耗部署在任意一台数据库节点上，文档：https://www.oceanbase.com/docs/common-oceanbase-database-cn-1000000000508228，https://www.oceanbase.com/docs/community-obd-cn-10000000001690027
5.规划部署方案
根据业务量和高可用要求规划部署方案，有同城三机房三副本、三地五中心五副本
咱们学习使用，选择同城三机房三副本，需要准备三台服务器，每个机房一台服务器，我在Mac上用VMware创建了3台Centos7.4虚拟机，规划如下：
| 服务器 | IP | 配置 | zone |
|---|---|---|---|
| db1 | 192.168.113.161 | 2C 13G 100G | zone1 |
| db2 | 192.168.113.162 | 2C 10G 100G | zone2 |
| db3 | 192.168.113.163 | 2C 10G 100G | zone3 |
db1需安装 OBD 软件，配置高一点，OBD用于管理 OceanBase 集群，存储 OceanBase 集群安装包和集群配置信息
因OceanBase集群的服务器都是对等的，所以后续扩容时，每次增加服务器的数量都是zone数量乘以服务器数量，如：3个zone每个加一台 = 3台
6.部署前配置
查看操作系统信息：cat /etc/redhat-release
查看内核信息：uname -r
查看内存：free -g
查看磁盘：df -h
查看网卡：ifconfig
6.1.服务器之间需配置无密码SSH登录
1.查看机器上密钥是否存在：ls ~/.ssh/id_rsa.pub2.不存在,则生成 SSH 公钥和私钥：ssh-keygen -t rsa3.将公钥复制到目标机器的 authorized_keys 文件中：ssh-copy-id -i ~/.ssh/id_rsa.pub <user>@<server_ip>
tips：每台服务器都生成密钥并复制到另外其他服务器上
6.2.配置时钟源
OceanBase 集群需要保证集群内各机器的时间同步，否则集群无法启动，服务在运行时也会出现异常，集群允许的时钟偏差不能超过 2s。当超过 2s 时，会出现无主情况
1.安装 NTP：yum install ntp ntpdate -y
2.查看服务器的 NTP 连接：ntpq -4p
3.以某台服务器为NTP 服务端服务器3.1.以 root 用户登录 NTP 服务端服务器，编辑配置文件：vi /etc/ntp.conf3.2.在配置文件中添加以下内容：server <your_ntp_server_ip>3.3.重启 NTP 服务端服务：service ntpd restart3.4.查看 NTP 服务端服务是否启动成功：ps -ef | grep -i ntpd3.5.设置 NTP 服务开机自启动：chkconfig ntpd on
4.开启 NTP 客户端服务4.1.用 root 用户登录 OBServer 节点服务器4.2.停止 NTP 服务：service ntpd stop4.3.同步 NTP 服务端时间：ntpdate 10.10.10.14.4.编辑配置文件：vi /etc/ntp.conf4.5.添加以下内容：server <your_ntp_server_ip>4.6.启动 NTP 服务：/etc/init.d/ntpd start4.7.运行命令验证配置是否成功：ntpstatsynchronised to NTP server (xxx.xxx.xxx.xxx) at stratum 3time correct to within 2 mspolling server every 64 s4.8.运行命令验证配置是否成功：timedatectl Local time: Thu 2021-04-22 11:02:32 CSTUniversal time: Thu 2021-04-22 03:02:32 UTCRTC time: Thu 2021-04-22 11:02:32Time zone: Asia/Shanghai (CST, +0800)NTP enabled: yesNTP synchronized: yesRTC in local TZ: yesDST active: n/a此处还需要考虑内网环境，怎么安装ntp
6.3.规划磁盘
OceanBase数据存储在：事务日志盘、数据盘，并建议这两种数据分别存储在不同磁盘上，从而提供IO效率，此处咱们学习就不区分两块磁盘了。
-
事务日志盘，建议大小为机器内存的4倍，事务日志达到磁盘总量的 80% 时，将触发自动清除，如 /redo。
-
数据盘，存储基线数据，如 /data。
6.4.配置 limits.conf
OceanBase 数据库的进程涉及的限制包括线程最大栈空间大小（Stack）、最大文件句柄数（Open Files）和 core 文件大小 （Core File Size），如果不配置会在部署启动时报错，每台服务器都配置：
1.编辑文件：vi /etc/security/limits.conf2.加入以下内容
root soft nofile 655350
root hard nofile 655350
* soft nofile 655350
* hard nofile 655350
* soft stack 20480
* hard stack 20480
* soft nproc 655360
* hard nproc 655360
* soft core unlimited
* hard core unlimited3.查看配置：ulimit -a
6.5.配置 sysctl.conf
配置网络和内核参数提高 Linux 系统的性能，每台服务器都配置：
1.打开配置：vi /etc/sysctl.conf2.添加以下内容：
for oceanbase
修改内核异步 I/O 限制
fs.aio-max-nr=1048576网络优化
net.core.somaxconn = 2048
net.core.netdev_max_backlog = 10000
net.core.rmem_default = 16777216
net.core.wmem_default = 16777216
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216net.ipv4.ip_local_port_range = 3500 65535
net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_syncookies = 0
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_max_syn_backlog = 16384
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_slow_start_after_idle=0vm.swappiness = 0
vm.min_free_kbytes = 2097152
修改进程可以拥有的虚拟内存区域数量
vm.max_map_count = 655360此处为 OceanBase 数据库的 data 目录
kernel.core_pattern = /data/core-%e-%p-%t3.加载配置，使配置生效：sysctl -p
6.6.关闭防火墙和 SELinux
systemctl disable firewalld
systemctl stop firewalld
systemctl status firewalld
vi /etc/selinux/config
SELINUX=disabledsetenforce 0
6.7.创建用户
如果是用root帐号部署的，此处可忽略，但真实的环境可能不会给root帐号，那么就需要创建用户，并让帐号有某些目录的权限。
1.创建账户 admin
useradd -U admin -d /home/admin -s /bin/bash
mkdir -p /home/admin
chown -R admin:admin /home/admin2.为账户 admin 设置密码
passwd admin3.为账户 admin 设置 sudo 权限
vim /etc/sudoers
添加如下内容：
Same thing without a password
%wheel ALL=(ALL) NOPASSWD: ALL
admin ALL=(ALL) NOPASSWD: ALL4.修改OceanBase集群相关文件所属用户，假设/data、/redo、/home/admin为真实挂载目录
chown -R admin:admin /data
chown -R admin:admin /redo
chown -R admin:admin /home/admin
6.8.配置JDK 1.8
OCP Express使用到了jdk，因为它是一个java web服务，下面多配置了一个java_bin，是因为OCP Express可视化部署页面中用到的就是java_bin
vi /etc/profileexport JAVA_HOME=/mnt/software/jdk1.8.0_251
export java_bin=/mnt/software/jdk1.8.0_251/bin
export PATH=$PATH:${JAVA_HOME}/bin
建议以上配置在目标服务器上都配一遍
7.部署
下载好 all-in-one 安装包，包含了安装所需的所有软件和依赖，并将其上传到中控机器目录下，解压并安装
tar -xzf oceanbase-all-in-one-*.tar.gz
cd oceanbase-all-in-one/bin/
./install.sh
source ~/.oceanbase-all-in-one/bin/env.sh
上面的命令只是在中控机上安装好了OBD，同时在中控机上安装了一个本地镜像仓库，并把all-in-one中的所有软件上传到镜像仓库，OBD部署时，会把镜像仓库中用到的安装包分发到各个服务器上进行部署安装
7.1.单机部署
1.1输入 obd demo，就会创建一个最小规格的OceanBase，shell终端会输出连接信息，使用obclient连接即可
1.2通过docker快速部署体验
docker pull oceanbase/oceanbase-ce
#MINI_MODE=1是最小规格，等于0是最大规格部署
docker run -p 2881:2881 --name obstandalone -e MINI_MODE=1 -d oceanbase/oceanbase-ce
docker logs obstandalone | tail -1 ，如果返回boot success!，此步骤要等待好几分钟，因为下载的文件比较大
单机部署不建议生产环境使用
7.5.集群部署
集群部署有OBD、OCP、命令行等方式，下面介绍OBD web页面可视化部署OceanBase集群。
安装 all-in-one后，通过下面命令启动一个web页面，通过web页面可视化方式部署集群，原理是把可视化配置的参数内容生成到一个配置文件里面，最后通过配置文件启动集群
obd web -p 8680
start OBD WEB in 0.0.0.0:8680
please open http://192.168.113.161:8680
访问http://192.168.113.161:8680
页面顶部有5个步骤：部署配置 、节点配置、集群配置、预检查、部署。
- 在 部署配置 界面修改 集群名称 并勾选待部署组件，也可不做修改，使用默认配置（默认部署所有组件）。单击 下一步 进入 节点配置 页面
- 在 节点配置 页面输入节点 IP 和用户密码，单击 下一步 进入 集群配置 页面
按上面服务器规划，有zone1、zone2、zone3，每个zone有一台服务器，192.168.113.161、192.168.113.162、192.168.113.163，选择zone1为RootServer节点
我是用root用户部署的，输入root和密码
-
在 集群配置 页面配置集群的部署模式、密码、目录、端口以及更多配置，您也可不做修改，使用默认配置。单击 下一步 进入 预检查 页面
-
在 预检查 页面查看配置信息，无误后单击 预检查 进行检查。若预检查报错，您可根据页面建议选择 自动修复 或者单击 了解更多方案 跳转至错误码文档，参考文档自行修改。所有报错修改后，可单击 重新检查 再次进行预检查。
自动修复一般修复不了，要根据错误信息手动处理，我遇到的是机器资源不够，ulimit太小，jdk未配置正确
- 预检查通过后，单击 部署 开始 OceanBase 集群的部署。部署成功会输出各个组件的连接方式，可复制进行访问
出现此界面就代表OceanBase部署成功了，各个组件的配置信息非常重要，建议保存后再关闭此页面
OBProxy -> OceanBase 数据库代理（OceanBase Database Proxy，简称ODP），OceanBase 数据库用户的数据会以多副本的形式存放在各个 OBServer 节点上，ODP 接收用户发出的 SQL 请求，并将 SQL 请求转发至最佳目标 OBServer 节点，最后将执行结果返回给用户，有了ODP代理，当后端OBServer宕机、扩缩容时，OBProxy会屏蔽掉无效或下线的OBServer，对客户端透明。
- 单击 完成，结束部署流程（一定要保存好各个组件的帐号、密码和连接字符串）
使用 OBClient 客户端连接 OceanBase 数据库，也可以使用mysql或Navicat去连接。
通过 ODP 代理访问数据库，以 ODP 所在节点为192.168.113.161 为例
obclient -h192.168.113.161 -P2883 -uroot@sys -p -Doceanbase -A
使用Navicat连接OBProxy
我用OceanBase的root用户，在sys系统租户下，创建了一个demo的数据库，创建一张表tb1，新增了两条数据
此处只做演示，官方推荐创建自定义租户，在业务租户下创建数据库和表，租户就是一个数据库实例，有自己的cpu-内存资源、用户和权限，租户间数据和硬件资源是隔离的。
登录 OCP Express web界面管理集群，可查看集群的健康状态，CPU、内存等资源使用情况，SQL执行次数，执行时间，报错等信息
地址是：http://192.168.113.161:8180/admin ，帐号和密码在上面的部署页面有
使用OBD web页面可视化方式部署集群看上去比较简单，但原理是把可视化配置的参数生成到一个配置文件里面，并通过命令行形式使用该配置文件启动集群
在中控机161服务器的家目录： ll -al，可以看到一个 .obd 目录
进入.obd/cluster/myoceanbase/ ，里面有个config.yaml文件，这就是obd web可视化页面配置后生成的配置文件，部署启动时就用到了该文件
cat config.yaml ，里面内容如下：
user:username: rootpassword: 123456port: 22
oceanbase-ce:version: 4.2.1.2release: 102000042023120514.el7package_hash: b2ccb524f200a9ef0fad2cddf59d309ddaa2e3e4192.168.113.161:zone: zone1192.168.113.162:zone: zone2192.168.113.163:zone: zone3servers:- 192.168.113.161- 192.168.113.162- 192.168.113.163global:appname: myoceanbaseroot_password: /aVi*H8(0%FS_YwZ-|dmo&[hjlT7pe@Emysql_port: 2881rpc_port: 2882home_path: /root/myoceanbase/oceanbasecluster_id: 1702997757ocp_agent_monitor_password: CG6Ks3IBSnproxyro_password: UDECAf4jk1ocp_meta_password: BBieozeEvMenable_syslog_recycle: trueenable_syslog_wf: falsemax_syslog_file_count: 4ocp_meta_tenant_log_disk_size: 6656Mocp_meta_tenant_memory_size: 1536Mmemory_limit: 6Gdatafile_size: 2Gsystem_memory: 1Glog_disk_size: 13Gcpu_count: 16production_mode: false__min_full_resource_pool_memory: 1073741824datafile_maxsize: 8Gdatafile_next: 2G
obproxy-ce:version: 4.2.1.0package_hash: 0aed4b782120e4248b749f67be3d2cc82cdcb70drelease: 11.el7servers:- 192.168.113.161global:prometheus_listen_port: 2884listen_port: 2883home_path: /root/myoceanbase/obproxyobproxy_sys_password: Zl7nTJ7rYfskip_proxy_sys_private_check: trueenable_strict_kernel_release: falseenable_cluster_checkout: falseproxy_mem_limited: 500Mrs_list: 192.168.113.161:2881;192.168.113.162:2881;192.168.113.163:2881observer_sys_password: UDECAf4jk1cluster_name: myoceanbaseobserver_root_password: /aVi*H8(0%FS_YwZ-|dmo&[hjlT7pe@Edepends:- oceanbase-ce
obagent:version: 4.2.1package_hash: c08058fef64b2dc6b5e2f99748fbd76fe872e356release: 100000122023103020.el7servers:- 192.168.113.161- 192.168.113.162- 192.168.113.163global:monagent_http_port: 8088mgragent_http_port: 8089home_path: /root/myoceanbase/obagenthttp_basic_auth_password: rKwS3yRXiOob_monitor_status: activedepends:- oceanbase-ce
ocp-express:version: 4.2.1package_hash: c69fe1fe0ec0d1a4e14f75468ccda4d0a7ca8d28release: 100000222023111619.el7servers:- 192.168.113.161global:port: 8180home_path: /root/myoceanbase/ocpexpressadmin_passwd: RQ8k1t(#memory_size: 752Mdepends:- obagent- oceanbase-ce- obproxy-ce
tips：这里有个问题，部署时的配置参数，可以通过obclient连接数据库后，使用数据库设置参数命令修改参数后，这个配置文件的参数不会被同步修改，如果重启集群，则在数据库中修改的参数失效了，官方说以后支持同步修改配置。
OBD部署后，可以使用命令行查看集群：obd cluster list
此处的status状态为 stopped，说明集群是停止的，可以使用：obd cluster start myoceanbase 启动集群
查看集群详细信息：obd cluster display myoceanbase
关闭虚拟机时，可以关闭集群：obd cluster stop myoceanbase
如果要修改上面的配置：obd cluster edit-config myoceanbase
刷新配置使其生效：obd cluster reload myoceanbase
查看obd cluster帮助文档：obd cluster --help
如果某台机器宕机了货observer进程挂了，可以登录到服务器上，使用命令行，单独启动这个observer，但需要注意，如果该observer下线时间超过默认的3600s （1小时）则会被集群长久下线，如果需要维护服务器则可以先手动修改该参数值的大小，再维护。
cd /home/root/myoceanbase
1.查看observer进程启动的参数：ps -ef|grep observer
2.无参数启动：/home/root/myoceanbase/bin/observer
3.带参数启动：/home/root/myoceanbase/bin/observer -o "max_syslog_file_count=15,datafile_size=100G...........等等" ，此处的参数是第一步中查看到的
8.卸载集群
在清理集群环境之前，建议先进行数据备份。
-
8.1.停止和卸载服务，停止旧 observer 进程，并确保它们不再运行。然后卸载数据库软件
1.查看 observer 进程是否存在：ps -ef|grep observer2.停止 observer 进程：kill -9 `pidof observer`3.如果是使用obd部署的，建议使用： obd cluster stop myoceanbase 来停止集群4.查看已安装的 OceanBase 数据库 RPM 包名称：rpm -qa|grep oceanbase5.卸载安装的 OceanBase 数据库 RPM 包：sudo rpm -e $rpm_name6.查看RPM包是否卸载完：rpm -ql $rpm_name -
8.2.数据库文件清理，删除旧的数据库文件，包括数据文件、日志文件和其他临时文件
1.删除 observer 进程运行日志盘文件，admin为部署用户，不同部署用户，此处需替换 sudo rm -rf /home/admin/oceanbase/*2.删除 observer 进程日志盘文件 sudo rm -rf /data/log1/*3.删除 observer 进程数据盘文件 sudo rm -rf /data/1/*
以上卸载步骤，每台服务器都操作一遍
希望以上内容能对你有所帮助，谢谢