概述
了解 OBD 部署的 OceanBase 集群方法后，使用手动部署一套 OceanBase 集群可以更加深入理解
前期准备
软硬件资源要求
资源需求
- 每个 observer 进程需要至少10G内存容量，2个监听端口（默认是 2881 和 2882 ）以及至少10G的数据目录
- obproxy OceanBase 的反向代理进程，可以独立部署在应用服务器，独立的机器或者OceanBase 的机器上。生产环境建议至少部署两个obproxy
- 默认使用admin用户管理OceanBase
操作系统选型
OceanBase 社区版支持的操作系统包括：
- CentOS ：推荐7.2 以后版本。
- Debian ：推荐 9.8， 10.9 版本。
- openSUSE ：推荐 15.2 版本。
- OpenAnolis：推荐 8.2 版本。
- SUSE ： 推荐 15.2 版本。
- Ubuntu：推荐 16.04 、18.04、20.04 等版本
安装介质
社区版地址
- 官网下载
- GitHub 下载
- 阿里云 Yum 源
软件介质清单
官网上RPM包清单：
共6个rpm包，下载后上传至安装主机soft目录。
- OBD: OceanBase Database Deployer社区版部署工具
- oceanbase-ce: OceanBase数据库社区版
- OceanBase libs: oceanbase运行时所依赖的部分三方动态库
- Obproxy : oceanbase数据库专用的代理服务器
- OBClient：obclient交互式和批量处理查询工具
- LibOBClient：obclient的依赖包
yum源上rpm包信息
- 操作系统 安装包下载地址
- Anlios 7、CentOS 7、RedHat 7、Ubuntu 20.X、Debian 9.X el7 下载地址
- Anlios 8、CentOS 8、RedHat 8、Debian 10 el8 下载地址
- el7系列
下载软件
从官网上获取rpm包
在浏览器中打开 https://open.oceanbase.com/softwareCenter/community 地址并获取对应软件包即可
从yum源获取rpm包
yum install -y yum-utils yum-config-manager --add-repo https://mirrors.aliyun.com/oceanbase/OceanBase.repo # 创建一个目录用于下载 mkdir soft cat > rpm_list <<EOF oceanbase-ce-3.1.0-3.el7.x86_64.rpm oceanbase-ce-libs-3.1.0-3.el7.x86_64.rpm obproxy-3.1.0-1.el7.x86_64.rpm obclient-2.0.0-2.el7.x86_64.rpm ob-deploy-1.1.0-1.el7.x86_64.rpm libobclient-2.0.0-2.el7.x86_64.rpm oceanbase-ce-sql-parser-3.1.0-3.el7.x86_64.rpm EOF wget -B https://mirrors.aliyun.com/oceanbase/community/stable/el/7/x86_64/ -i rpm_list -P soft # or yum install obclient libobclient obproxy oceanbase-ce oceanbase-ce-libs ob-deploy --downloadonly --downloaddir=soft
实施过程
环境架构规划
操作系统层环境配置
以下操作如无特别说明，均以root管理员账号进行配置所有节点。
关闭 selinux
#临时关闭 setenforce 0 # 检查 getenforce #开机不启动selinux，需重启OS生效。已临时关闭，本次不需要重启生效。 sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config #查看配置已生效 grep '^SELINUX=' /etc/selinux/config
关闭防火墙服务(firewalld)
#关闭防火墙 systemctl stop firewalld #开机禁用自启动防火墙并立刻关闭服务 systemctl disable --now firewalld # 检查服务状态 systemctl status firewalld
修改主机名（可选）
#修改主机名为oceanbase，当前已生效，退出会话，再登录后显示新主机名 hostnamectl set-hostname oceanbase # 检查确认 hostnamectl
配置hosts
#主机名解析添加主机信息
cat >> /etc/hosts << EOF
192.168.10.182 oceanbase
EOF
#查看主机名信息
cat /etc/hosts
添加普通用户
oceanbase安装和维护均由普通用户(ober)操作。[OBD工具部署的OB集群默认运行在admin用户]
#添加用户 groupadd -g 1000 ober useradd -u 1000 -g ober -m -d /ups/app/oceanbase -c "OceanBase Owner" ober #更改密码 echo "ober" | passwd --stdin ober #运行oceanbase可运行任何命令，不需要密码 # 配置 sudo 权限 visudo #添加oceanbase一行内容 ## Same thing without a password # %wheel ALL=(ALL) NOPASSWD: ALL ober ALL=(ALL) NOPASSWD: ALL
配置 SSH 互信(ober)
su - ober export SSH='ssh -o PasswordAuthentication=no -o StrictHostKeyChecking=no' ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/*.pub >> ~/.ssh/authorized_keys scp ~/.ssh/authorized_keys ober@<nodeN>:~/.ssh/authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys # 检查确认 export SSH='ssh -o ConnectTimeout=3 -o ConnectionAttempts=5 -o PasswordAuthentication=no -o StrictHostKeyChecking=no' for hosts in $(grep -Ev "^#|\-vip|scan" /etc/hosts|awk '{print $NF}'); do ${SSH} ${hosts} date done
创建软件目录
以root用户安装时，默认安装在/root/observer目录下，这里以oceanbase用户安装在/ob/observer目录下。
集群文件类型
- 运行日志：在启动目录下的
log目录里。主要记录进程observer的运行日志、选举服务的运行日志和rootservice的运行日志。主要读写特点是顺序写。 - 数据文件：主要是指数据文件
block_file，一次性初始化大小，后面可以在线扩容，但是不能缩容。主要读写特点是随机读、顺序写。偶尔密集的随机写。 - 事务日志文件：主要是指事务和
sstable相关的日志 ，包括clog、ilog和slog等。主要读写特点是顺序写。
这三类文件尽可能的分散在不同的磁盘上存储。如果物理上只有一块盘，则可以使用 fdisk 或 lvm 划分为多个逻辑盘。
文件系统mount参数
# lvm 分盘 pvcreate /dev/sdb vgcreate datavg /dev/sdb lvcreate -L 20G datavg -n lvredo lvcreate -l 100%FREE datavg -n lvdata # 格式化文件系统 mkfs.ext4 /dev/obvg/lvdata mkfs.ext4 /dev/obvg/lvredo # 修改 mount 参数文件 vim /etc/fstab /dev/obvg/lvredo /redo ext4 defaults,noatime,nodiratime,nodelalloc,barrier=0 0 0 /dev/obvg/lvdata /data ext4 defaults,noatime,nodiratime,nodelalloc,barrier=0 0 0 # 挂载文件系统 mount -a
查看默认安装路径
rpm -ql oceanbase-ce-3.1.0-3.el7.x86_64 for pkg in $(ls -tr ./*.rpm);do echo $pkg; rpm -ql $pkg done
自定义安装目录
# 查看安装目录大小 [root@progs oceanbase]# df -hT /ups Filesystem Type Size Used Avail Use% Mounted on /dev/mapper/upsvg-upslv xfs 64G 44G 21G 69% /ups [root@progs oceanbase]# # 检查属主、属组 [root@progs oceanbase]# ls -ld /ups/app/oceanbase drwxr-xr-x 2 ober ober 6 Aug 28 20:39 /ups/app/oceanbase [root@progs oceanbase]# cd /ups/app/oceanbase # obs部署启动目录 RPM包自动创建 mkdir -p /ups/app/oceanbase/store/obce # obs数据总目录, obce为集群名称 mkdir -p /data/obce # obs数据文件实际目录 mkdir -p /redo/obce # 事务日志实际目录 chown -R ober:ober /ups/app/oceanbase chown -R ober:ober /data/obce chown -R ober:ober /redo/obce ln -s /ups/app/oceanbase/store/obce/sstable /data/obce/sstable ln -s /ups/app/oceanbase/store/obce/clog /redo/obce/clog ln -s /ups/app/oceanbase/store/obce/slog /redo/obce/slog ln -s /ups/app/oceanbase/store/obce/ilog /redo/obce/ilog
系统内核参数配置
cat > /etc/sysctl.d/98-obce.conf <<-'EOF' # for oceanbase ## 修改内核异步 I/O 限制 fs.aio-max-nr=1048576 ## 网络优化 net.core.somaxconn = 2048 net.core.netdev_max_backlog = 10000 net.core.rmem_default = 16777216 net.core.wmem_default = 16777216 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.ipv4.ip_local_port_range = 3500 65535 net.ipv4.ip_forward = 0 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.default.accept_source_route = 0 net.ipv4.tcp_syncookies = 0 net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 net.ipv4.tcp_max_syn_backlog = 16384 net.ipv4.tcp_fin_timeout = 15 net.ipv4.tcp_max_syn_backlog = 16384 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_slow_start_after_idle=0 vm.swappiness = 0 vm.min_free_kbytes = 2097152 vm.max_map_count=655360 # 此处为 OceanBase 数据库的 data 目录 kernel.core_pattern = /data/core-%e-%p-%t EOF # 加载配置 sysctl --system
其中，kernel.core_pattern 中的 /data 为 OceanBase 数据库的 data 目录。
调整资源限制
OceanBase 数据库的进程涉及的限制包括线程最大栈空间大小（Stack）、最大文件句柄数（Open Files）和 core 文件大小 （Core File Size）资源
#添加内容 cat >> /etc/security/limits.d/98-ober.conf << EOF * soft nofile 655350 * hard nofile 655350 * soft stack 20480 * hard stack 20480 * soft nproc 655360 * hard nproc 655360 * soft core unlimited * hard core unlimited EOF #退出当前会话，重新登录，使配置生效。 #检查open files当前值，应为655350，否则后续启动集群会报错 ulimit -n
时间同步
生产环境所有节点间的时间误差建议控制在 10ms 以内。
安装 chrony服务
yum -y install chrony
配置chrony
vi /etc/chrony.conf # server 后面跟时间同步服务器 # 使用pool.ntp.org 项目中的公共服务器。按 server 配置，理论上您想添加多少时间服务器都可以。 # 或者使用 阿里云的 ntp 服务器 # Please consider joining the pool (http://www.pool.ntp.org/join.html). server ntp.cloud.aliyuncs.com minpoll 4 maxpoll 10 iburst server ntp.aliyun.com minpoll 4 maxpoll 10 iburst server ntp1.aliyun.com minpoll 4 maxpoll 10 iburst server ntp1.cloud.aliyuncs.com minpoll 4 maxpoll 10 iburst server ntp10.cloud.aliyuncs.com minpoll 4 maxpoll 10 iburst # 如果是测试环境，没有时间同步服务器，那就选取一台配置为时间同步服务器。 # 如果选中的是本机，则取消下面 server 注释 #server 127.127.1.0 # 根据实际时间计算出服务器增减时间的比率，然后记录到一个文件中，在系统重启后为系统做出最佳时间补偿调整。 driftfile /var/lib/chrony/drift # chronyd 根据需求减慢或加速时间调整， # 在某些情况下系统时钟可能漂移过快，导致时间调整用时过长。 # 该指令强制 chronyd 调整时期，大于某个阀值时步进调整系统时钟。 # 只有在因 chronyd 启动时间超过指定的限制时（可使用负值来禁用限制）没有更多时钟更新时才生效。 makestep 1.0 3 # 将启用一个内核模式，在该模式中，系统时间每11分钟会拷贝到实时时钟（RTC）。 rtcsync # Enable hardware timestamping on all interfaces that support it. # 通过使用hwtimestamp指令启用硬件时间戳 #hwtimestamp eth0 #hwtimestamp eth1 #hwtimestamp * # Increase the minimum number of selectable sources required to adjust # the system clock. #minsources 2 # 指定一台主机、子网，或者网络以允许或拒绝NTP连接到扮演时钟服务器的机器 #allow 192.168.0.0/16 #deny 192.168/16 # 即使没有同步到时间源，也要服务时间 local stratum 10 # 指定包含NTP验证密钥的文件。 #keyfile /etc/chrony.keys # 指定日志文件的目录。 logdir /var/log/chrony # Select which information is logged. #log measurements statistics tracking
检查chrony状态信息
# 查看时间同步活动 chronyc activity # 查看时间服务器 chronyc sources # 查看同步状态 chronyc sources -v # 校准时间服务器： chronyc tracking # 使用 clockdiff [-o] <host> 命令可以检查本机跟目标机器的时间同步误差 clockdiff 192.168.10.181
如果使用
clockdiff运行出错时，可以换下面命令判断时间同步误差
ping -T tsandaddr 192.168.10.181 -c 2
节点时间同步误差不应超过 50ms，否则初始化集群会失败
时区设置（可选）
# 查看所有可用时区 timedatectl list-timezones # 设置当前系统时区 timedatectl set-timezone Asia/Shanghai # 强制同步下系统时钟 chronyc -a makestep
部署OceanBase集群
安装 obclient 客户端
rpm -ivh libobclient-2.0.0-2.el7.x86_64.rpm obclient-2.0.0-2.el7.x86_64.rpm
部署 observer 服务
安装软件包
# RPM包括是使用cpio格式打包的，因此可以先转成cpio然后解压 cd /ups/app/oceanbase/cluster rpm2cpio oceanbase-ce-3.1.1-4.el7.x86_64.rpm |cpio -ivd rpm2cpio oceanbase-ce-libs-3.1.1-4.el7.x86_64.rpm |cpio -ivd
配置环境变量
su - ober echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/ups/app/oceanbase/lib' >> ~/.bash_profile echo 'export PATH=/ups/app/oceanbase/bin:$PATH' >> ~/.bash_profile . ~/.bash_profile
启动observer
192.168.10.201 节点
su - ober cd /ups/app/oceanbase/cluster && bin/observer -i ens32 -l WARN -p 2881 -P 2882 -z zone1 -r '192.168.10.201:2882:2881;192.168.10.202:2882:2881;192.168.10.203:2882:2881' -c obce -n obce -o "__min_full_resource_pool_memory=268435456,memory_limit=8G,system_memory=4G,stack_size=512K,cpu_count=16,cache_wash_threshold=1G,workers_per_cpu_quota=10,schema_history_expire_time=1d,net_thread_count=4,major_freeze_duty_time=Disable,minor_freeze_times=10,enable_separate_sys_clog=0,enable_merge_by_turn=False,datafile_size=2G,enable_syslog_wf=False,enable_syslog_recycle=True,max_syslog_file_count=6" -d /ups/app/oceanbase/store/obce
192.168.10.202 节点
su - ober cd /ups/app/oceanbase/cluster && bin/observer -i ens32 -l WARN -p 2881 -P 2882 -z zone2 -r '192.168.10.201:2882:2881;192.168.10.202:2882:2881;192.168.10.203:2882:2881' -c obce -n obce -o "__min_full_resource_pool_memory=268435456,memory_limit=8G,system_memory=4G,stack_size=512K,cpu_count=16,cache_wash_threshold=1G,workers_per_cpu_quota=10,schema_history_expire_time=1d,net_thread_count=4,major_freeze_duty_time=Disable,minor_freeze_times=10,enable_separate_sys_clog=0,enable_merge_by_turn=False,datafile_size=2G,enable_syslog_wf=False,enable_syslog_recycle=True,max_syslog_file_count=6" -d /ups/app/oceanbase/store/obce
192.168.10.203 节点
su - ober cd /ups/app/oceanbase/cluster && bin/observer -i ens32 -l WARN -p 2881 -P 2882 -z zone3 -r '192.168.10.201:2882:2881;192.168.10.202:2882:2881;192.168.10.203:2882:2881' -c obce -n obce -o "__min_full_resource_pool_memory=268435456,memory_limit=8G,system_memory=4G,stack_size=512K,cpu_count=16,cache_wash_threshold=1G,workers_per_cpu_quota=10,schema_history_expire_time=1d,net_thread_count=4,major_freeze_duty_time=Disable,minor_freeze_times=10,enable_separate_sys_clog=0,enable_merge_by_turn=False,datafile_size=2G,enable_syslog_wf=False,enable_syslog_recycle=True,max_syslog_file_count=6" -d /ups/app/oceanbase/store/obce
检查进程状态
netstat -ntlp|grep -E "2881|2882"
集群初始化
当所有节点的observer进程都启动成功，监听正常时，通过mysql或obclient客户端工具连接任一节点2881端口进行初始化操作
mysql -h 192.168.10.201 -u root -P 2881 -c -A -e "set session ob_query_timeout=1000000000; alter system bootstrap ZONE 'zone1' SERVER '192.168.10.201:2882', ZONE 'zone2' SERVER '192.168.10.202:2882', ZONE 'zone3' SERVER '192.168.10.203:2882' ;"
密码为空
验证
连接到sys的mysql租户并检查
mysql -h 192.168.10.201 -u root@sys#obce -P 2881 -c -A -e "show databases;"
设置密码
- 集群管理员（
root@sys）密码默认集群管理员（root@sys）的密码是空
alter user root identified by 'p#ssw0rd' ;
- OBPROXY 用户（
proxyro）密码默认OBPROXY 连接 OceanBase 集群使用用户proxyro
grant select on oceanbase.* to proxyro identified by 'p#ssw0rd' ;
部署obproxy
安装软件包
cd /ups/app/oceanbase/obproxy
rpm2cpio obproxy-3.2.0-1.el7.x86_64.rpm |cpio -ivd
启动obproxy
# obce 集群名称 cd /ups/app/oceanbase/obproxy && bin/obproxy -r "192.168.10.201:2881;192.168.10.202:2881;192.168.10.203:2881" -p 2883 -o "enable_strict_kernel_release=false,enable_cluster_checkout=false,skip_proxy_sys_private_check=True,enable_metadb_used=false" -l 2884 -n obce
obproxy [OPTIONS]
-h,–help print this help
-p,–listen_port LPORT obproxy listen port
-l,–promethues_listen_port PLPORT obproxy prometheus listen port
-o,–optstr OPTSTR extra options string
-n,–appname APPNAME application name
-r,–rs_list RS_LIST root server list(format ip:sql_port)
-c,–cluster_name CLUSTER_NAME root server cluster name
-d,–dump_config_sql DSQL dump config sql to file
-e,–execute_config_sql ESQL exectue config sql(create tables, insert initial data)
-N,–nodaemon don’t run in daemon
-V,–version VERSION current obproxy version
-R,–releaseid RELEASEID current obproxy kernel release id
-t,–regression_test TEST_NAME regression test
example:
run without config server:
./bin/obproxy -p6789 -r’ip:port;ip:port’ -n test -o enable_cluster_checkout=false,syslog_level=INFO
OR ./bin/obproxy -p6789 -r’ip:port;ip:port’ -c ‘ob_test’ -n test -o syslog_level=INFO
run with config server:
./bin/obproxy -p6789 -e -n test -o obproxy_config_server_url=‘your config url’,syslog_level=INFO
Non-first start with local config file:
./bin/obproxy
dump config update sql:
./bin/obproxy -d
run regression tests:
./bin/obproxy -p6789 -rip:port -ntest -o obproxy_config_server_url=’’ -t ‘’
检查服务状态
ps -ef|grep obproxy netstat -ntlp |grep -E "2883|2884"
登录 OBPROXY 修改密码
-- 登录用户名：root@proxysys， 端口：2883 ，初始密码：空 -- mysql -h 192.168.10.201 -u root@proxysys -P 2883 show proxyconfig like '%sys_password%'; -- 修改 OBPROXY 用户密码 alter proxyconfig set obproxy_sys_password = 'p#ssw0rd'; -- 修改 OBPROXY 连接 OceanBase 集群用户 proxyro 的密码, 密码就是前面 OceanBase 集群初始化后创建的用户 proxyro 的密码 alter proxyconfig set observer_sys_password = 'p#ssw0rd' ;
检查确认
通过 OBPROXY 连接 OceanBase 集群
-- mysql -h192.168.10.201 -uroot@sys#obce -P2883 -p -c -A oceanbase show full processlist;
部署 obagent（待完善）
安装软件包
su - ober
cd /ups/app/oceanbase/obagent
rpm2cpio obagent-1.0.0-1.el7.x86_64.rpm |cpio -ivd
配置环境变量
su - ober echo 'export PATH=/ups/app/oceanbase/obagent/bin:$PATH' >> ~/.bash_profile . ~/.bash_profile
编辑配置文件
monagent.yaml
vi conf/monagent.yaml log:level: WARNfilename: log/monagent.logmaxsize: 30maxage: 3maxbackups: 10localtime: truecompress: true server:address: 192.168.10.201:8088adminAddress: 192.168.10.201:8089runDir: run cryptoMethod: plain cryptoPath: conf/.config_secret.key modulePath: conf/module_config propertiesPath: conf/config_properties
启动 obagent 服务
su - ober
/ups/app/oceanbase/obagent/bin/monagent -c conf/monagent.yaml
Usage:
monagent [flags]
Flags:
-c, --config string config file (default “conf/monagent.yaml”)
-h, --help help for monagent
-d, --pipelines_config_dir string monitor pipelines config file dir (default “conf/monagent/pipelines”)
检查确认
ps -ef|grep monagent netstat -tnlp |grep -E "8088|8089" curl --user admin:a http://127.0.0.1:8088/metrics/ob/basic
附录
常见问题
集群初始化失败常见原因
- 集群节点之间时间同步延时超过 50ms 。
- 集群节点之间网络延时超过 100ms 。
- 集群节点上 OBSERVER 相关目录结构不对或者目录权限不对。
- 集群节点上进程
observer启动参数写的不对。注意隐含参数的名字（如__min_full_resource_pool_memory)、参数-d的目录是否正确、参数-z - 跟 IP 的对应关系、 参数中多了空格或分隔符错误（有的是
,，有的是;）。 - 集群节点可用内存低于进程
observer启动参数memory_limit值。 - 数据目录空间不足，可以通过设置
datafile_size根据实际环境配置。
结束语：OceanBase 社区版入门到实战教程直播正在进行中~
快和小伙伴一起进群交流学习吧~
加入直播群方式一：
钉钉群号 3582 5151
加入直播群方式二：
扫码下方钉钉二维码加入
