[实战]openGauss之AI4DB,领先的开源数据库自治运维平台DBMind

1 软件简介

AI与数据库结合是近些年的行业研究热点，openGauss较早地参与了该领域的探索，并取得了阶段性的成果。AI特性子模块名为DBMind。

DBMind作为openGauss数据库的一部分，为openGauss数据库提供了自动驾驶能力，是一款领先的开源数据库自治运维平台。通过DBMind, 您可以很容易地发现数据库的问题，同时可以实现秒级的数据库问题根因分析。

作者：霸王龙的日常，欢迎关注

1.1 DBMind的特点

• DBMind采用了先进的插件化的架构形式，支持海量插件扩展；

• 支持多种运行模式，具备命令行交互式运行、服务式运行；

• 面向云原生进行设计，支持Prometheus，并提供多种丰富的exporter插件；

• 提供丰富的对接模式，可以很容易地与现有管理系统进行对接，支持RESTful API、Python SDK、命令行、Prometheus协议等模式；

• 支持端到端全流程的数据库自治运维能力，包括慢SQL根因分析、workload索引推荐、多指标关联挖掘、故障自修复、异常检测与根因分析等功能；

1.2 DBMind支持的主要能力

• 索引推荐
• 异常检测与分析
• 多指标关联分析
• 慢SQL根因分析
• 时序预测
• 参数调优与推荐
• SQL改写与优化
• 故障自动修复

DBMind的AI4DB服务架构如下图所示

图中各关键组件说明：

• DBMind Service: DBMind后台服务，可用于定期离线计算，包括慢SQL根因分析、时序预测等；
• Prometheus-server: Prometheus 监控指标存储的服务器；
• metadatabase: DBMind在离线计算结束后，将计算结果存储在此处，支持openGauss、SQLite等数据库；
• client: 用户读取DBMind离线计算结果的客户端，目前仅实现命令行客户端；若采用openGauss等数据库存储计算DBMind计算结果，则用户可以自行配置Grafana等可视化工具对该结果进行可视化；
• openGauss-exporter: 用户从openGauss数据库节点上采集监控指标，供DBMind服务进行计算；
• node-exporter: Prometheus官方提供的exporter, 可用于监控该节点的系统指标，如CPU和内存使用情况；
• reprocessing-exporter: 用于对Prometheus采集到的指标进行二次加工处理，例如计算CPU使用率等。

2. 安装准备

2.1 环境信息

假设在主控节点 192.168.7.111上部署 DBMind，有一套端口号为26000的数据库环境，环境信息如下：

2.2 创建管理用户

[root@trex ~]# useradd -m trex -d /home/trex
[root@trex ~]# passwd trex


此处设置密码为Trex@123

2.3 查看数据库信息

[root@trex ~]# su - omm
[omm@trex ~]$ gs_om -t status --detail


2.4 创建DBMind使用的用户和数据库

[omm@trex ~]$ gs_guc reload -D /gaussdata/dn -c 'password_encryption_type=1'
[omm@trex ~]$ gsql -p 26000 -d postgres -c 'create user dbmind_monitor password "Trex@456";'
[omm@trex ~]$ gsql -p 26000 -d postgres -c 'alter user dbmind_monitor monadmin;'
[omm@trex ~]$ gs_guc reload -D /gaussdata/dn -c 'password_encryption_type=2'
[omm@trex ~]$ gsql -p 26000 -d postgres -c 'grant all privileges to dbmind_monitor;'
[omm@trex ~]$ gsql -U dbmind_monitor -p 26000 -d postgres -W "Trex@456" -c 'create database metadatabase;'


2.5 查看数据库

创建完成后，登录到数据库，并输入l命令查看元数据库metadatabase是否存在。

[omm@trex ~]$ gsql -d postgres -p 26000 -r -U dbmind_monitor -W Trex@456


2.6 数据库信息

2.7 下载安装包

2.7.1 安装包信息

2.7.2 下载地址

• • DBMind

https://opengauss.obs.cn-south-1.myhuaweicloud.com/5.0.0/dbmind/x86/dbmind-installer-x86_64-python3.10.sh.tar.gz


• • Prometheus

https://github.com/prometheus/prometheus/releases/download/v2.43.0/prometheus-2.43.0.linux-amd64.tar.gz


• • node_exporter

https://github.com/prometheus/node_exporter/releases/download/v1.5.0/node_exporter-1.5.0.linux-amd64.tar.gz


如果通过github下载Prometheus和node_exporter速度慢的话，你也可以在公众号后台回复 dbmind 获取Prometheus和node_exporter安装包。

3 安装DBMind

3.1 上传dbmind安装包并授权

将安装包dbmind、prometheus、node_exporter上传到/home/trex目录并授权

[root@trex ~]# chown trex:trex -R /home/trex/*.tar.gz
[root@trex ~]# ll -h /home/trex/


3.2 解压

切换到trex用户下并解压dbmind安装包

[root@trex ~]# su - trex
[trex@trex ~]$ tar -zxvf dbmind-installer-x86_64-python3.10.sh.tar.gz


3.3 安装

[trex@trex ~]$ sh dbmind-installer-x86_64-python3.10.sh


安装过程中会提示确认安装位置和添加环境变量，按照提示输入回车或yes就行了。

3.4 重新加载环境变量

[trex@trex ~]$ source ~/.bashrc


3.5 测试是否安装成功

[trex@trex ~]$ gs_dbmind --help


3.6 关于Python运行环境

需要至少为Python3.7的版本。虽然在DBMind的实现中对Python3.7以下的环境尽可能地进行了兼容，但是这些低版本的Python环境疏于测试，可能会引发意料之外的异常。同时，在DBMind启动时，也会尝试校验Python版本，如果Python版本不符合要求，则默认不会继续执行后续的动作。

DBMind会优先选择使用在其根目录下 python 目录中的环境。即 gs_dbmind 命令会首先在/home/trex/openGauss-DBMind/python/bin 目录下寻找 python3 命令执行后续的Python功能。

通过如下命令查看dbmind自带的python版本

[trex@trex ~]$ cd openGauss-DBMind/python/bin/
[trex@trex bin]$ ./python3 -V


3.7 关于第三方依赖

DBMind所使用的第三方依赖通过DBMind根目录下的 requirements-xxx.txt 文件指定。对于x86架构（amd64）以及ARM架构（aarch64），使用了不同的文件名进行标识。这是因为ARM平台对于某些第三方依赖并不友好，必须指定特定的版本才可以安装。

可以使用pip工具对第三方依赖进行安装。

3.7.1 方法1：在线安装第三方依赖

以x86环境为例，可以使用下述pip命令在线安装DBMind的第三方依赖库：

[trex@trex ~]$ cd openGauss-DBMind/
[trex@trex ~]$ /home/trex/openGauss-DBMind/python/bin/python3 -m pip install -r requirements-x86.txt


3.7.2 方法2：离线安装第三方依赖

如果你的服务器不能联网，只能离线安装第三方依赖。

在可联网的服务器上下载依赖包

mkdir /packages/
/home/trex/openGauss-DBMind/python/bin/python3 -m pip download -r /home/trex/openGauss-DBMind/requirements-x86.txt -d /packages/


• 上传依赖包

  这里我已经将41个离线依赖包打包好了，压缩包为：python_3rd_x86_64.zip

  公众号后台回复 dbmind 即可获取。

  上传python_3rd_x86_64.zip到目录/home/trex/

• 授权并解压

[root@trex ~]# chown trex:trex /home/trex/python_3rd_x86_64.zip
[root@trex ~]# su - trex
[trex@trex ~]$ unzip python_3rd_x86_64.zip


• 安装

[trex@trex ~]$ /home/trex/openGauss-DBMind/python/bin/python3 -m pip install /home/trex/python_3rd_x86_64/*.whl


安装成功如下图

3.8 手动部署

3.8.1 规划配置

使用手动部署的方式，需要用户手动安装prometheus和相关的exporter组件，先做如下的规划配置：

3.8.2 node_exporter

部署node_exporter，将node_exporter安装包放入数据库节点并切换到trex用户空间后，执行如下命令：

1. 解压安装包：

   [trex@trex ~]$ tar zxvf node_exporter-1.5.0.linux-amd64.tar.gz
[trex@trex ~]$ cd node_exporter-1.5.0.linux-amd64


2. 启动 默认端口号为9100

   [trex@trex node_exporter-1.5.0.linux-amd64]$ ./node_exporter > node_exporter.log 2>&1 &


   如果端口号被占用，可以换成如下命令指定端口号启动

   [trex@trex node_exporter-1.5.0.linux-amd64]$ ./node_exporter --web.listen-address=:9101 > node_exporter.log 2>&1 &


输入上述命令后，如果显示[1]+ Exit字符表示node_exporter安装失败，可以通过node_exporter.log日志查看原因。

3.8.3 cmd_exporter

cmd_exporter用来执行cmd命令并获取返回结果以及采集日志信息。

[trex@trex node_exporter-1.5.0.linux-amd64]$ gs_dbmind component cmd_exporter --web.listen-address 0.0.0.0 --web.listen-port 9180 --disable-https


执行完上述命令，如果控制台显示The process is starting，说明安装无异常。

3.8.4 opengauss_exporter

opengauss_exporter是DBMind采集数据库的组件，从openGauss数据库中读取系统表（或系统视图）的数据，并通过Prometheus保存起来。支持远程部署，需要在每个数据库节点上安装。

用户可以通过远程部署的方式在主控节点上执行下述命令，从而将opengauss_exporter安装到对应的数据库节点上，opengauss_exporter的默认端口号范围是9187-9197，如果被占用可以使用其他端口。

1. 方式一：URL格式

   [trex@trex ~]$ gs_dbmind component opengauss_exporter --url postgresql://dbmind_monitor:Trex%40456@192.168.7.111:26000/postgres --web.listen-address 0.0.0.0 --web.listen-port 9187 --log.level info --disable-https


   说明：

   对于采用URL格式的DSN，由于@等特殊字符用来分割URL串中各个部分的内容，故需要URL编码。例如某个用户dbmind的密码为Trex@456，则URL格式的DSN为psotgresql:dbmind:Trex%40456@127.0.0.1:26000，即将@字符编码为%40。

   

2. 方式二：K-V格式

   [trex@trex ~]$ gs_dbmind component opengauss_exporter --url "dbname=postgres user=dbmind_monitor password=Trex@456 host=192.168.7.111 port=26000" --web.listen-address 0.0.0.0 --web.listen-port 9187 --log.level info --disable-https


执行完上述命令，如果控制台显示The process is starting，说明安装无异常。也可以通过下述命令检查opengauss_exporter是否已启动。

# 端口号9187为用户指定的端口号， 如果失败会显示Connection refused
curl -vv http://192.168.7.111:9187/metrics


3.8.5 prometheus

prometheus是业内非常流行的开源监控系统，同时本身也是一款时序数据库。需要将其安装在主控节点，默认占用端口为9090，将prometheus安装包放入主控节点环境并切换到目标用户空间后，执行如下命令：

1. 解压并切换到prometheus目录下：

   [trex@trex node_exporter-1.5.0.linux-amd64]$ cd ~
[trex@trex ~]$ tar zxvf prometheus-2.43.0.linux-amd64.tar.gz
[trex@trex ~]$ cd prometheus-2.43.0.linux-amd64/


2. 修改prometheus配置文件：

   [trex@trex prometheus-2.43.0.linux-amd64]$ vi prometheus.yml


   在该文件中找到 scrape_configs 部分，该部分包含了所有需要被抓取的targets的配置信息，用户需要根据自己的节点数量和端口占用情况进行修改。根据规划可做如下配置：

scrape_configs:
# The job name is added as a label `job=` to any timeseries scraped from this config.
- job_name: "prometheus"

static_configs:
- targets: ["192.168.7.111:9090"]
- job_name: "opengauss_exporter"
static_configs:
- targets: ["192.168.7.111:9187"]
- job_name: "node_exporter"
static_configs:
- targets: ["192.168.7.111:9100"]
- job_name: "reprocessing_exporter"
static_configs:
- targets: ["192.168.7.111:8181"]
- job_name: "cmd_exporter"
static_configs:
- targets: ["192.168.7.111:9180"]


3. 启动prometheus并将日志输入到同目录下的prometheus.log里：

[trex@trex prometheus-2.43.0.linux-amd64]$ ./prometheus --web.enable-admin-api --web.enable-lifecycle --storage.tsdb.retention.time=1w >./prometheus.log 2>&1 &


3.8.6 reprocessing_exporter

reprocessing_exporter是一个用于二次加工处理数据的exporter。由于node_exporter、opengauss_exporter保存到prometheus中的数据是即时的监控信息，而只通过这些信息是无法反应某些指标的瞬时增量信息的。因此，reprocessing_exporter可以用来计算增量信息或者聚合结果等。

由于reprocessing_exporter是从prometheus中获取指标数据，进行二次加工处理后再返回给prometheus。因此，它与prometheus是一一对应的，即如果只有一个prometheus服务，则只需要一个reprocessing_exporter即可。prometheus和reprocessing_exproter一起部署在主控节点上，reprocessing_exproter依赖prometheus，所以需要先启动prometheus再启动reprocessing_exporter。可以通过下述命令启动reprocessing_exporter：

# host_ip为主控节点的ip地址，9090为prometheus占用的端口号，8181为reprocessing_exporter占用的端口号，用户可以按需修改
gs_dbmind component reprocessing_exporter host_ip 9090 --web.listen-address 0.0.0.0 --web.listen-port 8181 --disable-https


根据实际环境修改后
[trex@trex ~]$ gs_dbmind component reprocessing_exporter 192.168.7.111 9090 --web.listen-address 0.0.0.0 --web.listen-port 8181 --disable-https


启动完成之后，访问prometheus网页：http://{主控节点ip}:9090/，打开Status/Targets，查看所有exporter的启动状态。

http://192.168.7.111:9090/


4. 启动DBMind

4.1 创建配置文件

在主控节点，切换到openGauss-DBMind目录下，输入如下命令启动DBMind：

[trex@trex ~]$ cd ~/openGauss-DBMind
[trex@trex openGauss-DBMind]$ gs_dbmind service setup -c dbmindconf


启动配置，会在openGauss-DBMind目录下创建dbmindconf/dbmind.conf配置文件

4.2 修改配置文件

[trex@trex openGauss-DBMind]$ vi dbmindconf/dbmind.conf


其中必填的配置项如下：

4.2.1 TSDB

TDSB为时序数据库配置，即prometheus相关信息。

[TSDB]
name = prometheus # The type of time-series database. Options: prometheus.
host = 192.168.7.111 # Address of time-series database.
port = 9090 # Port to connect to time-series database.


4.2.2 METADATABASE

DBMind服务器所创建的metadatabase数据库相关信息，注意用户需要有数据库创建的权限。在启动DBMind之前，需要把metadatabase创建好。

[METADATABASE]
dbtype = opengauss # Database type. Options: sqlite, opengauss, postgresql.
host = 192.168.7.111 # {数据库主节点ip:192.168.7.111} Address of meta-data database.
port = 26000 # {数据库占用的端口号:26000} Port to connect to meta-data database.
username = dbmind_monitor # User name to connect to meta-data database.
password = Trex@456 # Password to connect to meta-data database.
database = metadatabase # Database name to connect to meta-data database.


4.2.3 WORKER

该模块用于指定DBMind可以使用的worker子进程数量，如果写0则会进行自适应，尽可能多地使用CPU资源，根据需要进行修改。

用户可以使用cat /proc/cpuinfo | grep "physical id" | sort | uniq | wc -l命令查看逻辑CPU的个数，根据服务器情况配置worker子进程数量。

[WORKER]
process_num = 2 # Number of worker processes on a local node. Less than or equal to zero means adaptive.


4.2.4 AGENT

该模块用于指定DBMind连接到openGauss Agent的信息。使用该Agent，可以让DBMind获取到被监控实例的即时状态，从而提高分析准确性。同时，也可以向数据库实例下发一些变更动作。

master_url为http://{DBMind服务器IP}:{opengauss_exporter监听端口}，置空会自动识别。

usename为数据库实例的dbmind_minotor用户。

[AGENT]
master_url = http://192.168.7.111:9187
username = dbmind_monitor # Username to login the monitoring database. Credential for agent.
password = Trex@456 # Password to login the monitoring database. Credential for agent.


4.2.5 TIMED_TASK

设置定时任务：

• discard_expired_results: 删除过期结果
  • self_monitoring：指标异常监控
  • daily_inspection：日检
  • weekly_inspection：周检
  • monthly_inspection: 月检
  • slow_sql_diagnosis：慢SQL诊断
  • knob_recommend：参数调优
  • slow_query_killer：慢SQL查杀

[TIMED_TASK]
task=discard_expired_results,self_monitoring,daily_inspection, weekly_inspection,slow_sql_diagnosis,knob_recommend,slow_query_killer# select the scheduled task to start，separated by ','.


4.2.6 WEB-SERVICE

[WEB-SERVICE]
host = 192.168.7.111 # Which host to bind for web service. '0.0.0.0' means to bind all.
port = 8080 # Port to listen for web serivce.


4.3 配置项初始化

[trex@trex openGauss-DBMind]$ gs_dbmind service setup --initialize -c dbmindconf


4.4 启动DBMind服务

[trex@trex openGauss-DBMind]$ gs_dbmind service start -c dbmindconf


显示如下报错：

[trex@trex openGauss-DBMind]$ An exception raised: Form data requires "python-multipart" to be installed.
You can install "python-multipart" with:

pip install python-multipart


解决方法：

[trex@trex openGauss-DBMind]$ /home/trex/openGauss-DBMind/python/bin/python3 -m pip install python-multipart


​ 再次启动DBMind服务

[trex@trex openGauss-DBMind]$ gs_dbmind service start -c dbmindconf


启动完成后，就可以通过http://{DBMind服务器IP}:8080访问DBMind前台页面。

5 访问DBMind

http://192.168.7.111:8080


注：

用户名：dbmind_monitor

密码：Trex@456

至此，DBMind已经安装完成。