一、环境信息
操作系统：AnolisOS8.8 #cat /etc/os-release
数据库版本：GreatSQL-8.0.32-25
软件目录：/usr/local/GreatSQL
数据目录：/data/greatsql/
注：本示例分别使用手动方式和MySQL Shell方式各部署一套MGR集群环境：
1、手动方式部署MGR环境集群(MGR1)：192.168.68.101、192.168.68.102、192.168.68.103
2、MySQL Shell方式部署MGR环境集群(MGR2)：192.168.68.104、192.168.68.105、192.168.68.106
二、安装准备
GreatSQL数据库支持RPM包、二进制包、Docker、Ansible、源码编译共5种安装方法，此示例以二进制包方式进行部署(实例端口：3306，通信端口：33061)。
1、关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
systemctl is-enabled firewalld #查看是否禁用服务
2、禁用SELINUX
setenforce 0
vi /etc/selinux/config
SELINUX=disabled
或者执行命令替换配置： sed -i '/^SELINUX=/c'SELINUX=disabled /etc/selinux/config
3、关闭swap
echo "vm.swappiness = 0">> /etc/sysctl.conf
sysctl -p
swapoff -a #禁用swap后还需要注释掉 /etc/fstab 中关于swap加载项
free -h
4、修改数据盘IO策略
将数据库的数据存放目录所在磁盘的IO测试设置为 noop / deadline
先查看当前设置（nvme0n1为磁盘分区）
cat /sys/block/nvme0n1/queue/scheduler
这样没问题，如果不是 noop 或 deadline，可以执行如下命令修改：
echo 'noop' > /sys/block/nvme0n1/queue/scheduler
这样修改后立即生效，无需重启。
5、确认CPU性能模式设置
先检查当前的设置模式，执行如下命令查看;
cpupower frequency-info --policy
如果输出内容不是 The governor "performance" 而是 The governor "powersave" 的话，则要注意了。
The governor "powersave" 表示 cpufreq 的节能策略使用 powersave，需要调整为 performance 策略。
如果是虚拟机或者云主机，则不需要调整，命令输出通常为 Unable to determine current policy。
6、关闭透明大页
建议关闭透明大页（Transparent Huge Pages / THP）。
OLTP型数据库内存访问模式通常是稀疏的而非连续的。当高阶内存碎片化比较严重时，分配 THP 页面会出现较高的延迟，反而影响性能。
先检查当前设置：
cat /sys/kernel/mm/transparent_hugepage/enabled
如果输出结果不是 never 的话，则需要执行下面的命令关闭：
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag
7、优化内核参数
建议调整优化下面几个内核参数：
echo "fs.file-max = 1000000" >> /etc/sysctl.conf
echo "net.core.somaxconn = 32768" >> /etc/sysctl.conf
echo "net.ipv4.tcp_syncookies = 0" >> /etc/sysctl.conf
echo "vm.overcommit_memory = 1" >> /etc/sysctl.conf
sysctl -p
8、修改mysql用户使用资源上限
修改 /etc/security/limits.conf 系统文件，调高mysql系统账户的上限：
vim /etc/security/limits.conf #添加如下配置项
mysql soft nofile 65535
mysql hard nofile 65535
mysql soft stack 32768
mysql hard stack 32768
mysql soft nproc 65535
mysql hard nproc 65535
9、确认NUMA模式
推荐开启NUMA模式以获得更好的性能表现。
以CentOS为例，打开/etc/default/grub文件，确保文件内容中没有 NUMA=OFF 字样，如果有的话就删掉：
如果修改了 /etc/default/grub 文件，需要重新生成UEFI启动文件：
grub2-mkconfig -o /boot/efi/EFI/centos/grub.cfg
然后重启操作系统，使之生效。
操作系统层开启NUMA后，还要记得修改GreatSQL配置选项 innodb_numa_interleave = ON，确保InnoDB在分配内存时使用正确的NUMA策略。
如果采用手动方式启动GreatSQL服务进程，还可以在启动时加上 numactl --interleave=all，例如：
numactl --interleave=all /usr/local/GreatSQL-8.0.32-25-Linux-glibc2.28-x86_64/bin/mysqld &
如果采用 systemd 来启动 GreatSQL服务进程，则可以修改 /etc/systemd/system.conf 配置文件，增加如下的相关配置项：
[Manager]
NUMAPolicy=interleave
#NUMAMask=
修改完毕后，重新加载 systemd 配置，确保NUMA策略生效：
systemctl daemon-reload
10、时间服务及时区设置
时间服务建议使用chrony。
yum install -y chrony
systemctl start chronyd
systemctl is-enabled chronyd #systemctl enable chronyd
查看时间同步：
chronyc sources
显示当前语言环境状态：localectl status
查看LANG语言环境变量：echo $LANG
列出可用的语言环境：localectl list-locales | grep zh
注：如果需要可设置语言环境，相关命令如下：
编辑/etc/locale.conf文件
vi /etc/locale.conf
#中文 LANG=zh_CN.UTF-8
#英文 LANG=en_US.UTF-8
或，执行如下命令设置简体中文语言环境：
localectl set-locale LANG=zh_CN.UTF-8
简体英文语言环境：
localectl set-locale LANG=en_US.UTF-8
加载语言环境
source /etc/locale.conf
三、部署GreatSQL
二进制包文件下载地址：https://gitee.com/GreatSQL/GreatSQL/releases/tag/GreatSQL-8.0.32-25
注：查看机器的glibc版本，以选择正确的安装包：ldd --version
如果您的glibc版本为2.28或更高版本，请选择带有"glibc2.28"标识的安装包；如果您的glibc版本为2.17，请选择带有"glibc2.17"标识的安装包。
1、创建mysql用户
groupadd mysql
useradd -g mysql mysql -s /sbin/nologin
id mysql
2、安装jemalloc
建议采用jemalloc代替glibc自带的malloc库，其优势在于减少内存碎片和提升高并发场景下内存的分配效率，提高内存管理效率的同时还能降低数据库运行时发生OOM的风险。
yum install -y gcc gcc-c++ cmake tar bzip2 vim tree
tar -xvf jemalloc-5.3.0.tar.bz2
cd jemalloc-5.3.0
./configure
make && make install
vi /etc/ld.so.conf.d/greatsql.conf
/usr/local/lib/
/sbin/ldconfig
ldconfig -p | grep libjemalloc
添加/修改系统文件 /etc/sysconfig/greatsql
LD_PRELOAD=/usr/local/lib/libjemalloc.so
THP_SETTING=never
注：启动greatsql服务后，可执行命令查看是否使用的jemalloc内存管理：lsof -n | grep libjemalloc
3、安装依赖包
yum install -y pkg-config perl libaio-devel numactl-devel numactl-libs net-tools openssl openssl-devel perl-Data-Dumper perl-Digest-MD5 python2 perl-JSON perl-Test-Simple
建议提前安装DBA常用的辅助工具包：
yum install -y net-tools perf sysstat iotop tmux tree lsof
4、创建数据目录
mkdir -p /data/greatsql/greatsqldata3306/{mydata,binlog,innodb_log,innodb_ts,innodb_dblwr,innodb_undo,innodb_temp,relaylog,log,sock,tmpdir}
5、解压安装文件
将二进制安装包文件解压到/usr/local目录下，并建立软连接/usr/local/GreatSQL：
tar -xvf GreatSQL-8.0.32-25-Linux-glibc2.28-x86_64.tar.xz -C /usr/local/
ln -s /usr/local/GreatSQL-8.0.32-25-Linux-glibc2.28-x86_64 /usr/local/GreatSQL
#相关目录属主属性修改
chown -R mysql.mysql /data/greatsql /usr/local/GreatSQL-8.0.32-25-Linux-glibc2.28-x86_64 /usr/local/GreatSQL
6、配置环境变量
在配置文件/etc/profile中添加PATH信息：
vi /etc/profile
# set for GreatSQL
export MYSQL_HOME=/usr/local/GreatSQL
export MYSQL_USER=mysql
export PATH=$PATH:$MYSQL_HOME/bin
source /etc/profile
mysql -V
7、配置文件/etc/my.cnf
创建数据库配置文件：/etc/my.cnf
vi /etc/my.cnf #此已101服务器为例，其它修改server_id为相应值。
[mysql]
prompt = "(\R:\m:\s)[\u@GreatSQL][\d]>"
no-auto-rehash
loose-skip-binary-as-hex
default-character-set = utf8mb4
show-warnings
[mysqld]
user = mysql
port=3306
server_id=1013306
basedir=/usr/local/GreatSQL
datadir=/data/greatsql/greatsqldata3306/mydata
pid_file=/data/greatsql/greatsqldata3306/sock/greatsql.pid
socket=/data/greatsql/greatsqldata3306/sock/greatsql.sock
skip-name-resolve
log_bin=/data/greatsql/greatsqldata3306/binlog/greatsql-bin
log_bin_index=/data/greatsql/greatsqldata3306/binlog/greatsql-bin.index
binlog_format = ROW
log_slave_updates=1
relay_log_index=/data/greatsql/greatsqldata3306/relaylog/greatsql-relay-bin.index
relay_log=/data/greatsql/greatsqldata3306/relaylog/greatsql-relay-bin
log_error=/data/greatsql/greatsqldata3306/log/error.log
general_log_file=/data/greatsql/greatsqldata3306/log/general.log
slow_query_log_file=/data/greatsql/greatsqldata3306/log/slow-query.log
tmpdir=/data/greatsql/greatsqldata3306/tmpdir
slave-load-tmpdir=/data/greatsql/greatsqldata3306/tmpdir
innodb_buffer_pool_size=8G
innodb_buffer_pool_instances = 2
innodb_doublewrite_dir=/data/greatsql/greatsqldata3306/innodb_dblwr
innodb_undo_directory=/data/greatsql/greatsqldata3306/innodb_undo
innodb_temp_tablespaces_dir=/data/greatsql/greatsqldata3306/innodb_temp
innodb_data_home_dir=/data/greatsql/greatsqldata3306/innodb_ts
innodb_data_file_path=ibdata1:4096M:autoextend
innodb_log_group_home_dir=/data/greatsql/greatsqldata3306/innodb_log
gtid_mode = ON
enforce_gtid_consistency = TRUE
8、实例初始化
chown mysql.mysql /etc/my.cnf
/usr/local/GreatSQL/bin/mysqld --defaults-file=/etc/my.cnf --user=mysql --basedir=/usr/local/GreatSQL --datadir=/data/greatsql/greatsqldata3306/mydata --innodb_data_home_dir=/data/greatsql/greatsqldata3306/innodb_ts --innodb_data_file_path=ibdata1:4096M:autoextend --innodb_log_group_home_dir=/data/greatsql/greatsqldata3306/innodb_log --innodb-doublewrite-dir=/data/greatsql/greatsqldata3306/innodb_dblwr --innodb-undo-directory=/data/greatsql/greatsqldata3306/innodb_undo --innodb_temp_tablespaces_dir=/data/greatsql/greatsqldata3306/innodb_temp --initialize-insecure
9、实例启停脚本
编辑systemd系统服务文件，增加GreatSQL服务文件：
vim /lib/systemd/system/greatsql.service
[Unit]
Description=GreatSQL Server
Documentation=man:mysqld(8)
Documentation=http://dev.mysql.com/doc/refman/en/using-systemd.html
After=network.target
After=syslog.target
[Install]
WantedBy=multi-user.target
[Service]
# some limits
# file size
LimitFSIZE=infinity
# cpu time
LimitCPU=infinity
# virtual memory size
LimitAS=infinity
# open files
LimitNOFILE=65535
# processes/threads
LimitNPROC=65535
# locked memory
LimitMEMLOCK=infinity
# total threads (user+kernel)
TasksMax=infinity
TasksAccounting=false
User=mysql
Group=mysql
Type=notify
TimeoutSec=0
PermissionsStartOnly=true
#ExecStartPre=/usr/local/GreatSQL/bin/mysqld_pre_systemd
ExecStart=/usr/local/GreatSQL/bin/mysqld $MYSQLD_OPTS
EnvironmentFile=-/etc/sysconfig/greatsql
LimitNOFILE = 10000
Restart=on-failure
RestartPreventExitStatus=1
Environment=MYSQLD_PARENT_PID=1
PrivateTmp=false
重新加载systemd，使其生效：
systemctl daemon-reload
启动数据库实例、登录并修改管理员账号密码：
systemctl start greatsql
mysql -h localhost -u root -S /data/greatsql/greatsqldata3306/sock/greatsql.sock
alter user root@localhost identified with mysql_native_password by 'root@PWD123';
四、手动方式配置MGR
使用手动方式配置MGR集群步骤如下：
1、初始化MGR第一个节点
MGR的第一个节点，也称之为引导节点。
修改 /etc/my.cnf ，增加以下几行和MGR相关的配置参数：
plugin_load_add='group_replication.so;mysql_clone.so'
group_replication_group_name="aaaaaaaa-aaaa-aaaa-aaaa-aaaaaabbbbbb"
group_replication_local_address= "192.168.68.101:33061"
group_replication_group_seeds= "192.168.68.101:33061,192.168.68.102:33061,192.168.68.103:33061"
report-host=192.168.68.101
选项 report-host 的作用是向MGR其他节点报告本节点使用的地址，避免某个服务器上有多个主机名时，可能无法正确找到对应关系而使得MGR无法启动的问题。此外，设置了 report-host 后，修改 /etc/hosts 系统文件加入各节点的地址及主机名这个步骤就不是必须的了。
另外，注意上面配置的端口写的是 33061 而不是 3306，这是为MGR服务指定专用的通信端口，区别于GreatSQL正常的读写服务端口。这里的 33061 端口号可以自定义，例如写成 12345 也可以，注意该端口不能被防火墙拦截。
重启GreatSQL，之后就应该能看到已经成功加载 group_replicaiton 插件了：
systemctl restart greatsql
mysql -h localhost -u root -S /data/greatsql/greatsqldata3306/sock/greatsql.sock -proot@PWD123
show plugins;
如果没正确加载，也可以登入GreatSQL，执行如下命令手动加载这个plugin：
install plugin group_replication soname 'group_replication.so';
install plugin clone soname 'clone.so';
接下来，创建MGR服务专用账户，并准备配置MGR服务通道：
#每个节点都要单独创建用户，因此这个操作没必要记录binlog并复制到其他节点
set session sql_log_bin=0;
create user repl@'%' identified with mysql_native_password by 'repl';
grant backup_admin, replication slave on *.* to `repl`@`%`;
set session sql_log_bin=1;
#配置MGR服务通道
change replication source to source_user='repl', source_password='repl' for channel 'group_replication_recovery';
执行下面的命令，将其设置为MGR的引导节点（只有第一个节点需要这么做）后即可直接启动MGR服务：
set global group_replication_bootstrap_group=ON;
reset master;
start group_replication;
set global group_replication_bootstrap_group=OFF;
提醒：当整个MGR集群重启时，第一个启动的节点也要先设置为引导模式，然后再启动其他节点。除此外，请勿设置引导模式。
查看MGR服务状态：
select * from performance_schema.replication_group_members G
如上图所示，第一个节点已成功运行。
2、配置MGR另外两个节点
修改 /etc/my.cnf ，增加以下几行和MGR相关的配置参数：
注：和第一个MGR不同的配置项是：group_replication_local_address、report-host
#192.168.68.102
plugin_load_add='group_replication.so;mysql_clone.so'
group_replication_group_name="aaaaaaaa-aaaa-aaaa-aaaa-aaaaaabbbbbb"
group_replication_local_address= "192.168.68.102:33061"
group_replication_group_seeds= "192.168.68.101:33061,192.168.68.102:33061,192.168.68.103:33061"
report-host=192.168.68.102
#192.168.68.103
plugin_load_add='group_replication.so;mysql_clone.so'
group_replication_group_name="aaaaaaaa-aaaa-aaaa-aaaa-aaaaaabbbbbb"
group_replication_local_address= "192.168.68.103:33061"
group_replication_group_seeds= "192.168.68.101:33061,192.168.68.102:33061,192.168.68.103:33061"
report-host=192.168.68.103
修改配置文件后，重启数据库服务：systemctl restart greatsql
执行如下命令，创建专用复制账号：
set session sql_log_bin=0;
create user repl@'%' identified with mysql_native_password by 'repl';
grant backup_admin, replication slave on *.* to `repl`@`%`;
set session sql_log_bin=1;
配置MGR服务通道，启动组复制
change replication source to source_user='repl', source_password='repl' for channel 'group_replication_recovery';
reset master;
start group_replication;
查看MGR集群成员状态：
注：如上图所示，MGR集群3个节点已成功配置运行，
3、测试验证MGR集群
登录MGR主节点，创建数据库对象并插入记录，查看数据是否成功同步从节点。
#在主节点192.168.68.101，执行如下命令：
create database testdb;
use testdb;
create table t1 (id int not null primary key, name varchar(30), crte_time timestamp);
insert into t1 values(1, '张三', now()), (2, '李四', now()), (3, '王五', now());
select * from t1;
select @@server_uuid;
#在从节点192.168.68.102、192.168.68.103，执行如下命令，查看数据是否成功同步：
use testdb;
select * from t1;
select @@server_uuid;
五、MySQL Shell方式配置MGR
使用脚本(MySQL Shell)方式配置MGR集群步骤如下：
1、安装MySQL Shell
#使用官方版本
tar -xvf mysql-shell-8.0.35-linux-glibc2.28-x86-64bit.tar.gz -C /usr/local/
ln -s /usr/local/mysql-shell-8.0.35-linux-glibc2.28-x86-64bit /usr/local/mysql-shell
export MYSQL_SHELL=/usr/local/mysql-shell
export PATH=$PATH:$MYSQL_SHELL/bin
2、修改配置文件
在192.168.68.104-106三个节点配置文件(/etc/my.cnf)中添加如下配置项后，重启数据库服务：
#节点192.168.68.104
plugin_load_add='group_replication.so;mysql_clone.so'
group_replication_local_address= "192.168.68.104:33061"
report-host=192.168.68.104
#节点192.168.68.105
plugin_load_add='group_replication.so;mysql_clone.so'
group_replication_local_address= "192.168.68.105:33061"
report-host=192.168.68.105
#节点192.168.68.106
plugin_load_add='group_replication.so;mysql_clone.so'
group_replication_local_address= "192.168.68.106:33061"
report-host=192.168.68.106
3、使用MySQL Shell构建MGR集群
利用MySQL Shell构建MGR集群比较简单，主要有几个步骤：
1)、检查实例是否满足条件。
2)、创建并初始化一个集群。
3)、逐个添加实例。
首先，用管理员账号 root 连接到第一个节点：
mysqlsh --uri root@localhost:3306 -proot@PWD123
执行命令 status 查看当前节点的状态，确认连接正常可用。
执行 dba.configureInstance() 命令开始检查当前实例是否满足安装MGR集群的条件，如果不满足可以直接配置成为MGR集群的一个节点：
提示当前的用户是管理员，不能直接用于MGR集群，需要新建一个账号(mgradmin/mgradmin@PWD123)：
完成检查并创建完新用户后，退出当前的管理员账户，并用新创建的MGR专用账户登入，准备初始化创建一个新集群：
mysqlsh --uri mgradmin@192.168.68.104:3306 -pmgradmin@PWD123
mymgr = dba.createCluster('MGR2');
mymgr.status();
如上步骤完成了MGR集群的初始化并加入第一个节点（引导节点）。
接下来，用同样方法先用 root 账号分别登入到另外两个节点，完成节点的检查并创建最小权限级别用户（此过程略过。。。注意各节点上创建的用户名、密码都要一致），之后回到第一个节点，执行如下命令添加另外两个节点。
mymgr.addInstance('mgradmin@192.168.68.105:3306');
mymgr.addInstance('mgradmin@192.168.68.106:3306');
再次执行：mymgr.status(); 命令可查看到3个节点已正常创建，或者切换到SQL模式查看，如下：
sql
select * from performance_schema.replication_group_members G
4、测试验证MGR集群
登录MGR主节点，创建数据库对象并插入记录，查看数据是否成功同步从节点。
#在主节点192.168.68.104，执行如下命令：
mysql -h localhost -S /data/greatsql/greatsqldata3306/sock/greatsql.sock -proot@PWD123
create database testdb;
use testdb;
create table t1 (id int not null primary key, name varchar(30), crte_time timestamp);
insert into t1 values(1, '张三', now()), (2, '李四', now()), (3, '王五', now());
select * from t1;
select @@server_uuid;
#在从节点192.168.68.105、192.168.68.106，执行如下命令，查看数据是否成功同步：
mysql -h localhost -S /data/greatsql/greatsqldata3306/sock/greatsql.sock -proot@PWD123
use testdb;
select * from t1;
select @@server_uuid;
六、MGR管理维护
MGR集群的日常管理维护操作，包括集群启停、主节点切换、单主/多主模式切换等。
1、启停MGR集群
分别验证脚本(MySQL Shell)和手动实现方式。
1.1、脚本方式(MGR2)
使用MySQL Shell重启MGR集群，只需调用dba.rebootClusterFromCompleteOutage()函数即可，它会自动判断各节点的状态，选择其中一个作为Primary节点，然后拉起各节点上的MGR服务，完成MGR集群重启。
步骤如下(MGR2)：
1、启动个节点数据库服务 systemctl start greatsql
2、使用MySQL Shell登录其中一个节点，调用脚本函数启动集群
mysqlsh --uri mgradmin@localhost:3306 -pmgradmin@PWD123
dba.rebootClusterFromCompleteOutage();
mymgr=dba.getCluster();
mymgr.status();
也可使用describe方法查看：
1.2、手动方式(MGR1)
正常情况下，MGR集群中的Primary节点退出时，剩下的节点会自动选出新的Primary节点。当最后一个节点也退出时，相当于整个MGR集群都关闭了。这时候任何一个节点启动MGR服务后，都不会自动成为Primary节点，需要在启动MGR服务前，先设置 group_replication_bootstrap_group=ON，使其成为引导节点，再启动MGR服务，它才会成为Primary节点，后续启动的其他节点也才能正常加入集群。
步骤如下(MGR1)：
1、启动个节点数据库服务 systemctl start greatsql
2、启第一个节点作为引导节点
set global group_replication_bootstrap_group=ON;
start group_replication;
set global group_replication_bootstrap_group=OFF;
select * from performance_schema.replication_group_members;
3、启动另外两个节点
注：除第一个节点作为引导节点需要设置group_replication_bootstrap_group外，其他节点只需直接启动组复制服务即可。
start group_replication;
select * from performance_schema.replication_group_members G
2、切换主节点
分别验证脚本(MySQL Shell)和手动实现方式。
2.1、脚本方式(MGR2)
在MySQL Shell中，可以调用 setPrimaryInstance('IP:PORT') 函数进行切换：
mysqlsh --uri mgradmin@localhost:3306 -pmgradmin@PWD123
mymgr=dba.getCluster();
mymgr.status(); #查看当前主节点
当前主节点是192.168.68.104，执行如下命令切换为192.168.68.105
mymgr.setPrimaryInstance('192.168.68.105:3306');
再次查看当前主节点：
2.2、手动方式(MGR1)
在命令行模式下，可以使用group_replication_set_as_primary('SERVER_UUID')这个UDF实现切换。
mysql -h localhost -u root -S /data/greatsql/greatsqldata3306/sock/greatsql.sock -proot@PWD123
查看当前节点角色信息
select member_id, member_host, member_port, member_state, member_role from performance_schema.replication_group_members;
当前主节点为192.168.68.101，执行如下命令切换为192.168.68.102
select group_replication_set_as_primary('bd2775c5-014c-11ef-9ae3-005056380108');
再次查看节点角色，以修改192.168.68.102为主节点：
select member_id, member_host, member_port, member_state, member_role from performance_schema.replication_group_members;
3、切换单主/多主模式
分别验证脚本(MySQL Shell)和手动实现方式。
3.1、脚本方式(MGR2)
调用函数switchToMultiPrimaryMode()和switchToSinglePrimaryMode('IP:PORT')可以实现分别切换到多主、单主模式。
集群MGR2当前为单主模式，执行如下脚本函数切换为多主模式：
mymgr=dba.getCluster();
mymgr.switchToMultiPrimaryMode();
查看节点角色信息，都已是主节点角色：
sql
select member_id, member_host, member_port, member_state, member_role from performance_schema.replication_group_members;
执行如下脚本函数，重新切换回单主(192.168.68.104)模式：
js
mymgr.switchToSinglePrimaryMode('192.168.68.104:3306');
再次查看节点角色信息，已修改为单主模式：
sql
select member_id, member_host, member_port, member_state, member_role from performance_schema.replication_group_members;
3.2、手动方式(MGR1)
在命令行模式下，可以调用group_replication_switch_to_single_primary_mode('SERVER_UUID') 和 group_replication_switch_to_multi_primary_mode() 来切换单主/多主模式。
集群MGR1当前为单主模式，执行如下UDF函数切换为多主模式：
select group_replication_switch_to_multi_primary_mode();
查看节点角色信息，已切换为多主模式：
select member_id, member_host, member_port, member_state, member_role from performance_schema.replication_group_members;
继续执行如下UDF函数切换回单主模式，切换192.168.68.101为主节点：
select group_replication_switch_to_single_primary_mode('9e5c18ad-018c-11ef-abce-0050562957d9');
4、添加和删除节点
分别验证脚本(MySQL Shell)和手动实现方式。
MGR1和MGR2分别添加节点192.168.68.107、192.168.68.108
4.1、脚本方式(MGR2)
启动192.168.68.108到加入节点数据库服务：
systemctl start greatsql
调用函数 dba.configureInstance() 完成初始化检查工作，提示当前的用户是管理员，不能直接用于MGR集群，需要新建一个账号(mgradmin/mgradmin@PWD123)：
mysqlsh --uri root@localhost:3306 -proot@PWD123
登录192.168.68.104节点，执行脚本函数将108节点加入集群：
mysqlsh --uri mgradmin@192.168.68.104:3306 -pmgradmin@PWD123
mymgr=dba.getCluster();
mymgr.describe();
mymgr.addInstance('mgradmin@192.168.68.108:3306');
再次查看节点信息，192.168.68.108已成功加入集群：
mymgr.describe();
删除节点比较简单，调用 removeInstance('USER@IP:PORT') 函数即可：
执行如下脚本函数，将刚才加入的节点踢出集群：
mymgr.removeInstance('mgradmin@192.168.68.108:3306');
这就将该节点踢出集群了，并且会重置 group_replication_group_seeds 和 group_replication_local_address 两个选项值，之后该节点如果想再加入集群，只需调用 addInstance('USER@IP:PORT') 重新加回即可。
4.2、手动方式(MGR1)
首先，要先完成MySQL Server初始化，创建好MGR专用账户、设置好MGR服务通道等前置工作。
接下来，直接执行命令 start group_replication 启动MGR服务即可，新增的节点会进入分布式恢复这个步骤，它会从已有节点中自动选择一个作为捐献者（donor），并自行决定是直接读取binlog进行恢复，还是利用Clone进行全量恢复。
如果是已经在线运行一段时间的MGR集群，有一定存量数据，这时候新节点加入可能会比较慢，建议手动利用Clone进行一次全量复制。还记得前面创建MGR专用账户时，给加上了 BACKUP_ADMIN 授权码，这时候就排上用场了，Clone需要用到这个权限。
#配置文件添加MGR相关配置项：
vi /etc/my.cnf
plugin_load_add='group_replication.so;mysql_clone.so'
group_replication_group_name="aaaaaaaa-aaaa-aaaa-aaaa-aaaaaabbbbbb"
group_replication_local_address= "192.168.68.107:33061"
group_replication_group_seeds= "192.168.68.101:33061,192.168.68.102:33061,192.168.68.103:33061,192.168.68.107:3306"
report-host=192.168.68.107
#重启服务后,登录待加入节点 192.168.68.107
systemctl restart greatsql
mysql -h localhost -u root -S /data/greatsql/greatsqldata3306/sock/greatsql.sock -proot@PWD123
#创建复制账号
set session sql_log_bin=0;
create user repl@'%' identified with mysql_native_password by 'repl';
grant backup_admin, replication slave on *.* to `repl`@`%`;
set session sql_log_bin=1;
为了降低对Primary节点的影响，建议选择其他Secondary节点：
set global clone_valid_donor_list='192.168.68.102:3306';
#停掉mgr服务（如果有的话），关闭super_read_only模式，然后开始复制数据
#注意这里要填写的端口是3306（MySQL正常服务端口），而不是33061这个MGR服务专用端口
stop group_replication;
set global super_read_only=0;
clone instance from repl@192.168.68.102:3306 identified by 'repl';
注：克隆过程中可以另开窗口查看状态和进度：
select * from performance_schema.clone_status G
select * from performance_schema.clone_progress;
全量复制完数据后，该节点会进行一次自动重启。重启完毕后，再次确认 group_replication_group_name、group_replication_local_address、group_replication_group_seeds 这些选项值是否正确，如果没问题，执行 start group_replication 后，该节点应该就可以正常加入集群了。
登录主节点192.168.68.101,查看107节点已成功加入集群：
在命令行模式下，一个节点想退出MGR集群，直接执行 stop group_replication 即可，如果这个节点只是临时退出集群，后面还想加回集群，则执行 start group_replication 即可自动再加入。而如果是想彻底退出集群，则停止MGR服务后，执行 reset master; reset slave all; 重置所有复制（包含MGR）相关的信息就可以了。
5、使用MySQL Shell接管现存MGR集群
对于已经在运行中的MGR集群，也是可以用MySQL Shell接管的。只需要在调用 createCluster() 函数时，加上 adoptFromGR:true 选项即可。实际上不加这个选项的话，MySQL Shell也会自动检测到该MGR集群已存在，并询问是否要接管。
MGR1集群(192.168.68.101-103,107)当前是使用手动方式管理，现切换为使用MySQL Shell脚本方式接管。
#登录到当前集群所有节点，执行dba.configureInstance(); 创建MGR账号：
mysqlsh --uri root@localhost:3306 -proot@PWD123
dba.configureInstance();
#使用MGR账号登录当前主节点： 192.168.68.102
mysqlsh --uri mgradmin@192.168.68.102:3306 -pmgradmin@PWD123
mymgr=dba.createCluster('MGR1', {adoptFromGr:true});
#查看集群当前节点信息
mymgr.status(); #mymgr.describe();
6、使用MySQL Router构建读写分离
MySQL Router是一个轻量级的中间件，它采用多端口的方案实现读写分离以及读负载均衡，而且同时支持mysql和mysql x协议。
建议把MySQL Router部署在应用服务器上，每个应用服务器都部署一套，这样应用程序可以直接连接本机IP，连接的效率更高，而且后端数据库发生变化时，程序端也无需修改IP配置。
6.1、部署MySQL Router
rpm -ivh greatsql-mysql-router-8.0.32-25.1.el8.x86_64.rpm
MySQL Router第一次启动时要先初始化：
mysqlrouter --bootstrap mgradmin@192.168.68.101:3306 --user=mysqlrouter
参数解释参数：
--bootstrap 表示开始初始化参数
mgradmin@192.168.68.101:3306 是MGR服务专用账号
--user=mysqlrouter 是运行mysqlrouter进程的系统用户名
# 然后mysqlrouter开始自动进行初始化
# 它会自动读取MGR的元数据信息，自动生成配置文件
如果想自定义名字和目录，还可以在初始化时自行指定 --name 和 --directory 选项，这样可以实现在同一个服务器上部署多个Router实例。
列如：针对4306端口的服务，初始化一个router实例，可自行指定目录、实例名、端口号等多个选项
mysqlrouter --bootstrap mymgr@172.16.16.16:4306 --name=MyMGR --directory=/etc/mysqlrouter/MyMGR --user=mysqlrouter --conf-base-port=7446 --https-port=9443
6.2、启动myqlrouter服务
mysqlrouter 初始化时自动生成的配置文件是 /etc/mysqlrouter/mysqlrouter.conf，主要是关于R/W、RO不同端口的配置。可以根据需要自行修改绑定的IP地址和端口，也可以在初始化时指定 --conf-base-port 选项自定义初始端口号。
systemctl start mysqlrouter
6.3、验证读写分离
用客户端连接到6446（读写）端口，确认连接的是Primary节点：
mysql -h 192.168.68.107 -P 6446 -u mgradmin -pmgradmin@PWD123
select member_id,member_role from performance_schema.replication_group_members;
select @@server_uuid;
同样地，连接6447（只读）端口，确认连接的是Secondary节点：
mysql -h 192.168.68.107 -P 6447 -u mgradmin -pmgradmin@PWD123
select member_id,member_role from performance_schema.replication_group_members;
select @@server_uuid;
6.4、验证只读负载均衡
MySQL Router连接读写节点（Primary节点）默认的策略是 first-available，即只连接第一个可用的节点。Router连接只读节点（Secondary节点）默认的策略是 round-robin-with-fallback，会在各个只读节点间轮询。
保持6447端口原有的连接不退出，继续新建到6447端口的连接，查看变量值：server_uuid，这时应该会发现读取到的是其他只读节点的值，因为mysqlrouter的读负载均衡机制是在几个只读节点间自动轮询。在默认的round-robin-with-fallback策略下，只有当所有Secondary节点都不可用时，只读请求才会打到Primary节点上。
#在多台客户端连接6447端口，查看只读负载均衡情况：
mysql -h 192.168.68.107 -P 6447 -u mgradmin -pmgradmin@PWD123
select member_id,member_role from performance_schema.replication_group_members;
select @@server_uuid;
6.5、验证故障自动转移
模拟Primary节点宕机或切换时，mysqlrouter 也能实现自动故障转移。
#先查看当前集群中，各节点角色情况：
select member_host, member_port, member_state, member_role from performance_schema.replication_group_members;
注：当前集群主节点是192.168.68.101:3306
切换集群主节点到：192.168.68.102:3306
mymgr.setPrimaryInstance('192.168.68.102:3306');
sql
select member_host, member_port, member_state, member_role from performance_schema.replication_group_members;
注：如上所示，集群当前主节点已经切换为192.168.68.102:3306
再次登录mysqlrouter的6446端口查看：
mysql -h 192.168.68.107 -P 6446 -u mgradmin -pmgradmin@PWD123
select member_id,member_role from performance_schema.replication_group_members;
select @@server_uuid
注：如上图所示，再次登录6446端口，访问的是集群切换后的主节点。
7、MGR状态监控
MGR和传统主从复制类似，在运行过程中主要关注各节点的运行状态，以及Secondary节点的事务是否有延迟等。
7.1、节点状态监控
通过查询 performance_schema.replication_group_members 表即可知道MGR各节点的状态：
select member_id, member_host, member_port, member_state, member_role from performance_schema.replication_group_members;
输出结果中主要几个列的解读如下：
MEMBER_ID 列值就是各节点的 server_uuid，用于唯一标识每个节点，在命令行模式下，调用 udf 时传入 MEMBER_ID 以指定各节点。
MEMBER_ROLE 表示各节点的角色，如果是 PRIMARY 则表示该节点可接受读写事务，如果是 SECONDARY 则表示该节点只能接受只读事务。如果只有一个节点是 PRIMARY，其余都是 SECONDARY，则表示当前处于 单主模式；如果所有节点都是 PRIMARY，则表示当前处于 多主模式。
MEMBER_STATE 表示各节点的状态，共有几种状态：ONLINE、RECOVERING、OFFLINE、ERROR、UNREACHABLE 等，下面分别介绍几种状态。
ONLINE表示节点处于正常状态，可提供服务。
RECOVERING表示节点正在进行分布式恢复，等待加入集群，这时候有可能正在从donor节点利用clone复制数据，或者传输binlog中。
OFFLINE表示该节点当前处于离线状态。提醒，在正要加入或重加入集群时，可能也会有很短瞬间的状态显示为OFFLINE。
ERROR表示该节点当前处于错误状态，无法成为集群的一员。当节点正在进行分布式恢复或应用事务时，也是有可能处于这个状态的。当节点处于ERROR状态时，是无法参与集群事务裁决的。节点正在加入或重加入集群时，在完成兼容性检查成为正式MGR节点前，可能也会显示为ERROR状态。
UNREACHABLE当组通信消息收发超时时，故障检测机制会将本节点标记为怀疑状态，怀疑其可能无法和其他节点连接，例如当某个节点意外断开连接时。当在某个节点上看到其他节点处于 UNREACHABLE 状态时，有可能意味着此时部分节点发生了网络分区，也就是多个节点分裂成两个或多个子集，子集内的节点可以互通，但子集间无法互通。
当节点的状态不是ONLINE时，就应当立即发出告警并检查发生了什么。
在节点状态发生变化时，或者有节点加入、退出时，表 performance_schema.replication_group_members的数据都会更新，各节点间会交换和共享这些状态信息，因此可以在任意节点查看。
7.2、事务状态监控
可以执行下面的命令查看当前除了 PRIMARY 节点外，其他节点的 trx_tobe_certified 或 relaylog_tobe_applied 值是否较大：
select member_id as id, count_transactions_in_queue as trx_tobe_certified, count_transactions_remote_in_applier_queue as relaylog_tobe_applied, count_transactions_checked as trx_chkd, count_transactions_remote_applied as trx_done, count_transactions_local_proposed as proposed from performance_schema.replication_group_member_stats;
其中，relaylog_tobe_applied 的值表示远程事务写到relay log后，等待回放的事务队列，trx_tobe_certified 表示等待被认证的事务队列大小，这二者任何一个值大于0，都表示当前有一定程度的延迟。
还可以通过关注上述两个数值的变化，看看两个队列是在逐步加大还是缩小，据此判断Primary节点是否"跑得太快"了，或者Secondary节点是否"跑得太慢"。
注：如果启用流控（flow control）时，上述两个值超过相应的阈值时（group_replication_flow_control_applier_threshold 和 group_replication_flow_control_certifier_threshold 默认阈值都是 25000），就会触发流控机制。
7.3、其他监控
另外，也可以查看接收到的事务和已执行完的事务之间的差距来判断：
select received_transaction_set from performance_schema.replication_connection_status where channel_name = 'group_replication_applier' union all select variable_value from performance_schema.global_variables where variable_name = 'gtid_executed' G
注：当原来的主节点发生故障，想要手动选择某个节点做为新的主节点时，应该先判断哪个节点已执行的事务GTID值更大，应优先选择该节点。
