Xtrabackup数据库备份工具

一、简介

Xtrabackup是由percona提供的mysql数据库备份工具，据官方介绍，这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具。特点：

Xtrabackup

二、概念

1、xtrabackup与MySQL版本对应关系

Percona XtraBackup软件版本通常与Mysql版本对应

2.4.20 based on MySQL server 5.7.26

2、备份的文件

3、备份使用的用户权限

• RELOAD和LOCK TABLES权限，执行FLUSH TABLES WITH READ LOCA；
• REPLICATION CLIENT权限，获取binary log（二进制日志文件）位置；
• CREATE TABLEPACE权限，导入表，用户表级别的恢复；
• SUPER权限，在slave环境下备份用来启用和关闭slave线程。

create user 'xtrabackup'@'192.168.1.%' identified by '密码';
GRANT reload,
            LOCK TABLES,
            process,
            replication client 
    ON *.* 
    TO 'xtrabackup'@'192.168.1.%';
flush privileges;

4、备份恢复过程步骤

①备份过程(backup)

• 在启动xtrabackup时记下LSN并将redo log拷贝到备份目标目录下的xtrabackup_logfile文件中。由于拷贝需要一定时间，如果在拷贝时间段内有日志写入，将导致拷贝的日志和MySQL的redo log不一致，所以xtrabackup还有一个后台进程监控着mysql的redo log，每秒监控一次，当MySQL的redo log有变化，该监控进程会立即将变化的内容写入到xtrabackup_logfile文件，这样就能保证拷贝走的redo log中记录了一切变化。但是这也是有风险的，因为redo是轮训式循环写入的，如果某一时刻有非常大量的日志写到redo log中，使得还没开始复制的日志就被新日志覆盖了，这样会日志丢失，并报错。
• 拷贝完初始版的redo log后，xtrabackup开始拷贝innodb表的数据文件(即表空间文件.ibd文件和ibdata1)。注意，此时不拷贝innodb的frm文件。
• 当innodb相关表的数据文件拷贝完成后，xtrabackup开始准备拷贝非innodb的文件。但在拷贝它们之前，要先对非innodb表进行加锁防止拷贝时有语句修改这些类型的表数据。对于不支持backup lock的版本，只能通过flush tables with read lock来获取全局读锁，但这样也同样会锁住innodb表，杀伤力太大。所以使用xtrabackup备份Oracle的MySQL，实质上只能实现innodb表的部分时间热备、部分时间温备。对于支持backup lock的版本，xtrabackup通过lock tables for backup获取轻量级的backup locks来替代flush tables with read lock，因为它只锁定非innodb表，所以由此实现了innodb表的真正热备。
• 当获取到非innodb表的锁以后，开始拷贝非innodb表的数据和.frm文件。当这些拷贝完成之后，继续拷贝其他存储引擎类型的文件。(实际上，拷贝非innodb表的数据是在获取backup locks(如果支持)后自动进行的，它们属于同一个过程)
• 当拷贝阶段完成后，就到了备份的收尾阶段。包括获取二进制日志中一致性位置的坐标点、结束redo log的监控和拷贝、释放锁等。对于不支持backup lock的版本，收尾阶段的过程是这样的：获取二进制日志的一致性坐标点、结束redo log的监控和拷贝、释放锁。对于支持backup lock的版本，收尾阶段的过程是这样的：先通过lock binlog for bakcup来获取二进制日志锁，然后结束redo log的监控和拷贝，再unlock tables释放表锁，随后获取二进制日志的一致性位置坐标点，最后unlock binlog释放二进制日志锁。
• 如果一切都OK，xtrabackup将以状态码0退出。

②准备过程(prepare)

由于备份的时候拷贝走的数据文件可能是不一致的，比如监控着MySQL的redo log中在拷贝过程完成后又新的事务提交了，而拷贝走的数据是未提交状态的，那么就需要对该事务前滚；如果监控到的日志中有事务未提交，那么该事务就需要回滚。

但是如果只备份了myisam表或其他非事务表数据，因为备份阶段直接锁定了这些表，所以不会有不一致的状态。

xtrabackup有一个”准备”的阶段。这个阶段的实质就是对备份的innodb数据应用redo log，该回滚的回滚，该前滚的前滚，最终保证xtrabackup_logfile中记录的redo log已经全部应用到备份数据页上，并且实现了一致性。当应用结束后，会重写”xtrabackup_logfile”再次保证该redo log和备份的数据是对应的。

准备过程不需要连接数据库，该过程可以在任意装了xtrabackup软件的机器上进行，之所能实现是因为xtrabackup软件的内部嵌入了一个简化的innodb存储引擎，可以通过它完成日志的应用

③恢复过程(copy back)

xtrabackup的恢复过程实质是将备份的数据文件和结构定义等文件拷贝回MySQL的datadir。同样可以拷贝到任意机器上。

要求恢复之前MySQL必须是停止运行状态，且datadir是空目录。

三、安装

YUM

yum install -y perl rsync perl-Data-Dumper
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.3.5/binary/redhat/7/x86_64/percona-xtrabackup-2.3.5-1.el7.x86_64.rpm
yum clean all 
yum repolist
yum localinstall percona-xtrabackup-2.3.2-1.el7.x86_64.rpm

APT

wget https://repo.percona.com/apt/percona-release_0.1-6.$(lsb_release -sc)_all.deb
dpkg -i percona-release_0.1-6.bionic_all.deb
apt-get update
apt-get install percona-xtrabackup

源代码

①下载源代码

git clone https://github.com/percona/percona-xtrabackup.git

②安装编译依赖

apt-get install build-essential flex bison automake autoconf 
   libtool cmake libaio-dev mysql-client libncurses-dev zlib1g-dev 
   libgcrypt11-dev libev-dev libcurl4-gnutls-dev vim-common

yum install cmake gcc gcc-c++ libaio libaio-devel automake autoconf 
  bison libtool ncurses-devel libgcrypt-devel libev-devel libcurl-devel 
  vim-common

③编译安装

cd percona-xtrabackup
git checkout 2.3
cmake -DBUILD_CONFIG=xtrabackup_release -DWITH_MAN_PAGES=OFF 
make -j4
make install
# 默认安装在/usr/local/xtrabackup路径下，可使用 make DESTDIR=安装路径 install 指定安装路径

2.3 编译参考文档：https://www.percona.com/doc/percona-xtrabackup/2.3/installation/compiling_xtrabackup.html

2.4 编译参考文档：https://docs.percona.com/percona-xtrabackup/2.4/installation/compiling_xtrabackup.html

2.4.x不再支持在MacOS X上编译，参考https://bugs.launchpad.net/percona-xtrabackup/+bug/1736119

Docker

只有2.4以上的版本

• 需要挂载数据库实例数据目录到容器内相同路径下，可使用只读模式进行挂载。
• 同时可以持久化挂载本地文件到容器的/backup路径下，将数据备份到该路径下。

docker run -it --rm --name percona-xtrabackup 
  -v ./stg-mysql56-backups:/backup 
  -v /usr/local/var/mysql57:/usr/local/var/mysql57:ro 
  percona/percona-xtrabackup:2.4.26 
  innobackupex --backup -uxtrabackup -p**密码** -P3306 -H127.0.0.1 /backup

• 对于容器化的MySQL，实例数据路径需要挂载到/var/lib/mysql

docker run -it --rm --name percona-xtrabackup 
  -v ./stg-mysql56-backups:/backup 
  -v /data/docker-volume-data/mysql57:/var/lib/mysql:ro 
  percona/percona-xtrabackup:2.4.26 
  innobackupex --backup -uxtrabackup -p**密码** -P3306 -H127.0.0.1 /backup

MacOS

默认安装最新的8.+版本

brew install percona-xtrabackup
# 默认安装在/usr/local/Cellar/percona-xtrabackup/版本  路径下

四、命令参数

1、innobackupex命令

2、xtrabackup命令

五、备份

1、全量备份

MySQL 5.6及之前的版本只能使用XtraBackup 2.3版本的innobackupex命令进行备份（XtraBackup 2.3版本的安装参照第三章节的源码安装步骤）

-H, –host 指定主机

-u, –user 指定用户名

-p, –password 指定密码

-P, –port 指定端口

–databases 指定数据库

/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --backup 
  ./stg-mysql56-backups

# 2.4.x备份命令
xtrabackup 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --backup --target-dir=/data/backups/

备份成功后

2、加解密备份

• 加密生成加密key：openssl rand -base64 24–encrypt=加密算法 支持的加密算法：AES128, AES192, AES256–encrypt-key=密钥–encrypt-threads=N 加密进程个数。默认一个

encryptkey=$(openssl rand -base64 24)

/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --encrypt=AES256 
  --encrypt-key=$encryptkey  
  --encrypt-threads=3 
  --backup 
  --compress 
  ./stg-mysql56-backups

• 解密

/usr/local/xtrabackup2.3/bin/innobackupex 
  --decrypt=AES256 
  --encrypt-key=$encryptkey 
  --remove-original 
  ./stg-mysql56-backups/2022-09-28_16-44-37

3、解压缩备份

①自带quicklz压缩算法

*.qp压缩文件是qpress压缩格式

–compress：开启压缩

–compress-threads=N ： 使用N个压缩线程

–compress-chunk-size：该选项表示每个压缩线程worker buffer的大小，单位是字节，默认是64K。

/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --compress 
  --compress-threads=4 
  --backup 
  ./stg-mysql56-backups

解压备份文件

解压需要安装qpress命令。

 # https://github.com/mhorbul/homebrew-qpress
 brew tap mhorbul/qpress
 brew install qpress

 yum install epel-release
 yum install -y qpress

–decompress 解压参数

–remove-original 解压完成后并删除压缩文件

–parallel 多线程解压

/usr/local/xtrabackup2.3/bin/innobackupex 
  --decompress 
  --remove-original 
  --parallel 4 
  ./stg-mysql56-backups/2022-09-28_16-44-37

# 手动删除原压缩文件
find ./stg-mysql56-backups/2022-09-28_16-44-37 -name "*.qp" | xargs rm -f

②流式tar

–stream=tar 表示流式备份的格式，backup完成之后以指定格式到STDOUT，目前只支持tar和xbstream。

/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --stream=tar /tmp |gzip -> stg-mysql56-backups-20220928.tar.gz

将备份发送到另一个主机并解压

/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --stream=tar ./ | ssh user@destination 
  "cat - > /data/mysql-backups/stg-mysql56-backups-20220928.tar"

解压备份文件

tar -zxvf stg-mysql56-backups-20220928.tar.gz

③流式xstream

/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --compress 
  --stream=xbstream /tmp > ./stg-mysql56-backups-20220928.xbs

将备份发送到另一个主机并解压

/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --compress 
  --stream=xbstream /tmp | ssh user@destination 
  "/usr/local/xtrabackup2.3/bin/xbstream -x -C /data/mysql-backups/stg-mysql56-backups-20220928"

解压备份文件

cat ./stg-mysql56-backups-20220928.xbs | /usr/local/xtrabackup2.3/bin/xbstream -x -C ./test

④压缩方式对比

4、准备备份文件

–apply-log 回滚未提交的事务及同步已经提交的事务至数据文件使数据文件处于一致性状态。

–redo-only 不回滚未提交事务

/usr/local/xtrabackup2.3/bin/innobackupex 
  --apply-log 
  --redo-only ./stg-mysql56-backups/2022-09-28_16-44-37

5、增量备份

–incremental：增量备份目录

–incremental-basedir：全量备份目录

/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --compress 
  --compress-threads=4 
  --incremental ./stg-mysql56-backups 
  --incremental-basedir=./stg-mysql56-backups/2022-09-28_16-44-37

6、合并增量备份

将增量备份数据合并到全备数据目录当中

/usr/local/xtrabackup2.3/bin/innobackupex 
  --apply-log 
  --redo-only ./stg-mysql56-backups/2022-09-28_16-44-37 
  --incremental-dir=./stg-mysql56-backups/2022-09-28_17-51-02

7、选择性备份

选择性备份有三种方式

• –include：可以指定正则来匹配要备份的表，多个正则规则使用“|”分割。
• –tables-file / –databases-file ：从文件中读取要备份的库或表
  • 一行一个库名或者全限定表名
  • 最后一个行必须是空行
  • 文件路径必须是绝对路径。因为命令执行的
• –databases：指定要备份的数据库或表，指定备份的表时要使用完整对象引用格式，多个元素使用空格分割。

使用前两种部分备份方式，只能备份innodb表，不会备份任何myisam，即使指定了也不会备份。而且要备份的表必须有独立的表空间文件，也就是说必须开启了innodb_file_per_table，更精确的说，要备份的表是在开启了innodb_file_per_table选项之后才创建的。 第三种备份方式可以备份myisam表。

①备份指定的库或表

# 指定备份某个database所有的表
backup_database="sysbench sgp"

/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --databases=${backup_database} 
  --backup 
  ./stg-mysql56-backups

# 从文件中读取要备份的库
echo -e 'sysbenchnsgp' > backup-database-file

/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --databases-file=./stg-mysql56-backups/backup-database-file 
  --backup 
  ./stg-mysql56-backups 

# ==========================================================================================

# 备份某个database指定的表
backup_tables="sysbench.sbtest1 sgp.user"
/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --databases=${backup_tables} 
  --backup 
  ./stg-mysql56-backups

# 从文件中读取要备份的表
echo -e 'sysbench.sbtest1nsgp.user' > backup-tables-file

/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --tables-file=./stg-mysql56-backups/backup-tables-file 
  --backup 
  ./stg-mysql56-backups

②正则过滤表备份

backup_tables="sgp.m|sysbench.*|^mat.*[.]matomo_a.*"
# 正则表达匹配的是sgp库中m开头的所有表，sysbench库的所有表，mat开头的所有库中的matomo_a开头的所有表
/usr/local/xtrabackup2.3/bin/innobackupex 
  -H 127.0.0.1 
  -P 3306 
  -u xtrabackup 
  -p **密码** 
  --include=$backup_tables 
  --backup 
  ./stg-mysql56-backups

六、恢复

1、恢复全量备份到空的MySQL实例

2、使用mysqld_safe启动备份文件

①安装对应版本的MySQL

Deb安装

# 安装MySQL 5.6 
wget https://downloads.mysql.com/archives/get/p/23/file/mysql-community-server_5.6.46-1debian8_amd64.deb
wget https://downloads.mysql.com/archives/get/p/23/file/mysql-community-client_5.6.46-1debian8_amd64.deb
wget https://downloads.mysql.com/archives/get/p/23/file/mysql-server_5.6.46-1debian8_amd64.deb
wget https://downloads.mysql.com/archives/get/p/23/file/mysql-client_5.6.46-1debian8_amd64.deb
dpkg -i mysql*

YUM 安装

bash -c 'cat > /etc/yum.repos.d/mysql.repo