概念
什么是读写分离?
读写分离,基本的原理是让主数据库处理事务性增、改、删操作( INSERT、UPDATE、DELETE) ,而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。
主从复制与读写分离
在实际的生产环境中,对数据库的读和写都在同一个数据库服务器中,是不能满足实际需求的。无论是在安全性、高可用性还是高并发等各个方面都是完全不能满足实际需求的。
因此,通过主从复制的方式来同步数据,再通过读写分离来提升数据库的并发负载能力。有点类似于rsync(文件同步工具),但是不同的是rsync是对磁盘文件做备份,而mysql主从复制是对数据库中的数据、语句做备份。
mysql支持的复制类型
(1) STATEMENT:基于语句的复制。在服务器上执行sql语句,在从服务器上执行同样的语句,mysql默认采用基于语句的复制(5.7版本之前),执行效率高。高并发的情况可能会出现执行顺序的误差,事务的死锁。
(2)ROW:基于行的复制。把改变的内容复制过去,而不是把命令在从服务器上执行一 遍。精确,但效率低,保存的文件会更大。(5.7版本之后默认采用ROW模式)
(3)MIXED:混合类型的复制。默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行的复制。更智能,所以大部分情况下使用MIXED。
主从复制的工作过程
Master节点需要开启二进制日志,Slave节点需要开启中继日志。
(1)Master 节点将数据的改变记录成二进制日志(bin log) ,当Master上的数据发生改变时(增删改),则将其改变写入二进制日志中。
(2)Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/O线程请求Master的二进制事件。(请求二进制数据)
(3)同时Master 节点为每个I/O线程启动一个dump线程,用于通知和向其发送二进制事件,I/O线程接收到bin-log内容后,将内容保存至slave节点本地的中继日志(Relay log)中,Slave节点将启动SQL线程从中继日志中读取二进制事件,在本地重放,即解析成sql 语句逐一执行,使得其数据和Master节点的保持一致。最后I/O线程和SQL线程将进入睡眠状态,等待下一次被唤醒。
MySQL主从复制的几个同步模式
1、异步复制(Asynchronous replication)
MySQL默认的复制即是异步的,主库在执行完客户端提交的事务后会立即将结果返给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从上,如果此时,强行将从提升为主,可能导致新主上的数据不完整。
2、全同步复制(Fully synchronous replication)
指当主库执行完一个事务,所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回,所以全同步复制的性能必然会收到严重的影响。
3、半同步复制(Semisynchronous replication)
介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步复制最好在低延时的网络中使用。
主从复制(异步复制)
实验步骤:
每台服务器关闭防火墙和selinux 。
systemctl disable --now firewalld
setenforce 0
MYSQL主从服务器时间同步
时间同步:
- 每台mysql服务器需要设置时间同步,以免数据同步时产生错乱。
- 如果不通外网,则使用ntp服务。如果通外网,可以使用网络时钟源。
下面将演示主节点使用本地时钟源,从节点进行时间同步。
1)主服务器使用本地时钟源。
#安装时间同步工具(本地设置时钟源)
[root@yuji ~]# yum install -y ntp
#修改ntp配置文件,在末尾加入
[root@yuji ~]# vim /etc/ntp.conf
server 127.127.72.0 #设置本地时钟源,注意修改网段(72是网段)
fudge 127.127.72.0 stratum 8 #设置时间层级为8(限制在15以内)
#开启ntpd
[root@yuji ~]# systemctl start ntpd
2)两台从服务器同步主服务器的时间。
#安装时间同步工具
yum install -y ntp
#开启ntpd
systemctl start ntpd
#和主服务器进行时间同步
/usr/sbin/ntpdate 192.168.72.192
#设置定时任务,每30分钟同步一次
crontab -e
*/30 * * * * /usr/sbin/ntpdate 192.168.72.192
主服务器的mysql配置
修改配置文件,创建一个同步账号授权给从数据库使用。
[root@yuji ~]# vim /etc/my.cnf
[mysqld]
......
server-id = 1 #指定服务ID号,master和两台slave都要不同
log-bin=mysql-bin #添加,主服务器开启二进制日志
binlog_format = MIXED #指定二进制日志(binlog)的记录格式为MIXED
log-slave-updates=true #添加,允许slave从master复制数据时可以写入到自己的二进制日志
expire_logs_days = 7 #设置二进制日志文件过期时间,默认值为0,表示logs不过期
max_binlog_size = 500M #设置二进制日志限制大小,如果超出给定值,日志就会发生滚动,默认值是1GB
#重启服务
[root@yuji ~]# systemctl restart mysqld
[root@yuji ~]# mysql -u root -p123456
#给从服务器授权
grant replication slave on *.* to 'myslave'@'192.168.72.%' identified by '123123';
flush privileges; #刷新权限
show master status; #查看主服务器状态
//显示如下
+-------------------+----------+--------------+------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+-------------------+----------+--------------+------------------+
| mysql-bin.000006 | 603 | | |
+-------------------+----------+--------------+------------------+
1 row in set (0.00 sec)
#File 列显示日志名,Position 列显示偏移量
从服务器的mysql配置
#修改配置文件
[root@s1 ~]# vim /etc/my.cnf
[mysqld]
......
server-id = 2 #修改,注意id与Master的不同,两个Slave的id也要不同
relay-log=relay-log-bin #添加,开启中继日志,从主服务器上同步日志文件记录到本地
relay-log-index=slave-relay-bin.index #添加,定义中继日志索引文件的位置和名称,一般和relay-log在同一目录
relay_log_recovery = 1 #选配项
#当 slave 从库宕机后,假如 relay-log 损坏了,导致一部分中继日志没有处理,则自动放弃所有未执行的 relay-log,并且重新从 master 上获取日志,这样就保证了 relay-log 的完整性。默认情况下该功能是关闭的,将 relay_log_recovery 的值设置为 1 时, 可在 slave 从库上开启该功能,建议开启。
#重启服务
[root@s1 ~]# systemctl restart mysqld
#登录数据库,进行同步设置
[root@s1 ~]# mysql -u root -p
CHANGE master to master_host='192.168.72.192',master_user='myslave',master_password='123123',master_log_file='mysql-bin.000006',master_log_pos=603;
#配置同步,注意 master_log_file 和 master_log_pos 的值要与Master查询的一致
start slave; #启动同步,如有报错执行 reset slave;
show slave statusG #查看 Slave 状态
##确保 IO 和 SQL 线程都是 Yes,代表同步正常。
Slave_IO_Running: Yes #负责与主机的IO通信
Slave_SQL_Running: Yes #负责自己的slave mysql进程
##一般 "Slave_IO_Running: No" 的可能原因:
1. 网络不通
2. my.cnf配置有问题(server-id重复)
3. 密码、file文件名、pos偏移量不对
4. 防火墙没有关闭
配置Slave1 服务器:
验证主从复制效果
主服务器上创建新的数据库,执行 create database yuji666;
去从服务器上查看是否同步成功,执行 show databases;
读写分离概念
MySQL读写分离原理
- 读写分离就是只在主服务器上写,只在### 1)安装 Java 环境
ini
复制代码
#因为 Amoeba 基于是 jdk1.5 开发的,所以官方推荐使用 jdk1.5 或 1.6 版本,高版本不建议使用。
#先将jdk的二进制文件上传到/opt/目录下,之后复制到/usr/local/目录下
[root@Amo ~]# cd /opt/
[root@Amo opt]# cp jdk-6u14-linux-x64.bin /usr/local/
[root@Amo opt]# cd /usr/local/
[root@Amo local]# chmod +x jdk-6u14-linux-x64.bin #为二进制文件增加执行权限
[root@Amo local]# ./jdk-6u14-linux-x64.bin
##按yes,按enter
[root@Amo local]# mv jdk1.6.0_14/ /usr/local/jdk1.6 #将jdk目录重命名
#添加环境变量
[root@Amo local]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin
[root@Amo local]# source /etc/profile #刷新文件,使立即生效
[root@Amo local]# java -version #查看jdk版本
2)安装 Amoeba软件
ini
复制代码
-------1、安装 Amoeba软件---------
#创建Amoeba的解压目录
[root@Amo ~]# mkdir /usr/local/amoeba/
#将Amoeba安装包上传到/opt/目录,解压安装包
[root@Amo opt]# cd /opt/
[root@Amo opt]# tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
#增加目录权限
[root@Amo opt]# chmod -R 755 /usr/local/amoeba/
#开启Amoeba
[root@Amo opt]# /usr/local/amoeba/bin/amoeba #如显示amoeba start|stop说明安装成功
-------2、配置 Amoeba读写分离,两个 Slave 读负载均衡----------
#先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问。注意:这里授权的用户名和密码,会在下一步写入数据库配置文件。
grant all on *.* to yuji@'192.168.72.%' identified by '123123';
#再回到amoeba服务器配置amoeba服务:
[root@Amo opt]# cd /usr/local/amoeba/conf/
#备份配置文件,修改amoeba配置文件
[root@Amo conf]# cp amoeba.xml amoeba.xml.bak
[root@Amo conf]# vim amoeba.xml
--30行--
amoeba #30行和32行,授权客户端用于登录amoeba的账号和密码
--32行--
123456
--115行--
master #设置默认服务器池
--117-去掉注释-
master #定义写的服务器池名称
slaves #定义读的服务器池名称
#备份数据库配置文件,之后修改数据库配置文件dbServers.xml
[root@Amo conf]# cp dbServers.xml dbServers.xml.bak
[root@Amo conf]# vim dbServers.xml
--23行--注释掉 作用:默认进入test库,注释掉以防mysql中没有test库时,会报错
##26-30行,此用户就是之前在3台主从服务器上授权的用户,授权amoeba服务器用来登录mysql数据库的用户和密码。
--26行--修改
yuji
--28-30行--去掉注释
123123
--45行--修改,设置主服务器的名称master和地址
--48行--修改,设置主服务器的地址
192.168.72.192
--52行--修改,设置从服务器1的名称slave1
--55行--修改,设置从服务器1的地址
192.168.72.60
--58行--复制上面6行粘贴,设置从服务器2的名称slave2和地址
192.168.72.70
--65行--修改
--71行--修改
slave1,slave2
[root@Amo conf]# /usr/local/amoeba/bin/amoeba start & #后台启动Amoeba软件,按ctrl+c 返回
[root@Amo conf]# netstat -anpt | grep java #查看8066端口是否开启,默认端口为TCP 8066
先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问:
再回到amoeba服务器配置amoeba服务:
修改amoeba的配置文件amoeba.xml
修改数据库配置文件dbServers.xml
后台启动Amoeba软件,并查看端口是否已开启:
读写分离(使用Amoeba)
Amoeba服务器配置
1)安装 Java 环境
ini
复制代码
#因为 Amoeba 基于是 jdk1.5 开发的,所以官方推荐使用 jdk1.5 或 1.6 版本,高版本不建议使用。
#先将jdk的二进制文件上传到/opt/目录下,之后复制到/usr/local/目录下
[root@Amo ~]# cd /opt/
[root@Amo opt]# cp jdk-6u14-linux-x64.bin /usr/local/
[root@Amo opt]# cd /usr/local/
[root@Amo local]# chmod +x jdk-6u14-linux-x64.bin #为二进制文件增加执行权限
[root@Amo local]# ./jdk-6u14-linux-x64.bin
##按yes,按enter
[root@Amo local]# mv jdk1.6.0_14/ /usr/local/jdk1.6 #将jdk目录重命名
#添加环境变量
[root@Amo local]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.6
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export AMOEBA_HOME=/usr/local/amoeba
export PATH=$PATH:$AMOEBA_HOME/bin
[root@Amo local]# source /etc/profile #刷新文件,使立即生效
[root@Amo local]# java -version #查看jdk版本
2)安装 Amoeba软件
ini
复制代码
-------1、安装 Amoeba软件---------
#创建Amoeba的解压目录
[root@Amo ~]# mkdir /usr/local/amoeba/
#将Amoeba安装包上传到/opt/目录,解压安装包
[root@Amo opt]# cd /opt/
[root@Amo opt]# tar zxvf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
#增加目录权限
[root@Amo opt]# chmod -R 755 /usr/local/amoeba/
#开启Amoeba
[root@Amo opt]# /usr/local/amoeba/bin/amoeba #如显示amoeba start|stop说明安装成功
-------2、配置 Amoeba读写分离,两个 Slave 读负载均衡----------
#先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问。注意:这里授权的用户名和密码,会在下一步写入数据库配置文件。
grant all on *.* to yuji@'192.168.72.%' identified by '123123';
#再回到amoeba服务器配置amoeba服务:
[root@Amo opt]# cd /usr/local/amoeba/conf/
#备份配置文件,修改amoeba配置文件
[root@Amo conf]# cp amoeba.xml amoeba.xml.bak
[root@Amo conf]# vim amoeba.xml
--30行--
amoeba #30行和32行,授权客户端用于登录amoeba的账号和密码
--32行--
123456
--115行--
master #设置默认服务器池
--117-去掉注释-
master #定义写的服务器池名称
slaves #定义读的服务器池名称
#备份数据库配置文件,之后修改数据库配置文件dbServers.xml
[root@Amo conf]# cp dbServers.xml dbServers.xml.bak
[root@Amo conf]# vim dbServers.xml
--23行--注释掉 作用:默认进入test库,注释掉以防mysql中没有test库时,会报错
##26-30行,此用户就是之前在3台主从服务器上授权的用户,授权amoeba服务器用来登录mysql数据库的用户和密码。
--26行--修改
yuji
--28-30行--去掉注释
123123
--45行--修改,设置主服务器的名称master和地址
--48行--修改,设置主服务器的地址
192.168.72.192
--52行--修改,设置从服务器1的名称slave1
--55行--修改,设置从服务器1的地址
192.168.72.60
--58行--复制上面6行粘贴,设置从服务器2的名称slave2和地址
192.168.72.70
--65行--修改
--71行--修改
slave1,slave2
[root@Amo conf]# /usr/local/amoeba/bin/amoeba start & #后台启动Amoeba软件,按ctrl+c 返回
[root@Amo conf]# netstat -anpt | grep java #查看8066端口是否开启,默认端口为TCP 8066
先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问:
再回到amoeba服务器配置amoeba服务:
修改amoeba的配置文件amoeba.xml
修改数据库配置文件dbServers.xml
后台启动Amoeba软件,并查看端口是否已开启:
客户端安装mariadb数据库
[root@yuji ~]# yum install -y mariadb-server mariadb #安装mariadb数据库
[root@yuji ~]# systemctl start mariadb.service #启动mariadb
#客户端通过amoeba服务器登录数据库,之后向库中写入数据:
mysql -u amoeba -p123456 -h 192.168.72.30 -P8066
use yuji666;
create table class(id int,name char(10));
#通过amoeba服务器代理访问mysql ,再通过客户端连接mysql后写入的数据只有主服务会记录,然后同步给从--从服
测试读写分离
//在两台slave服务器上,关闭同步:
stop slave; #关闭同步
use yuji666;
//在slave1上写入数据:
insert into class values('1','zhangsan');
//在slave2上写入数据:
insert into class values('2','lisi');
//在master服务器上写入数据:
insert into class values('3','wangwu');
//在客户端上查看数据:
use yuji666;
select * from class;
#客户端会分别向slave1和slave2读取数据(轮询),显示的只有在两个从服务器上添加的数据,没有在主服务器上添加的数据。说明读写是分离的,只从slave中读取数据。
insert into class values('4','qianqi',); //客户端插入数据,只有主服务器上有此数据
//在两个从服务器上执行 start slave; 即可实现同步主服务器中添加的数据
start slave; #开启同步
select * from class;