数据库主从同步的原理及应用场景 (数据库主从库)

2023年 8月 10日 51.7k 0

在现代化技术的发展中,数据库主从同步是一种非常重要的技术,它可以确保数据库数据的完整性和可靠性。主从同步技术采用了一种类似于复制的方式,将一个数据库的更改操作同步到另一个数据库上,以达到数据同步的目的。本文将深入探讨数据库主从同步的原理和应用场景。

一、数据库主从同步的原理

1. 主从同步的基本原理

主从同步是应用于分布式系统的复制技术,将一个数据库的写操作同步到其他副本上。在此过程中,主数据库必须为所有的更改操作提供一致性,并确保所有副本都具有相同的视图。主数据库将写操作记录到一个日志中,然后将这些操作发送给所有的副本,副本则按照相同的顺序执行这些写操作,以确保数据的一致性和正确性。

2. 主从同步的数据流程

主从同步的数据流程一般分为四个步骤:

(1)主数据库记录写操作到二进制日志中。

(2)副本通过网络连接与主数据库保持心跳,并获取主数据库的写操作。

(3)副本将写操作应用于副本数据库。

(4)主从同步在一定的时间间隔内,不断地执行上述步骤。

3. 主从同步的实现方法

主从同步可以在软件层面、网络层面和应用层面上实现,其中,软件层面的实现是一种应用较为广泛的方式。软件层面主从同步通常采用 MySQL 主从同步方式,通过 MySQL 分布式复制技术将多个 MySQL 数据库相互连接,实现主从复制。

二、数据库主从同步的应用场景

1. 高可用性

主从同步是提高数据库高可用性的一种重要手段。当主数据库出现故障时,副本可以轻松地接替主数据库的角色,继续提供服务。这种切换过程是无缝的,用户几乎不会察觉到服务的中断。这种高可用性可以有效地减少数据中断的时间,并增加数据的持久性和可靠性。

2. 负载均衡

主从同步可以更好地支持负载均衡。由于主数据库负责处理读写操作,因此主数据库的负载非常重。如果所有的操作都在主数据库上进行,很容易导致它超负荷而崩溃。因此,分散工作负载是一种更好的选择。主从同步将写操作分配给主数据库,并将读操作分配给副本。这样可以避免所有操作都在主数据库上集中,从而减轻主数据库的负载。

3. 数据备份

主从同步可以用于数据库备份。由于副本具有完全一致的数据,可以使用副本作为数据库的备份,以避免主数据库的数据丢失或损坏。如果主数据库发生故障或需要进行维护,则可以使用备份副本。这种备份方法非常可靠且方便。

4. 多地域数据存储

主从同步还可以用于多地域数据存储。如果多个语言或区域使用数据库,需要保证数据的一致性,可以使用主从同步。同时,如果数据库的访问比较频繁,可以使用分布式架构,将多个数据库部署在不同的区域,以减少数据访问的延迟。

数据库主从同步作为一种非常重要的技术,对于提高数据库的可靠性、稳定性和性能具有很大的作用。在实际应用中,我们需要根据具体的情况特点,综合考虑各种因素,选择合适的主从同步方案。

相关问题拓展阅读:

  • mysql主从数据库不同步的2种解决方法
  • 配置mysql主从 数据库怎么同步过来

mysql主从数据库不同步的2种解决方法

今天发现Mysql的主从数据库没有同步

先上Master库:

mysql>show

processlist;

查看下进程是否Sleep太多。发现很正常。

show

master

status;

也正常。

mysql>

show

master

status;

+—–+++—+

|

File

|

Position

|

Binlog_Do_DB

|

Binlog_Ignore_DB

|

+—–+++—+

|

mysqld-bin.000001

|

3260

|

|

mysql,test,information_schema

|

+—–+++—+

row

in

set

(0.00

sec)

再到Slave上查看

mysql>

show

slave

status\G

Slave_IO_Running:

Yes

Slave_SQL_Running:

No

可见是Slave不同步

下面介绍两种解决方法:

方法一:忽腔袜略错误后,继续同步

该方法适用于主从库数据相差不大,或者要求数据可以不完全统一的情况,数据要求不严格的情况

解决:

stop

slave;

#表示跳过一步错误,后面的数字可变

set

global

sql_slave_skip_counter

=1;

start

slave;

之后再用mysql>

show

slave

status\G

查燃哗看:

Slave_IO_Running:

Yes

Slave_SQL_Running:

Yes

ok,现在主从同步状态正常了。。。

方式二:重新做主从,完全同步

该方法适用于主从库数据相差较大,或者要求数据完全统一的情况

解决步骤如下:

1.先进入主库,进行锁表,防止数据写入

使用命令:

mysql>

flush

tables

with

read

lock;

注意:该处是锁皮圆行定为只读状态,语句不区分大小写

2.进行数据备份

#把数据备份到mysql.bak.sql文件

mysql>#mysqldump

-uroot

-p

-hlocalhost

>

mysql.bak.sql

这里注意一点:数据库备份一定要定期进行,可以用shell脚本或者python脚本,都比较方便,确保数据万无一失

3.查看master

状态

mysql>

show

master

status;

+—–+++—+

|

File

|

Position

|

Binlog_Do_DB

|

Binlog_Ignore_DB

|

+—–+++—+

|

mysqld-bin.000001

|

3260

|

|

mysql,test,information_schema

|

+—–+++—+

row

in

set

(0.00

sec)

4.把mysql备份文件传到从库机器,进行数据恢复

#使用scp命令

mysql>#

scp

mysql.bak.sql

:/tmp/

5.停止从库的状态

mysql>

stop

slave;

6.然后到从库执行mysql命令,导入数据备份

mysql>

source

/tmp/mysql.bak.sql

7.设置从库同步,注意该处的同步点,就是主库show

master

status信息里的|

File|

Position两项

change

master

to

master_host

=

‘192.168.128.100’,

master_user

=

‘rsync’,

master_port=3306,

master_password=”,

master_log_file

=

‘mysqld-bin.000001’,

master_log_pos=3260;

8.重新开启从同步

mysql>

stop

slave;

9.查看同步状态

mysql>

show

slave

status\G

查看:

Slave_IO_Running:

Yes

Slave_SQL_Running:

Yes

好了,同步完成啦。

配置mysql主从 数据库怎么同步过来

主从数据滑穗颤库同步 可以参考如下:

一、 概述

  MySQL从3.23.15版本以后提供数据库复制(replication)功能,利用该功能可以实现两个数据库同步、主从模式、互相备份模式的功能。本文档主要阐述了如何在linux系统中利用mysql的replication进行双机热备的配置。

二、 环境

操作系统:Linux 2.6.23.1-42.fc8 # P(不安装XEN)

Mysql版本:5.0.45-4.fc8

设备环境:PC(或者虚拟机)两台

三、 配置

数据库同步复制功能的设置都在MySQL的配置文件中体现,MySQL的配置文件(一般是my.cnf):在本环境下为/etc/my.cnf。

3.1 设置环境:

IP的设置:

A主机 IP:10.10.0.119

Mask:255.255.0.0

B主机 IP:10.10.8.112

Mask:255.255.0.0

在IP设置完成以后,需要确定两主机的防火墙确实已经关闭。可以使用命令service iptables status查看防火墙状态。如果防火墙状态为仍在运行。使用族早service iptables stop来停用防火墙。如果想启动关闭防火墙,可以使用setup命令来禁用或定制。

最终以两台主机可以相互ping通为佳。

3.2 配置A主(master) B从(slave)模式

3.2.1 配置A 为master

 、增加一个用户同步使用的帐号:

GRANT FILE ON *.* TO ‘backup’@’10.10.8.112′ IDENTIFIED BY ‘1234’;

GRANTREPLICATION SLAVE ON *.* TO ‘backup’@’10.10.8.112′ IDENTIFIED BY ‘1234’;

赋予10.10.8.112也就是Slave机器有File权限,只赋予Slave机器有File权限还不行,还要给它REPLICATION SLAVE的权限才可以。

、增加一个数据库作为同步数据库:

create database test;

、创建一个表结构:

create table mytest (username varchar(20),password varchar(20));

、修改配置文件:

修改A的/etc/my.cnf文件,在my.cnf配置项中加入下面配置:

server-id =#Server标识

log-bin

binlog-do-db=test #指定需要日志的数据库

、重起数据库服务:

service mysqld restart

查看server-id:

show variable like ‘server_id’;

实例:

mysql> show variables like ‘server_id’;

+-++

| Variable_name | Value |

+-++

| server_id ||

+-++

1 row in set (0.00 sec)

、用show master status/G命令看日志情况。

正常为:

mysql> show master status/G

*************************** 1. row ***************************

File: mysqld-bin.000002

Position: 198

Binlog_Do_DB: test,test

Binlog_Ignore_DB:

1 row in set (0.08 sec)

3.2.2 配置B 为slave

、增加一个数据库作为同步数据库:

create database test;

、创建一个表结构:

create table mytest (username varchar(20),password varchar(20));

、修改配置文件:

修改B的/etc/my.cnf文件,在my.cnf配置项中加入下面配置:信败

server-id=2

master-host=10.10. 0.119

master-user=backup #同步用户帐号

master-password=1234

master-port=3306

master-connect-retry=60 #预设重试间隔秒

replicate-do-db=test #告诉slave只做backup数据库的更新

、重起数据库服务:

service mysqld restart

查看server-id:

show variables like ‘server_id’;

实例:

mysql> show variables like ‘server_id’;

+-++

| Variable_name | Value |

+-++

| server_id ||

+-++

1 row in set (0.00 sec)

、用show slave status/G命令看日志情况。

正常为:

mysql> show slave status/G

*************************** 1. row ***************************

Slave_IO_State: Waiting for master to send event

Master_Host: 10.10.0.119

Master_User: backup

Master_Port: 3306

Connect_Retry: 60

Master_Log_File: mysqld-bin.000001

Read_Master_Log_Pos: 98

Relay_Log_File: mysqld-relay-bin.000003

Relay_Log_Pos: 236

Relay_Master_Log_File: mysqld-bin.000001

Slave_IO_Running: Yes

Slave_SQL_Running: Yes

Replicate_Do_DB: test,test

Replicate_Ignore_DB:

Replicate_Do_Table:

Replicate_Ignore_Table:

Replicate_Wild_Do_Table:

Replicate_Wild_Ignore_Table:

Last_Errno: 0

Last_Error:

Skip_Counter: 0

Exec_Master_Log_Pos: 98

Relay_Log_Space: 236

Until_Condition: None

Until_Log_File:

Until_Log_Pos: 0

Master_SSL_Allowed: No

Master_SSL_CA_File:

Master_SSL_CA_Path:

Master_SSL_Cert:

Master_SSL_Cipher:

Master_SSL_Key:

Seconds_Behind_Master: 0

1 row in set (0.01 sec)

3.2.3 验证配置

分别使用insert, delete , update在A主机进行增删改查数据库;查看B主机的数据库是否与A主机一致;若一致,则配置成功。

3.3双机互备模式

如果在A主机加入slave设置,在B主机加入master设置,则可以做B->A的同步。

、在A主机的配置文件中 mysqld配置项加入以下设置:

master-host=10.10.8.112

master-user=backup

master-password=1234

replicate-do-db=test

master-connect-retry=10

、在B的配置文件中 mysqld配置项加入以下设置:

log-bin

binlog-do-db=test

  注意:当有错误产生时,*.err日志文件同步的线程退出,当纠正错误后,要让同步机制进行工作,运行slave start。

重起A、B机器,则可以实现双向的热备份。

四、 常见问题及解决

、Slave机器的权限问题,不但要给slave机器File权限,还要给它REPLICATION SLAVE的权限。

、在修改完Slave机器/etc/my.cnf之后,slave机器的mysql服务启动之前,记得要删除掉master.info

、在show master status或着show slave status不正常时,看看.err是怎样说的。

、Slave上Mysql的Replication工作有两个线程, I/O thread和SQL thread。I/O的作用是从master 3306端口上把它的binlog取过来(master在被修改了任何内容之后,就会把修改了什么写到自己的binlog等待slave更新),然后写到本地的relay-log,而SQL thread则是去读本地的relay-log,再把它转换成本Mysql所能理解的语句,于是同步就这样一步一步的完成.决定I/O thread的是/var/lib/mysql/master.info,而决定SQL thread的是/var/lib/mysql/relay-log.info.

、启动slave,命令用start slave;重新启动用restart slave

数据库主从库的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于数据库主从库,数据库主从同步的原理及应用场景,mysql主从数据库不同步的2种解决方法,配置mysql主从 数据库怎么同步过来的信息别忘了在本站进行查找喔。

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论