众所周知，防止断电丢失 Binlog、故障恢复过程丢失数据，MySQL 主库必须设置 sync_binlog=1。那么作为备库可以例外吗？ 作者：胡呈清，爱可生 DBA 团队成员，擅长故障分析、性能优化，个人博客：[简书 | 轻松的鱼]，欢迎讨论。 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 本文约 1200 字，预计阅读需要 4 分钟。 众所周知，防止断电丢失

有个mysql数据库服务，之前没有打开binlog，业务通过修改mysql配置文件my.cnf,添加配置： log_bin=on 重启实例后报错：May 21 15:24:06 iZbp1frzobeoohjrekaca7Z mysqld: 2024-05-21T07:24:06.491333Z 0 [ERROR] You have enabled the binary log, but you

独家揭秘丨GreatSQL 没开Binlog时多线程插入数据性能劣化之谜 一、问题发现 在一次数据迁移中，用到了INSERT INTO t1 SELECT * FROM t2这样的 SQL 用来搬迁大表，为了提高插入效率关闭了Binlog，考虑用多线程来插入提高速度。表的类型信息和插入效率如下所示。 测试环境： Linux node-76-11 4.19.90-17.ky10.aarch64，12

前言 MySQL 是全球知名的开源关系型数据库，一直以来因其稳定性、可靠性和易用性而广受欢迎。一个重要的特性，也是 MySQL 受到高度关注的理由，是其较早期推出的二进制日志功能 —— binlog。 MySQL binlog，即二进制日志，是 MySQL 中用于记录数据库更改的日志文件。自 MySQL 数据库较早地引入了 binlog，这项功能就为它赢得了开发者和企业用户的青睐。MySQL 的二

概述 MySQL 的用户群体很大，为了能够增强数据的实时性，很多解决方案会利用 binlog 将数据写入到 ClickHouse。为了能够监听 binlog 事件，我们需要用到类似 canal \maxwell\cdc这样的第三方中间件，再导到kafka，这无疑增加了系统的复杂度。ClickHouse 20.8.2.3版本新增加了 MaterializeMySQL 的 database 引擎（是个

在MySQL数据库中，日志系统扮演着至关重要的角色，它不仅保障了数据的完整性，还提供了数据恢复与事务处理的能力。MySQL中的binlog（二进制日志）、undo log（回滚日志）和redo log（重做日志）各自承担着不同的责任，共同维护着数据库的稳定运行。 1. binlog（二进制日志） binlog是MySQL的二进制日志文件，它记录了数据库更改的所有操作，但并不记录查询操作。其主要作用

工作或者面试中，经常会遇到 MySQL 数据库 binlog、undo log、redo log 相关的知识点，今天我们就来一起深入分析这三种 log。 申明：本文基于 MySQL 8.0.30，默认为 InnoDB 引擎;InnoDB 由 Innobase Oy公司所开发，2006年五月时由甲骨文公司并购。 前言 在正式进入主题之前，我们先看一张 MySQL的架构示意图： 上述示意图中的红色字体

作者：李锡超，苏商银行DBA，负责数据库和中间件运维和建设。擅长 MySQL、Python、Oracle，爱好骑行、技术研究和分享。 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 本文约 2000 字，预计阅读需要 8 分钟。 1概述 近期，某系统进行测试时，发现主从同步存在延迟，随即通过 binlog 确认延迟原因。当使用 mysqlbinlog 命令解析后，发现

之前写过一篇文章MySQL如何获取binlog的开始时间和结束时间,文章里面介绍了如何获取MySQL数据库二进制日志（binlog）的开始时间与结束时间的一些方法。实际应用当中，我们可能还会遇到效率/性能方面的问题。最近对这个问题做了一些研究，这里就介绍一下如何快速获取MySQL二进制日志(binlog)的开始时间和结束时间。 我们下来看看当MySQL二进制日志（binlog）的Size很大的时候

点击上方“IT那活儿”公众号--专注于企业全栈运维技术分享，不管IT什么活儿，干就完了！！！    前 言binlog日志，即二进制日志（Binary Log），是MySQL数据库中一种用于记录数据库操作的日志文件。它以二进制形式记录了数据库中所有更改数据的操作，包括插入、更新、删除等。1.1 binlog日志的主要作用有以下几点 数据恢复当数据库发生故障时，可以通过binlog日志进行数据恢复，

binlog2sql_go介绍 日常工作中经常遇到需要解析binlog的场景，如： - 通过binlog查找sql执行记录 - 通过binlog回滚某条sql - 主从故障切换后通过binlog修复数据 - 审计、数据追踪、事务统计等等。 binlog2sql_go就是一个golang开发的MySQL binlog解析工具；可以将binlog解析为你要的SQL。根据不同选项，你可以得到原始SQL、

OceanBase官方最近推出了开源版的binlog service工具，可以将OceanBase自己的clog转换为binlog模式，提供给下游工具消费，例如canal、flink cdc等，今天就简单体验下binlog service的功能，并通过mysqlbinlog工具进行解析，看下是否正确。 binlog service 依赖oblogproxy，是 oblogproxy 提供的一种服务

1. 名词解释 # 名词 说明 1 PD Server Placement Driver Server 的简称，集群的管理模块。 2 Pump 用于实时记录 TiDB产生的 Binlog，并将 Binlog 按照事务的提交时间进行排序， 再提供给 Drainer 进行消费的服务器。 3 Drainer 从各个 Pump 中收集 Binlog 进行归并，再将 Binlog 转化成 SQL 或者指定格

之前听很多用户都提出过一个相同的需求，就是希望能提供把 OceanBase 的事务日志 clog 转换成和 MySQL 兼容的 binlog 的能力。最近 OceanBase 就在 OBLogProxy（日志代理服务） 中提供了这个能力，今天就来简单试用一下这个功能，顺便做一个记录。 功能介绍 OBLogProxy 的详细介绍和具体的安装步骤详见官网链接和洪波写的一篇社区博客。 简单来说，OBLo

背景        在数据库的日常运维中，不可避免会遇到数据误操作，比如未按预期执行了 delete/update 操作，需要将数据回滚回来。如果在OB开启了回收站且设置的undo_retention合适，可以利用闪回查询进行数据恢复，感兴趣的同学可以移步到这里学习： https://www.oceanbase.com/docs/common-oceanba

介绍 pymysqlbinlog 是分析/解析binlog的开源工具, 使用GPL-3.0 license 项目地址: https://github.com/ddcw/pymysqlbinlog 功能: 分析binlog, 得到大事务信息, 表使用情况, DML使用情况等. 解析binlog, 解析binlog得到正向/回滚SQL. 特点 简单方便: 纯python3编写, 无依赖包 安全: 离线

导读 终于到了 row event的解析了. 只要解析了这部分, binlog基本上就算是解析完成了. row event 记录了数据类型, 但是没得符号信息(5.7). 也没得字段信息(binlog_row_metadata=minimal). 所以可能无法拼接为SQL, 但可以转为BINLOG格式的语句. 格式参考如下: https://dev.mysql.com/doc/refman/8.0

导读 binlog中的第一个event 用来标识这个binlog的基础信息. 是非常重要的. 使用mysqlbinlog 命令解析binlog的时候 也是要先执行第一个event的, 不然数据库会无法识别. 报错ERROR 1609 (HY000): The BINLOG statement of type Table_map was not preceded by a format descri

之前在生产做修改数据的时候不小心改错了一行数据，本来以为会被通报批评，但是同事利用binlog日志查看到了之前的旧数据，并且帮我回滚了，学到了，所以写了一篇binlog的文章分享给大家。 MySQL的Binary Log（简称binlog）是一种重要的数据库日志系统，用于记录数据库服务器上所有更改数据的活动。Binlog是MySQL数据库中的一种二进制格式的日志文件，它主要记录了对数据库数据进行修

这篇文章，我们来聊聊：事务执行过程中，临时存放到 trx_cache 的那些 binlog，是怎么乾坤大挪移到 binlog 日志文件的。 作者：操盛春，爱可生技术专家，公众号『一树一溪』作者，专注于研究 MySQL 和 OceanBase 源码。 爱可生开源社区出品，原创内容未经授权不得随意使用，转载请联系小编并注明来源。 本文基于 MySQL 8.0.32 源码，存储引擎为 InnoDB。 1