Kubernetes 1.28: 节点非体面关闭进入 GA 阶段(正式发布) 作者: Xing Yang (VMware) and Ashutosh Kumar (Elastic) 译者: Xin Li (Daocloud) Kubernetes 节点非体面关闭特性现已在 Kubernetes v1.28 中正式发布。 此特性在 Kubernetes v1.24 中作为 Alpha 特性引入,并在 Kubernetes v1.26 中转入 Beta 阶段。如果原始节点意外关 云运维 2023-08-16 宇宙之一粟
初识minio in nodejs 什么是minio 一个高性能的Web应用系统,需要可以很好的实现横向扩展,就需要把应用和计算节点做成无状态的形式,即节点本身不存储应用级别的状态和数据。但随之带来的问题就是现实的业务需求,又需要在节点间保持数据的一致性,就是对于应用而言,无论有多少个节点,都是一致透明的系统。我们熟知的关系型数据库可以实现这一点。但是关系数据库是基于结构化关系型数据设计,其实不适合于保存缓存或者临时共享数据这一类的 系统运维 2023-08-15 法医
征服mysql底层原理 MySQL是广泛使用的开源关系型数据库管理系统,为支撑日益增长的应用负载和用户请求数,了解MySQL底层原理显得格外重要。下面我们将简单介绍MySQL的底层运作原理。 MySQL的底层存储引擎有多种,其中InnoDB是最常用的引擎。MySQL使用的是B+树作为索引结构,B+树又是一种多路搜索树,每个节点可以保存多个关键字以及对应的值,类似于一个有序序列。但与B树的不同之处是,在B+树中,只有叶子节 数据运维 2023-08-15 Escape
14个Nginx的核心功能点,建议收藏! 今天来和大家聊聊Nginx在我们实际应运用中的一些非常有用的点。 早期的业务都是基于单体节点部署,由于前期访问流量不大,因此单体结构也可满足需求,但随着业务增长,流量也越来越大,那么最终单台服务器受到的访问压力也会逐步增高。时间一长,单台服务器性能无法跟上业务增长,就会造成线上频繁宕机的现象发生,最终导致系统瘫痪无法继续处理用户的请求。 从上面的描述中,主要存在两个问题: ①单体结构的部署方式无法 系统运维 2023-08-15 贤蛋大眼萌
PostgreSQL同步复制实现逻辑分析 源码版本:pg 14.3 源文件:src/backend/replication/syncrep.c 原文地址:https://www.mytecdb.com/blogDetail.php?id=239 1、PG同步复制简介 同步复制是 pg 9.1 版本引入的新特性,事务提交必须等待事务对应的 lsn 在同步的备库接收到之后,才能提交成功。同步复制的实现逻辑主要集中在主节点,主节点记录了哪些备节 数据运维 2023-08-15 Escape
MySQL Group Replication(MGR) 选举新主节点 MySQL Group Replication(MGR)组复制支持单主模式和多主模式,本文简单介绍单主模式下,选举新主节点的不同方法。 在 8.0.2 版本之前,主节点选举是基于节点的 UUID 编号,在一次故障切换过程中,最小的 UUID 那个节点将被选举为新主节点。 从 8.0.2 版本开始,可以通过使用权重来选举新主节点,权重参数为 group_replication_member_weig 数据运维 2023-08-15 穿过生命散发芬芳
openGauss主备集群节点的添加与删除 风一样自由 [openGauss](javascript:void(0)😉 2023-07-29 17:58 发表于四川 一.环境准备 已搭建openGauss一主两备集群(企业版5.0),环境如下: 主机IP 主机名 节点类型 10.100.10.92 yf1 主节点 10.100.10.93 yf2 备节点 10.100.10.94 yf3 备节点 二.gs_dropnode删除集群备节点 拟 数据运维 2023-08-15 向阳逐梦
2. 组复制技术架构 | 深入浅出MGR 1. 传统主从复制技术架构 传统主从复制的方式是在master节点上执行数据更新事务,而后记录这些事务到binlog中,再将binlog发送到slave节点转储成relay log,在slave节点上再有单独的线程读取这些relay log然后重新执行或应用这些事务,它是shared-nothing的,每个节点都有一份完整的数据副本,其技术流程图如下所示: MySQL还提供了半同步复制,这是在传统 数据运维 2023-08-15 张二河
5. MGR管理维护 | 深入浅出MGR 今天介绍MGR集群的日常管理维护操作,包括主节点切换,单主&多主模式切换等。手工操作以及利用MySQL Shell两种方式都会分别介绍。 现在有个三节点的MGR集群: mysql> select * from performance_schema.replication_group_members; +---------------------------+------------- 数据运维 2023-08-15 共饮一杯
6. MGR状态监控 | 深入浅出MGR MGR和传统主从复制类似,在运行过程中主要关注各节点的运行状态,以及Secondary节点的事务是否有延迟。本文介绍如何监控MGR节点状态、事务状态等。 1. 节点状态监控 通过查询 performance_schema.replication_group_members 表即可知道MGR各节点的状态: mysql> select * from performance_schema.repl 数据运维 2023-08-15 法医
10. 选主算法、多版本兼容性及滚动升级 | 深入浅出MGR 本文介绍MGR的选主算法,以及当MGR集群中有多个不同版本混搭时,如何才能正常运行,有什么注意事项。 1. 选主算法 MGR运行在单主模式时,当发生主节点切换,就需要进行选主工作。多主模式下,所有节点都是主节点,就不需要选主了。 MGR的选主工作是自动的,每个节点都会参与。选主时会检查当前最新的组视图,对潜在的新主节点(各个备选节点)进行排序,最后选出最合适的那个作为新的主节点。 不同的MySQL 数据运维 2023-08-15 大白菜程序猿
12. 新节点加入过程解读 | 深入浅出MGR 本文从日志解读MGR节点加入过程。 1. 从日志理解(手动)加入新节点过程 新节点加入MGR集群时,通过观察它的日志(设置 log_error_verbosity=3 日志中能记录更多信息,便于跟踪和排查故障),能更好的理解MGR的工作过程及数据同步机制。 下面是(命令行手工操作方式,不是通过MySQL Shell调用)新节点加入时,从Primary节点看到的日志(对时间戳、主机名等做了简单处理) 数据运维 2023-08-15 大猫
13. 分布式恢复 | 深入浅出MGR 本文介绍节点加入时是如何进行分布式恢复的。 1. 数据恢复过程 每当有节点新加入或重新加入MGR集群时,该节点必须要先追平落后(有差异)的事务,这个追平最新数据的过程称为分布式恢复。先进行 本地恢复,然后再进行 全局恢复。 本地恢复主要工作是先启动本地group_replication_applier恢复通道,MGR节点信息再次初始化,然后读取本地relay log并进行恢复,接收远程节点发送的事 数据运维 2023-08-15 Escape
14. 流量控制(流控) | 深入浅出MGR 本文介绍MGR中的流量控制(流控)是怎么工作的。 1. MGR流控 在MGR中,各个节点的事务处理能力不尽相同,这就可能会造成个别节点上存在事务复制延迟,在这些节点上就有可能读取到旧事务数据。复制延迟的另一个风险时,当有新节点加入时,需要选择一个节点作为donor节点,若该节点存在延迟,则可能最后会选中Primary节点,影响事务写入性能。还有,当某节点中堆积大量延迟事务队列时,也很容易造成该节点 数据运维 2023-08-15 向阳逐梦
15. 故障检测与网络分区 | 深入浅出MGR 本文介绍MGR的故障检测机制,以及发生网络分区后如何处理。 1. 故障检测 当MGR中个别节点与其他节点通信异常时,就会触发故障检测机制,经过多数派节点投票判断后再决定是否将其驱逐出MGR。 发生故障时,只有当多数派节点存活前提下,故障检测机制才能工作正常,使得MGR恢复可用性;当多数派节点本身已经异常的时候,MGR是无法自行恢复的,需要人为介入。 MGR中,各节点间会定期交换消息,当超过5秒(在 数据运维 2023-08-15 泡泡
16. 数据一致性、安全性保障 | 深入浅出MGR 本文介绍MGR如何保障数据一致性及安全性。 1. MGR事务一致性 对于MGR这样的"分布式"系统而言,需要在多个节点间保障事务的一致性,无论各个节点状态正常,或者个别节点处于故障修复状态,都要能保证各个节点的事务数据最终一致。所谓的最终一致性是指当所有写事务请求都停止后,各个节点上的事务数据是一致的。 与MGR数据一致性相关的因素有这几种: 节点发生变化,添加 或 删除。 节点故障修复。 Pri 数据运维 2023-08-15 宇宙之一粟
19. GreatSQL特性 | 深入浅出MGR 本文介绍GreatSQL的一些关键新特性,相关特性主要针对GreatSQL 8.0.x版本(不含GreatSQL 5.7.x版本中的相关特性)。 1. 地理标签 可以对每个节点设置地理标签,主要用于解决多机房数据同步的问题。 新增选项 group_replication_zone_id,用于标记节点地理标签。该选项值支持范围 0 ~ 8,默认值为0。 当集群中各节点该选项值设置为不同的时候,就被认 数据运维 2023-08-15 大树
技术分享 | 为什么MGR一致性模式不推荐AFTER 1、引子 某次测试过程中,发现在 AFTER 级别下,节点故障会导致集群无法进行事务提交,同时,当事务进入提交阶段后,其它节点无法开启只读事务。整个集群无法正常提供服务,直到故障节点被踢出集群。 以下首先复现上述故障场景的步骤: 1、初始化一个3节点的集群。集群信息如下: mysql> select * from performance_schema.replication_grou 数据运维 2023-08-15 Escape
多云部署多主模式的MGR集群,每个云一个MGR 节点,满足业务单元化改造的需求 ... 一、架构需求: 正常情况下每个云的业务程序(下图中的APP) 通过本地的cetus 写入本地的MGR 节点(默认启动时通过cetus 配置本地MGR 节点为rw); 读请求会根据 cetus 读写分离策略路由到不同的云的MGR 节点 当本地MGR 节点故障,则cetus 会自动检测配置中的后端MGR 节点,选取一个新的存活节点作为rw 节点。此时业务跨云读写。 当单个云整体故障时(单云孤岛),集群 数据运维 2023-08-15 泡泡
为MySQL MGR实现简单的负载均衡代理 在多写(多节点写入)数据库(例如MySQL MGR的multi-primary mode)与应用之间,往往会加一层代理组件,通过算法调节不同节点负载,分发高并发读写请求。 要求代理工具需要具有请求转发、负载均衡、故障转移的功能。 在后端节点故障发生或者连接因为客户端异常、网络问题断开时,需要及时将故障节点及时踢出负载均衡队列或者关闭异常连接,做到故障转移。 这就是接下来介绍的主要内容,使用gola 数据运维 2023-08-15 宇宙之一粟