十几年前，互联网产业蓬勃发展，相比传统 IT 企业，互联网应用每天会产生海量的数据。如何存储和分析这些数据成为了当时技术圈的痛点，彼时，分库分表解决方案应运而生。当时最流行的 Ja…
分库分表是当今大规模应用系统中常用的数据库架构之一，旨在提高数据库的性能、可扩展性和可用性。然而，在实施了分库分表后，如何有效地查询数据成为了一个关键问题。本文将介绍分库分表后如何…
分库分表是一种数据库架构设计方法，用于解决大规模数据存储和查询的性能瓶颈。随着应用程序的不断发展，数据量的增长和高并发访问对数据库系统提出了更高的要求。什么是分库分表呢？分库分表通…
作者：coredumped，资深数据库从业者，熟悉 MySQL 及分布式架构，为多家大型国有企业提供过技术支持、咨询、架构设计及培训工作。OceanBase开源后，也让更多的人能上…
公司介绍：天翼电子商务有限公司（简称“翼支付”）是中国电信集团有限公司的成员企业，是国资委双百改革和发改委第四批混改“双试点”企业，也是“双试点”企业中唯一的金融科技公司。公司以翼…
随着业务的发展，企业的数据量迅猛增长。作为常用的数据处理方案，企业往往会采用 MySQL 分库分表的机制，而在后续很快遇到了痛点。痛点 1：数据一致性难以保证。分库分表会导致数据分…
从事数据库相关工作十余年，经历过早期的传统集中式数据库如Oracle、MySQL，后来的分库分表中间件如MyCat、ShardingSphere，再到后来的分库分表数据库如TDSQ…
一款日均超过千万人访问的短视频 App 快手，面对高并发流量如何及时有效地处理用户请求？通过在后端配置多套 MySQL 集群来支撑高流量访问，以解决大数据量存储和性能问题，这种传统…
在笔者心中，消息队列，缓存，分库分表是高并发解决方案三剑客。分库分表之所以被广泛使用，因为工程相对简单，但分库分表并不仅仅是分片，还是需要考虑如何扩缩容（全量同步、增量同步、数据校…
关于是否需要进行分库分表，可以根据以下考量因素来决定：数据量和负载：如果数据量巨大且负载压力较大，单一库单一表可能无法满足性能需求，考虑分库分表。数据增长：预估数据增长速度和量级，…
本章主要介绍Sharding分库分表实战，结合实际例子体验分库分表的益处和可能产生的问题。关键词：分库分表、shardingsphere、Sharding-JDBC 官网地址：sh…
背景最近在做的业务中，用户相关的数据不断增长，给系统带来了不小的压力，在 SQL优化实战-千万量级后的慢查 一文中也总结了一些针对慢查的解决方案。但每次活动下来，都会有几百上千万的…
前言 接触过后端开发的都知道MySQL是很脆弱的，随着业务的增长，当单表的数据量达到千万时，数据库的性能将大幅下降，即使通过添加从库、优化索引等方式也无法完全解决问题。在这种情况下…
大家好，我是飘渺。随着业务的不断发展，DailyMart每天产生的销售订单已经达到了约100万，并且呈持续增长趋势。按照这样的发展速度，每年的数据量将达到约4亿左右。目前，Dail…
ShardingSphere实现分库分表，如何管理分布在不同数据库实例中的成千上万张分片表？上边的问题是之前有个小伙伴看了我的分库分表的文章，私下咨询我的，看到他的提问我第一感觉就…
背景介绍随着互联网技术的发展，数据量呈爆炸性增长。大数据量的业务场景中，数据库成为系统性能瓶颈的一个主要因素。当单个数据库包含了太多数据或过高的访问量时，会出现查询缓慢、响应时间长…
本文来自 InfoQ，作者云盛海宏 ToC 业务团队崔文涛、邓有才。云盛海宏是一家零售业科技公司，以科技的力量为门店和线上客户打造 360 度的优秀体验，目前服务中国 6000 余…
当我们使用 Mysql数据库到达一定量级以后，性能就会逐步下降，而解决此类问题，常用的手段就是引入数据库中间件进行分库分表处理，比如使用 Mycat、ShadingShpere、t…
文章转载自数据源的技术后花园，作者爱喝自来水的猫 从事数据库相关工作十余年，经历过早期的传统集中式数据库如 Oracle 、 MySQL ，后来的分库分表中间件如 MyCat 、 …
从我个人的观点来看，我认为TDSQL（MySQL分布式版本）是传统MySQL分库分表解决方案的集大成者，其后面也有一些类似产品，比如中国电信的TeleDB、HotDB等。过去一些年…
写在前面 诚然 Sharding-shpere 是一款非常优秀的技术产品， 下面介绍的自研的技术产品，在生态和完善度上是无法与之相提并论的。 但是笔者自己开发的这个项目： shar…
分库分表后就不能使用自增 ID 来作为表的主键了，因为数据库自增 ID 只适用于单机环境，但如果是分布式环境，是将数据库进行分库、分表或数据库分片等操作时，那么数据库自增 ID 就…
概述这篇文章没什么太多的干货，纯纯是一篇讨论和思考帖。从业数据库领域三年有余了，从分库分表中间件到数据库团队内核学到了很多东西。也接触了很多项目，包括TiDB、Vitess、Pol…
概述随着数据库中数据量日益增多，不得进行分库分表，在分库后将数据分布到不同的数据库实例（甚至物理机器）上，以达到降低数据量，提供系统的处理能力，但是这种架构也带来其他问题，比如本文…
将原本存储于单个数据库上的数据拆分到多个数据库，把原来存储在单张数据表的数据拆分到多张数据表中，实现数据切分，从而提升数据库操作性能。 分库分表的实现可以分为两种方式：垂直切分和水…
通过MySQL开发实现分库分表与水平扩展的项目经验分享引言：随着大数据时代的到来，数据量的爆炸式增长使得传统的单机数据库已经无法满足业务需求。为了解决数据存储和查询的性能问题，分库…
什么是MySQL分库分表？MySQL分库分表（Sharding）是一种数据库水平扩展技术，用于解决单台数据库无法满足大规模并发和数据存储需求的问题。将原本存储在单个大数据库中的数据…
如何通过索引优化PHP与MySQL的数据分片和分库查询？在大型web应用中，为了提高性能和可伸缩性，常常需要将数据存储在多个数据库实例中，这就需要进行数据分片和分库查询。然而，随着…
MySQL分库分表：MyCAT-问题描述 随着数据库存储的内容越来越多，MySQL主从复制也开始无法存储更多的数据，此时就需要切割表，把一张过大的表切割后分别存储在不同的MySQL…
在实践中，解决分库分表中的分布式事务问题，最简单的方式就是直接禁用跨库事务。正常来说，在分库分表之后，你的业务就应该操作特定的某个数据库中的某个表。最多就是操作某个数据库上的某几张…
分布式事务简介 本地事务 大多数场景下，我们应用只需要操作单一数据库，这种情况下的事务称为本地事务，本地事务的ACID特性是数据库直接提供支持，架构如下： 分布式事务 在微服务架构…
前言 随着业务的快速发展，数据库已经有了上亿条记录，数据存储达到了上百G,原有的单库单表设计已经无法支持系统的稳定性以及接口的响应速度了，数据库存在大量慢查询，且需要提供对C端这种…
系列文档参考 MYSQL系列-整体架构介绍 前文已经实践基于Spring动态数据源和基于Sharing-JDBC的分库分表，本文主要讲述基于MYCAT的分库分表，前两篇如下： MY…
系列文档参考 MYSQL系列-整体架构介绍 紧接上文MYSQL系列-分库分表（三）：Sharding-JDBC实现分库分表落地实践-上 详细设计 表模型改动 当前表结构如下 poi…
系列文档参考 MYSQL系列-整体架构介绍 紧接上文MYSQL系列-分库分表（三）：Sharding-JDBC实现分库分表落地实践-中 详细设计 关键技术点实现 支持读写分离，并且…
系列文档参考 MYSQL系列-整体架构介绍 前文已经实践基于Spring动态数据源的分库分表，本文主要落地基于Sharding-JDBC MYSQL系列-分库分表（二）：Sprin…
「水平拆分」 水平拆分又称为横向拆分，应用时有**「水平分库和水平分表」两种方式，「解决表中记录过多，缓解单机单库的性能瓶颈和压力问题」**。一般谈到的水平拆分主要指的是水平分库。…
