TiDB多数派节点故障恢复指南1. 背景 (1) 我们所使用的 TiDB 目前采用 3 副本的部署方式,其中一份数据同时存储在多个节点中。然而,如果一个 Region 的多数或全部副本在短时间内全部下线,该 Region 将无法进行读写操作,对业务造成严重影响。 (2)在实际生产过程中,我们也曾遇到同一台交换机发生灾难性故障,如机房断电等情况,其下的多个 TIKV 宕机,也会造成多副本或全部副本丢失,导致业务不可用的情况。 ( 数据运维 2024-05-29 穿过生命散发芬芳
【TiDB 社区第三届专栏征文大赛】TiDB 在单机上模拟部署生产环境集群作者:马顺华 从事运维管理工作多年,目前就职于某科技有限公司,熟悉运维自动化、OceanBase部署运维、MySQL 运维以及各种云平台技术和产品。并已获得OceanBase认证OBCA、OBCP 证书、OpenGauss社区认证结业证书、崖山DBCA证书、亚信AntDBCA证书、翰高HDCA认证、GBase 8a|GBase 8c 证书。OceanBase & 墨天轮第二、三、四届技术征 数据运维 2024-05-26 共饮一杯
星辰资讯:TiDB v8.1.0 发版!稳!TiDB 8.1.0 LTS 于 5 月 24 日正式发布,这是一个长期支持版本,也是 2024 年度第一个 LTS 版本 (后续会有 8.1 小版本迭代,下半年会发布 8.5.0 LTS)。 前情回顾 TiDB 8.0.0 DMR 于 3 月发布,相关信息戳这里: TiDB v8 发版!超硬核 v8 引擎! 在 4 月成都线下分享会上,Roger Song “剧透”了 TiDB v8.1 在稳定 数据运维 2024-05-26 共饮一杯
TiDB Vector + Dify 快速构建 AI Agent引言 目前 TiDB Vector 的功能已经推出,开源了 tidb-vector-python ,并在两个AI Agent 引擎中支持了它,具体可以看 LangChain 和 LlamaIndex 的文档。 但其实这两个开源框架对于非开发者还是略有难度和学习成本,本文介绍了通过 Dify 快速使用 TiDB Vector 搭建 AI Agent。 前期准备 创建 TiDB Vector 目前如果 数据运维 2024-05-26 捡田螺的小男孩
AI功能探测,TiDB Vector对比PG Vector前文 在本文中,你可以获取以下经验值。 如何审请体验TiDB AI的最新AI功能 TiDB Vector的使用DEMO TiDB Vector的相关介绍 TiDB Vector对比PG Vector 申请TiDB AI功能体验 前置条件能够访问 tidb.cloud/ai 如果你通过审核,你会收到以下一封邮件,点击Getting Started Guid,在Build AI Apps with T 数据运维 2024-05-23 竹子爱熊猫
TiDB源码学习:启动TiDB最近因为一些任务,开始入门学习TiDB源码,作为一名刚刚接触数据库底层的孩子来说,这个过程并不容易,好在TiDB的官方文档提供了源码阅读系列文章,能够让我们比较快速的入门,但是内容比较简单,即使依靠着官方文档去学习源码,对于我这种完全新入门的还是有那么亿点点的难度,所以为了帮助那些和我一样,看源码看的眼花撩换的孩子,就将自己的学习过程记录下来,希望对大家入门TiDB源码有一定的帮助。 TiDB的核 Uncategorized 2024-05-23 贤蛋大眼萌
抗风险能力提高 70%,整体数据库性能提升 90%:大淘客科技从 MySQL 到 TiDB 的迁移实践成都大淘客科技有限公司致力于打造极具影响力的数字化选品服务平台,为所有淘客提供安全稳定、方便高效的技术支持和解决方案。本文根据 TiDB 社区线下地区活动成都站上赵明中老师的演讲实录进行整理,深入探讨成都大淘客科技有限公司如何将复杂多样的数据架构整合至 TiDB 中,实现数据库架构的优化和性能的显著提升。 本文作者:赵明中,成都大淘客科技有限公司数据库架构师 数据运维 2024-05-20 大树
万字长文,深入浅出讲解分布式数据库TiDB架构设计TiDB概述 TiDB 是一款开源 分布式关系型数据库,同时支持 在线事务处理(OLTP) 与 在线分析处理(OLAP) 的混合型(Hybrid Transactional and Analytical Processing, HTAP) 分布式数据库,具备水平扩容或缩容、金融级高可用、实时 HTAP、Kubernetes 云原生的分布式数据库、兼容 MySQL 5.7 协议和 MySQL 生态等 数据运维 2024-05-20 穿过生命散发芬芳
多点 x TiDB:在出海多云多活架构中,多点运维 TiDB 的实战分享目前,多点在国内和出海都有使用 TiDB 的业务,线上生产环境中共有 46 套 TiDB 集群,300+节点,400TB+ 数据量。这些集群支撑着包含业财融合、TMS、结算、采销、物流、库存凭证、履约、存货核算等在内丰富的业务场景。底层的云资源也根据各地业务需求,选择了腾讯云、华为云、微软云、火山云等众多公有云。 多点大概有二十多个线上生产环境,上图是其中一个环境的部分 TiDB 集群,从中能看出 数据运维 2024-05-15 竹子爱熊猫
使用 TiDB Vector 搭建 RAG 应用 TiDB 文档问答小助手前言 继上一次《TiDB Vector抢先体验之用TiDB实现以图搜图》后,就迫不及待的想做一些更复杂的应用。上一篇在 TiDB 社区专栏发布以后还是有很多社区朋友不明白向量的应用场景到底是什么,这次用一个更直观的场景来体现向量检索在 AI 应用开发的重要性。 知识库问答是目前 AGI 领域应用最多的场景之一,本次我基于 TiDB Vector 给 TiDB 搭建一个文档问答小助手。 前置知识 上 数据运维 2024-05-15 泡泡
TiDB x KubeBlocks 集成案例TiDB 不止可以运行在 OP 也可以运行在各种云上,或者可以直接选择 TiDB Cloud。 但是很多企业也会选择自建云或者自建容器池,比如,Amazon EKS, Google Cloud GKE, Azure AKS 或者自托管的 Kubernetes。 今天介绍一位 TiDB 的新朋友,一款可在 k8s 上运行和管理数据库的开源控制平台:KubeBlocks TiDB 介绍 TiDB 是 数据运维 2024-05-12 醒在深海的猫
通过考证深入了解TiDB选型结缘 近年美国在高科技领域频地利用其先发优势对我国进行发展拦击和断供打击。从可持续经营的角度出发,很多公司都开始考虑如何从供应链上摆脱对美国技术的依赖。即便无法做到马上替换,也需要做好相关的应急预案和技术储备。正是在这种技术领域“保家卫国”的背景下,我与TiDB结下了缘分。 开始的时候并不知道TiDB是个什么样的数据库。以为它跟阿里和腾讯开发的分布式数据库一 数据运维 2024-05-11 大猫
TiDB Cloud x Datadog 集成案例在 TiDB 的 OP 版本中,默认集成了 Grafana 和 Prometheus 监控工具,但其实还有很多监控工具已经支持了 TiDB / TiDB Cloud,比如 Datadog。 本文将介绍演示如何使用 Datadog 监控 TiDB Cloud。 关于 TiDB Cloud TiDB Cloud 是全托管的数据库即服务 (Database-as-a-Service, DBaaS) 产品 数据运维 2024-05-11 醒在深海的猫
TiDB 学习/认证奇遇记一、学习经历 在2022年,我首次踏入了TiDB的世界,从V3版本开始,通过一系列的视频课程逐渐对其有了初步的认识。随着TiDB的版本更新至V5,我进一步深入其认证课程的学习。 自2022年末起,我便开始了TiDB PCTP认证的挑战之旅。经过七次PCTA V5和一次PCTP V6的考试尝试,我终于在社区成员的帮助下,成功通过了PCTP V6的认证考试。 然而,PCTA V5的考试过程异常艰难,这 数据运维 2024-05-09 向阳逐梦
TiDB数据同步OceanBase实践最近公司的业务数据库想从TiDB迁移到OceanBase数据库,但是如何将数据迁移到OceanBase是一个严峻的问题。经过多方面了解,发现OceanBase提供的OMS数据迁移工具支持从TiDB迁移到OceanBase,并且支持数据的增量同步,不过需要Kafka的支持。因此先提前做了个测试,验证下整个同步过程,以下是验证的记录,供各位参考。 环境介绍 以下各种组件安装过程不详细说明,具体安装过程 数据运维 2024-05-07 Escape
Flink CDC同步TiDB数据到OceanBase测试背景 应公司要求,需要将TiDB数据库替换成OceanBase数据库,替换过程需要业务影响比较小,这就要求TiDB的数据可以实时同步到OceanBase数据库。经过对各类数据同步工具的调研,目前感觉Flink CDC相对来说更容易实现我们的需求。因此,在这里先对Flink CDC做个简单测试,实现下TiDB到OceanBase的同步。 测试环境 TiDB环境 TiDB版本:v6.5.5 TiD 数据运维 2024-05-07 大白菜程序猿
TIDB 行转列和列转行操作(附SQL实战)TiDB是一款常用的分布式数据库,广泛应用于各种类型的应用程序和数据存储需求。我们经常需要对表进行行转列或列转行的操作,以满足不同的分析或报表需求。本文将详细介绍TiDB中的行转列和列转行操作,并提供相应的SQL语句进行操作。 行转列 行转列操作指的是将表格中一行数据转换为多列数据的操作。由于当前TiDB 暂时未兼容oracle pivot函数,我们通过CTE递归功能,可以动态实现列值不固定内容的 数据运维 2024-05-07 LOVEHL^ˇ^
唐刘:关于产品质量的思考 UT in TiDB本文作者:PingCAP 唐刘 在很早之前,我就注意到了 TiDB 代码里面的一个风险,就是我们很多的单元测试看起来是 UT 测试,实际上算是 IT 测试,也就是我们非常多的接口是使用 SQL 来进行测试的。关于这一点,在 PingCAP 内部进行了大量的讨论,支持 SQL 测试的研发理由非常充分,因为 SQLite 就是使用这种方式来的,而且这样的测试写起来非常的简单。而反对这种方式的研发也有充 数据运维 2024-05-07 大猫
为什么说TiDB在线扩容对业务几乎没有影响当前的数据库种类繁多,墨天轮当前统计的所有国产数据库已经有290个,其中属于关系型数据库的有166个。关系型数据库从部署架构上又可以分为集中式(典型代表为达梦DM8、金仓KES)、分库分表(典型代表为中兴GoldenDB、腾讯TDSQL)以及原生分布式架构(典型代表为PingCAP TiDB、阿里OceanBase)。 昨天和别人交流PingCAP TiDB时,这位同学对“TiDB在线扩容对业务几 数据运维 2024-05-07 LOVEHL^ˇ^
TiProxy 问题解答 & 未来规划大家好,我是 TiProxy 团队的研发,非常开心看到大家喜欢 TiProxy。我们读了每一条对 TiProxy 的评价,决定在这里解答大家的疑问。 TiProxy 刚 GA,有人用吗?稳定吗? TiProxy 从 2023.1 开始上线 TiDB Serverless,你在 TiDB Serverless 上运行的每一条 SQL,都经过了 TiProxy 的处理;TiDB Serverless 数据运维 2024-05-07 大树