YouTube如何利用MySQL支撑24.9亿用户?

2024年 6月 27日 77.9k 0

从前,三个PayPal前员工决定建立一个约会网站,然而他们的商业模式失败了。

因此他们转而创建了一个视频共享网站,并将其命名为YouTube。

他们将视频标题、描述和用户数据存储在MySQL中。随着用户增加,他们采用领导者-追随者(Leader-Follower)复制拓扑设置 MySQL 来扩展。

YouTube如何利用MySQL支撑24.9亿用户?-1

MySQL 中的领导者-追随者复制拓扑

MySQL中的复制是单线程的,因此,追随者无法跟上领导者的极端写入操作的新数据。

YouTube的增长速度是爆炸性的,其用户数达到惊人的十亿,成为世界上访问量第二大的网站。

YouTube如何利用MySQL支撑24.9亿用户?-2

因此,他们通过添加缓存进行了横向扩展,并预加载了MySQL二进制日志中的所有事件。这意味着复制变得受内存限制,速度更快。

尽管这暂时解决了他们的可扩展性问题,但新的问题又出现了,比如:

1. 分片

MySQL必须分区以处理存储需求,但在分片后,事务和连接就会变得困难,因此应该使用应用程序逻辑处理。

这意味着应用程序逻辑应该找到要查询的分片,这会增加停机的可能性。

2. 性能

领导者-跟随者复制拓扑导致从跟随者读取陈旧数据,因此,如果需要新鲜数据,应用逻辑必须将读取路由到领导者。

这需要额外的逻辑实现。

3. 保护

有些查询可能需要太长时间才能返回数据,同时,太多的MySQL连接可能存在问题,会使数据库崩溃。

MySQL

他们希望在MySQL之上建立一个抽象层,实现简单性和可扩展性,因此,他们创建了Vitess。

以下是Vitess提供极端可扩展性的方式:

1. 与数据库交互

他们在每个MySQL实例前安装了一个边车(sidecar)服务器,并称之为VTTablet。

YouTube如何利用MySQL支撑24.9亿用户?-3

VTTablet作为边车服务器运行

作用:

  • 控制MySQL服务器和管理数据库备份

  • 通过添加限制子句重写昂贵的查询

  • 缓存频繁访问的数据以防止出现惊群问题

2. 路由SQL查询

设置了一个无状态代理服务器来路由查询,并称之为VTGate。

YouTube如何利用MySQL支撑24.9亿用户?-4VTGate将查询路由到特定分片

作用:

  • 根据模式和分片方案找到正确的VTTablet来路由查询

  • 通过连接池保持较低的MySQL连接数

  • 与应用层使用MySQL协议通信

  • 为了简单起见,像一个整体式MySQL服务器一样运行

  • 限制同时进行的事务数量以提高性能

YouTube如何利用MySQL支撑24.9亿用户?-5

使用多个VTGate服务器进行扩展

同时运行多个VTGate服务器来实现扩展。

3. 状态信息

设置了一个分布式键值数据库来存储有关模式、分片方案和角色的信息。

YouTube如何利用MySQL支撑24.9亿用户?-6

存储元信息的键值数据库

键值数据库还处理数据库之间的关系,如领导者和跟随者。

YouTube使用Zookeeper来实现键值数据库,并将这些数据缓存在VTGate上以获得更好的性能。

YouTube如何利用MySQL支撑24.9亿用户?-7

更新键值数据库

他们运行了一个HTTP服务器来保持键值数据库更新,并称之为VTctld。它获取所有服务器及其关系的完整列表,然后更新键值数据库。

总结

YouTube如何利用MySQL支撑24.9亿用户?-8

Vitess的高级架构

  • VTGate:代理服务器,用于路由查询

  • 键值数据库:拓扑管理的配置服务器

  • VTTablet:每个MySQL上运行的边车服务器

YouTube工程师们用Go编写了Vitess并将其开源,并支持MariaDB。

YouTube通过Vitess+MySQL组合就能服务24.9亿用户,该案例研究表明,MySQL可以轻松处理互联网规模的流量。

>>>>

参考资料

  • Vitess Official Site

    https://vitess.io/

  • Vitess Architecture Official Docs

    https://vitess.io/docs/19.0/overview/architecture/

  • Scaling YouTube's Backend: The Vitess Trade-offs - @Scale 2014 - Data

    https://www.youtube.com/watch?v=5yDO-tmIoXY

  • Vitess: A Distributed Scalable Database Architecture

    https://www.youtube.com/watch?v=SXJZuGgXINk

  • What Is Vitess?

    https://vitess.io/docs/19.0/overview/whatisvitess/

  • Vitess on GitHub

    https://github.com/vitessio/vitess

  • Scalability at YouTube

    https://www.youtube.com/watch?v=G-lGCC4KKok

  • Vitess Supported Databases

    https://vitess.io/docs/19.0/overview/supported-databases/

  • Do Mysql slaves run multiple threads to read the Relay log to sync up the Master's operation

    https://stackoverflow.com/questions/35256926/do-mysql-slaves-run-multiple-threads-to-read-relay-log-for-sync-up-masters-oper

  • 11 Reasons Why YouTube Was Able to Support 100 Million Video Views a Day With Only 9 Engineers

    https://newsletter.systemdesign.one/p/youtube-scalability

  • Most Visited Websites In The World (May 2024)

    https://explodingtopics.com/blog/most-visited-websites

作者丨Neo Kim   编译丨onehunnit

来源丨newsletter.systemdesign.one/p/vitess-mysql?utm_source=profile&utm_medium=reader2
*本文为dbaplus社群编译整理,如需转载请取得授权并标明出处!欢迎广大技术人员投稿,投稿邮箱:editor@dbaplus.cn

YouTube如何利用MySQL支撑24.9亿用户?-9

YouTube如何利用MySQL支撑24.9亿用户?-10

相关文章

Oracle如何使用授予和撤销权限的语法和示例
Awesome Project: 探索 MatrixOrigin 云原生分布式数据库
下载丨66页PDF,云和恩墨技术通讯(2024年7月刊)
社区版oceanbase安装
Oracle 导出CSV工具-sqluldr2
ETL数据集成丨快速将MySQL数据迁移至Doris数据库

发布评论