存储系统
什么是存储系统
一个提供了读写、控制类接口,能够安全有效的把数据持久化的软件,就可以称为存储系统
数据库
关系型数据库 非关系型数据库
- 关系,即反应了事物间的关系
- 关系代数,对关系作运算的抽象查询语言
- SQL,一种DSL,方便人阅读的关系代数表达形式
关系型数据库特点
关系型数据库是存储系统,但在存储之外,有发展出出其他能力
- 结构化数据友好
- 支持事务
- 事务的优越性
1.事务内的操作要么全做,要么不做
2.事务执行前后,数据状态是一致的
3.可以隔离多个并发事务,避免影响
4.事务一旦提交成功,数据保持持久性
- 事务的优越性
- 支持复杂查询语言
非关系型数据库特点
非关系型数据库也是存储系统,但是一般不要求严格的结构化
- 半结构化数据友好
- 可能支持事务
- 可能支持复杂查询语言
单机存储
概念:单个计算机节点上的存储软件系统,一般不涉及网络交互
- 本地文件系统
Linux文件系统两大数据结构
Index Node & Directory Entry - key-value存储
常见数据结构: LSM-Tree,某种程度上牺牲性能,追求写入性能
分布式存储
概念:在单机存储基础上实现了分布式协议,涉及大量网络交互
- 分布式文件系统
- 分布式对象存储
HDFS(堪称大数据时代的基石)
核心特点:
- 支持海量数据存储
- 高容错率
- 弱POSIX语义
- 使用普通x86服务器,性价比高
Ceph(开源分布式存储系统里的万金油)
核心特点:
- 一套系统支持对象接口、块接口、文件接口,但是一切皆对象
- 数据采用主备复制模型
- 数据分布模型采用CRUSH算法
单机数据库
概览:单个计算机节点上的数据库系统
事务在单机内执行,也可能通过网络交互实现分布式事务
关系型数据库:
MySQL & PostgreSQL
关系型数据库的通用组件:
Query Engine —— 负责解析query,生成查询计划
Txn Manager —— 负责事务并发管理
Lock Mannager —— 负责锁相关的策略
Storage Engine —— 负责组织内存/磁盘数据结构
Replication —— 负责主备同步
关键内存数据结构:B-Tree、B+-Tree、LRU List等
关键磁盘数据结构:WriteAheadLog(RedoLog)、Page
非关系型数据库
MongoDB、Redis、Elasticsearch三足鼎立
关系型数据库一般直接使用SQL交互,而非关系型数据库 交互方式各不相同
非关系型数据库的数据结构千奇百怪,没有关系约束后,schema相对灵活
不管是关系型数据库,大家都支持SQL(子集)和“事务”
分布式数据库
容量,弹性和性价比问题
解决容量问题
单机数据库,单点容量有限,受硬件限制
分布式数据库,存储节点池化,动态扩缩容(池化技术)
解决弹性问题
存储节点池化,动态扩缩容(池化技术)
解决性价比问题
存储节点池化,动态扩缩容(池化技术)
More to Do
多写、内存弹性、分布式事务优化