存储系统:存储系统是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备(硬件)和算法(软件)所组成的系统。一个提供了读写、控制类接口,能够安全有效地把数据持久化的软件,就可以称为存储系统。
存储系统的特点
- 作为后端软件的底座,性能敏感
- 存储系统软件架构,容易受硬件影响
- 存储系统代码,既简单有复杂
存储器层级结构
金字塔型的存储结构,塔尖代表一类特定的存储设备,这类设备的容量是极小,但可以支持超高性能的访问。与底部的存储设备正好相反,容量是非常大的,但是读写和访问速度非常慢,访问方式也是极其不友好。
数据从应用到存储介质
- 缓存很重要,贯穿整个存储体系
- 拷贝很昂贵,应尽量减少
- 硬件设备五花八门,需要有抽象统一的接入层
RAID(Redundant Array of Independent Disks)技术
RAID出现的背景:
- 单块大容量磁盘的价格 > 多块小容量磁盘
- 单块磁盘的写入性能 < 多块磁盘的并发写入性能
- 单块磁盘的容错能力有限,不够安全
RAID 0:
- 多块磁盘简单组合
- 数据条带化存储,提高磁盘带宽
- 没有额外的容错设计
RAID 1:
- 一块磁盘对应一块额外镜像盘
- 真实空间利用率仅50%
- 容错能力强
RAID 0 + 1:
- 结合了RAID 0 和 RAID 1
- 真实空间利用率仅50%
- 容错能力强,写入带宽好
数据库
关系型数据库
- 用二维表来存储数据
- 数据之间的关系通过主键和外键进行定义和维护
- 适用于结构化数据和复杂查询
- 常见关系型数据库MySQL、Oracle、SQL Server
非关系型数据库
- 不使用表格来存储数据,而使用其他数据结构,如键值对,文档等。
- 速度快,高扩展性,成本低
- 键值型数据库:Redis;文档型数据库:MongDB;搜索引擎数据库:ES、Solr;列式数据库:HBase;图形数据库:InfoGrid
数据库事务:
- Atomicity:事务内的操作要么全做,要么不做
- Consistency:事务执行前后,数据状态是一致的
- Isolation:可以隔离多个并发事务,避免影响
- Durability:事务一旦提交成功,数据保证持久性
单机存储
单机存储 = 单个计算机节点上的存储软件系统,一般不涉及网络交互。
本地文件系统
Linux经典哲学:一切皆文件
文件系统的管理单元:文件
文件系统接口:文件系统繁多,如Ext2/3/4,sysfs,rootfs等,但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构:Index Node & Directory Entry
Index Node:记录文件元数据,如id、大小、权限、磁盘位置等,inode是一个文件的唯一标识,会被存储到磁盘上,inode的总数在格式化文件系统时就固定了。
Directory Entry:记录文件名、inode指针,层级关系(parent)等,dentry是内存结构,与inode的关系是N:1(hardlink的实现)。
key-value存储
常见使用方式:put(k,v) & get(k)
常见的数据结构:LSM-Tree,某种程度上牺牲了读性能,追求写入性能
拳头产品:RocksDB
分布式存储
分布式存储 = 在单机存储基础上实现了分布式协议,涉及大量网络交互。
HDFS:它是一个分布式文件系统,设计用于在集群中存储大量数据,并提供高容错性、高吞吐量和可扩展性。堪称大数据时代的基石
HDFS核心特点
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器,性比价高
HDFS架构
HDFS读文件数据流
HDFS写文件数据流
Ceph
Ceph是一个强大的分布式存储系统,具备出色的性能、可靠性和可扩展性。它的架构包括RADOS(Reliable Autonomous Distributed Object Storage)层,由多个存储设备节点组成。Ceph提供对象存储、块存储和文件系统存储,并且支持高度动态扩展。Red Hat的Ceph Storage还引入了Ceph文件系统(CephFS),它是兼容POSIX标准的分布式文件系统,构建在RADOS之上。Ceph在云计算和存储领域广泛使用,为虚拟机镜像、对象存储和文件存储等提供了统一的解决方案。它的诞生可以追溯到2004年,经过多年的发展,Ceph在分布式存储领域取得了显著的成就,成为开源社区的重要项目之一。
Ceph的核心特点:
- 一套系统支持对象接口、块接口、文件接口,但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH(HASH + 权重 + 随机抽签)算法
后续未完,待补😭