认识存储与数据库 | 青训营

2023年 8月 28日 30.0k 0

存储系统:存储系统是指计算机中由存放程序和数据的各种存储设备、控制部件及管理信息调度的设备(硬件)和算法(软件)所组成的系统。一个提供了读写、控制类接口,能够安全有效地把数据持久化的软件,就可以称为存储系统。

存储系统的特点

  • 作为后端软件的底座,性能敏感
  • 存储系统软件架构,容易受硬件影响
  • 存储系统代码,既简单有复杂

存储器层级结构

金字塔型的存储结构,塔尖代表一类特定的存储设备,这类设备的容量是极小,但可以支持超高性能的访问。与底部的存储设备正好相反,容量是非常大的,但是读写和访问速度非常慢,访问方式也是极其不友好。

数据从应用到存储介质

  • 缓存很重要,贯穿整个存储体系
  • 拷贝很昂贵,应尽量减少
  • 硬件设备五花八门,需要有抽象统一的接入层

RAID(Redundant Array of Independent Disks)技术

RAID出现的背景:

  • 单块大容量磁盘的价格 > 多块小容量磁盘
  • 单块磁盘的写入性能 < 多块磁盘的并发写入性能
  • 单块磁盘的容错能力有限,不够安全

RAID 0:

  • 多块磁盘简单组合
  • 数据条带化存储,提高磁盘带宽
  • 没有额外的容错设计

RAID 1:

  • 一块磁盘对应一块额外镜像盘
  • 真实空间利用率仅50%
  • 容错能力强

RAID 0 + 1:

  • 结合了RAID 0 和 RAID 1
  • 真实空间利用率仅50%
  • 容错能力强,写入带宽好

数据库

关系型数据库

  • 用二维表来存储数据
  • 数据之间的关系通过主键和外键进行定义和维护
  • 适用于结构化数据和复杂查询
  • 常见关系型数据库MySQL、Oracle、SQL Server

非关系型数据库

  • 不使用表格来存储数据,而使用其他数据结构,如键值对,文档等。
  • 速度快,高扩展性,成本低
  • 键值型数据库:Redis;文档型数据库:MongDB;搜索引擎数据库:ES、Solr;列式数据库:HBase;图形数据库:InfoGrid

数据库事务:

  • Atomicity:事务内的操作要么全做,要么不做
  • Consistency:事务执行前后,数据状态是一致的
  • Isolation:可以隔离多个并发事务,避免影响
  • Durability:事务一旦提交成功,数据保证持久性

单机存储

单机存储 = 单个计算机节点上的存储软件系统,一般不涉及网络交互。

本地文件系统

Linux经典哲学:一切皆文件

文件系统的管理单元:文件

文件系统接口:文件系统繁多,如Ext2/3/4,sysfs,rootfs等,但都遵循VFS的统一抽象接口

Linux文件系统的两大数据结构:Index Node & Directory Entry

Index Node:记录文件元数据,如id、大小、权限、磁盘位置等,inode是一个文件的唯一标识,会被存储到磁盘上,inode的总数在格式化文件系统时就固定了。

Directory Entry:记录文件名、inode指针,层级关系(parent)等,dentry是内存结构,与inode的关系是N:1(hardlink的实现)。

key-value存储

常见使用方式:put(k,v) & get(k)

常见的数据结构:LSM-Tree,某种程度上牺牲了读性能,追求写入性能

拳头产品:RocksDB

分布式存储

分布式存储 = 在单机存储基础上实现了分布式协议,涉及大量网络交互。

HDFS:它是一个分布式文件系统,设计用于在集群中存储大量数据,并提供高容错性、高吞吐量和可扩展性。堪称大数据时代的基石

HDFS核心特点

  • 支持海量数据存储
  • 高容错性
  • 弱POSIX语义
  • 使用普通x86服务器,性比价高

HDFS架构

HDFS读文件数据流

HDFS写文件数据流

Ceph

Ceph是一个强大的分布式存储系统,具备出色的性能、可靠性和可扩展性。它的架构包括RADOS(Reliable Autonomous Distributed Object Storage)层,由多个存储设备节点组成。Ceph提供对象存储、块存储和文件系统存储,并且支持高度动态扩展。Red Hat的Ceph Storage还引入了Ceph文件系统(CephFS),它是兼容POSIX标准的分布式文件系统,构建在RADOS之上。Ceph在云计算和存储领域广泛使用,为虚拟机镜像、对象存储和文件存储等提供了统一的解决方案。它的诞生可以追溯到2004年,经过多年的发展,Ceph在分布式存储领域取得了显著的成就,成为开源社区的重要项目之一。

Ceph的核心特点:

  • 一套系统支持对象接口、块接口、文件接口,但是一切皆对象
  • 数据写入采用主备复制模型
  • 数据分布模型采用CRUSH(HASH + 权重 + 随机抽签)算法

后续未完,待补😭

相关文章

服务器端口转发,带你了解服务器端口转发
服务器开放端口,服务器开放端口的步骤
产品推荐:7月受欢迎AI容器镜像来了,有Qwen系列大模型镜像
如何使用 WinGet 下载 Microsoft Store 应用
百度搜索:蓝易云 – 熟悉ubuntu apt-get命令详解
百度搜索:蓝易云 – 域名解析成功但ping不通解决方案

发布评论