单机存储
概览
单机存储=单个计算机节点上的存储软件系统，一般不涉及网络交互
- 本地文件系统
- key-value存储
本地文件系统
Linux经典哲学：一切皆文件
文件系统的管理单元：文件
文件系统接口：文件系统繁多，如Ext2/3/4，sysfs，rootfs等，但都遵循VFS的统一抽象接口
Linux文件系统的两大数据结构：Index Node&Directory Entry
-
Index Node
记录文件元数据，如id、大小、权限、磁盘位置等
inode是一个文件的唯一标识，会被存储在磁盘上
inode的总数在格式化文件系统时就固定了
-
Directory Entry
记录文件名、inode指针，层级关系（parent）等
dentry是内存结构，与inode的关系是N:1（hardlink的实现）
key-value存储
世间一切皆key-value——key是你的身份证，value是你的内涵。
常见使用方式：put(k,v) & get(k,v)
常见数据结构：LSM-Tree，某种程度上牺牲读性能，追求写入性能
拳头产品：RocksDB
分布式存储
概览
分布式存储=在单词存储基础上实现了分布式协议，设计大量网络交互
- 分布式文件系统
- 分布式对象存储
HDFS
HDFS：堪称大数据时代的基石
时代背景：专用的高级硬件很贵，同时数据存量很大，要求超高吞吐
HDFS核心特点：
- 支持海量数据存储
- 高容错性
- 弱POSIX语义
- 使用普通x86服务器，性价比高
Ceph
Ceph：开源分布式存储系统里的万金油
Ceph的核心特点：
- 一套系统支持对象接口、块接口、文件接口，但是一切皆对象
- 数据写入采用主备复制模型
- 数据分布模型采用CRUSH（HASH+权重+随机抽签）算法
单机数据库
概览
单机数据库=单个计算机节点上的数据库系统
事务在单机内执行，也可能通过网络交互实现分布式事务
- 关系型数据库
- 非关系型数据库
关系型数据库
商业产品Oracle称王，开源产品MySQL & PostgreSQL称霸
关系型数据库的通用组件：
- Query Engine——负责解析query，生成查询计划
- Txn Manager——负责事务并发管理
- Lock Manager——负责锁相关的策略
- Storage Engine——负责组织内存/磁盘数据结构
- Replication——负责主备同步
关键内存数据结构：B-Tree、B+-Tree、LRU List等
关键磁盘数据结构：WriteAheadLog（RedoLog）、Page
非关系型数据库
MongoDB、Redis、Elasticsearch三足鼎立
关系型数据库一般直接使用SQL交互，而非关系型数据库交互方式各不相同
非关系型数据库的数据结构千奇百怪，没有关系约束后，schema相对灵活
不管是否关系型数据库，大家都在尝试支持SQL（子集）和“事务”
MongoDB
- 面向文档存储
- 文档可序列化成JSON/BSON，支持嵌套
- 存在collection，collection=文档的集合
- 存储和构建索引能力依赖wiredTiger引擎
- 4.0后开始支持事务（多文档、跨分片多文档等）
- 常用client/SDK 交互，可通过插件转译支持弱SQL
Redis
- 数据结构丰富（hash表、set、zset、list）
- C语言实现，超高性能
- 主要基于内存，但支持AOF/RDB持久化
- 常用redis-cil多语言SDK交互
Elasticsearch
- 面向文档存储
- 文档可序列化为JSON，支持嵌套
- 存在index，index=文档的集合
- 存储和构建索引能力依赖Lucene引擎
- 实现了大量搜索数据结构&算法
- 支持RESTFUL API，也支持弱SQL交互
Elasticsearch使用案例
跟RDBMS相比，ES天然能够模糊搜索，还能自动计算出关联度
分布式数据库
单机数据库遇到了哪些问题&挑战，需要我们引入分布式架构来解决？
- 容量
- 弹性
- 性价比
解决容量问题
单点容量有限，受硬件限制
存储节点池化，动态扩缩容量
解决弹性问题
解决性价比问题
More to do
- 单写VS多写
- 从磁盘弹性到内存弹性
- 分布式事务优化
