零拷贝技术学习笔记 | 青训营

2023年 8月 26日 121.4k 0

在现代计算机系统中,零拷贝技术是一种优化方法,旨在最大限度地减少数据在内存和设备之间的复制操作,从而提高数据传输的效率。在 Rust 编程语言中,我们可以利用一些库和系统调用来实现零拷贝技术,包括 mmap + write、sendfile、sendfile + DMA 收集以及 splice 等。在本文中,我将为你总结这些技术,并提供相应的Rust示例代码。

在消息中间件 kafka 和 RocketMQ 中,也深度应用零拷贝技术进行优化,以达到较高的吞吐量,我在本文中也进行了总结。

mmap + write

mmap(Memory Map)是一种在Linux系统中常用的内存映射技术,它允许你将一个文件或者其它设备的内容映射到进程的地址空间,使得这些内容在内存中可以被直接访问,而无需进行传统的读取或写入操作,通过这种方式,文件数据只会从磁盘 DMA 拷贝到内核空间,而无需从内核空间拷贝到用户空间。

sendfile

sendfile方法是一种在两个文件描述符之间直接传输数据的系统调用,它避免了数据从内核空间到用户空间的复制,从而实现了零拷贝。

下面是一个使用nix中的sendfile方法进行文件传输的示例:

use nix::fcntl::{open, OFlag};
use nix::sys::sendfile::sendfile;
use nix::sys::stat::{stat, Mode};

fn main() -> Result {
    let fstat = stat("src.txt")?;

    let source_fd = open("src.txt", OFlag::O_RDONLY, Mode::empty())?;
    let dest_fd = open("dst.txt", OFlag::O_WRONLY | OFlag::O_CREAT, Mode::empty())?;

    let mut remain = fstat.st_size;
    while remain > 0 {
        sendfile(dest_fd, source_fd, None, 4096)?;
        remain -= 4096;
    }

    Ok(())
}

sendfile + DMA 收集

DMA(Direct Memory Access)是一种数据传输技术,它允许外设直接访问内存,而无需 CPU 的干预。在 Linux 系统中,可以通过 sendfile 系统调用结合 DMA 收集功能,实现零拷贝的文件传输。

splice

splice函数在 Linux 系统中用于在两个文件描述符之间进行数据传输,从而实现高效的数据移动,而无需在用户空间和内核空间之间进行数据复制。以下是一个使用nix库进行splice操作的示例:

首先使用stat()方法获取了源文件(src.txt)的详细信息,以获取文件大小。然后,调用pipe()方法创建了一个匿名管道,获得了读取端和写入端的文件描述符(read_pipewrite_pipe)。分别打开了源文件和目标文件,循环通过管道零拷贝文件,把传输长度设置为页大小(4096字节),有助于优化传输性能。设置SPLICE_F_MOVE标志位,可以提示内核尽量移动数据而不是拷贝数据。

use nix::fcntl::{open, OFlag, splice, SpliceFFlags};
use nix::unistd::pipe;
use nix::sys::stat::{stat, Mode};

fn main() -> Result {
    let fstat = stat("src.txt")?;

    let (read_pipe, write_pipe) = pipe()?;

    let source_fd = open("src.txt", OFlag::O_RDONLY, Mode::empty())?;
    let dest_fd = open("dst.txt", OFlag::O_WRONLY | OFlag::O_CREAT, Mode::empty())?;

    let mut remain = fstat.st_size;
    while remain > 0 {
        splice(source_fd, None, write_pipe, None, 4096, SpliceFFlags::SPLICE_F_MOVE)?;
        splice(read_pipe, None, dest_fd, None, 4096, SpliceFFlags::SPLICE_F_MOVE)?;
        remain -= 4096;
    }

    Ok(())
}

kafka 性能优化技术总结

顺序读写

producer 每次会追加写入到 partition(对 segment 文件进行追加写),consumer 每次消费的时候,根据 offset 进行顺序读取,并且通过批量刷盘的方式来减少磁盘 I/O 的次数。

页缓存技术

kafka 利用 linux 的 page cache 技术,将页面缓存到内存中,并且通过异步落盘,减少磁盘 I/O 次数。如果发生服务器掉电,内存中的数据可能会丢失,通过 Replication 机制去解决数据丢失的问题。

零拷贝之 mmap

kafka 会给一些数据建立稀疏索引,稀疏索引的作用是帮助查找到数据的一个大致的范围,稀疏索引保存在文件内,因此 kafka 使用mmap的方式来读取稀疏索引文件,减少在内核空间和用户空间中的拷贝次数。

零拷贝之 sendfile

consumer 的作用只是从磁盘上读取文件并通过网卡转发出去,不需要对这段数据进行修改,这非常适合使用sendfile来进行 I/O。再加上 kafka 可能会在 page cache 中缓存一些未落盘的数据,或者预读一些可能用的数据到 page cache 中,所以效率更加高,这也是 kafka 支持百万级吞吐量的一个原因。

RocketMQ 性能优化技术总结

RocketMQ 的功能更完善、更全面,相比于 kafka,它支持定时消息、消息过滤等。也由于需要支持这些功能,因此要使文件内容对用户进程可见,不能使用sendfile了。因此 RocketMQ 的吞吐量要低于 kafka。

mmap

RocketMQ 把收到的消息通过顺序写入记录到 commit log 中,并建立对应的 consumer queue(消息索引),consumer 通过 consumer queue 来获取消息。commit log 和 consumer queue 都是通过 mmap 的方式来读取的,所以 RocketMQ 采用定长结构来存储文件,方便一次性把文件映射到内存中。通过文件预热的方式来解决可能存在的缺页问题。

相关文章

服务器端口转发,带你了解服务器端口转发
服务器开放端口,服务器开放端口的步骤
产品推荐:7月受欢迎AI容器镜像来了,有Qwen系列大模型镜像
如何使用 WinGet 下载 Microsoft Store 应用
百度搜索:蓝易云 – 熟悉ubuntu apt-get命令详解
百度搜索:蓝易云 – 域名解析成功但ping不通解决方案

发布评论