民工哥死磕Redis教程（五）：事件机制详解

前言

Redis 采用事件驱动机制来处理大量的网络 IO。它并没有使用 libevent 或者 libev 这样的成熟开源方案，而是自己实现一个非常简洁的事件驱动库 ae_event。

什么是事件驱动？

所谓事件驱动，简单地说就是你点什么按钮（即产生什么事件），电脑执行什么操作（即调用什么函数）.当然事件不仅限于用户的操作. 事件驱动的核心自然是事件。

从事件角度说，事件驱动程序的基本结构是由一个事件收集器、一个事件发送器和一个事件处理器组成。

• 事件收集器专门负责收集所有事件，包括来自用户的（如鼠标、键盘事件等）、来自硬件的（如时钟事件等）和来自软件的（如操作系统、应用程序本身等）。
• 事件发送器负责将收集器收集到的事件分发到目标对象中。
• 事件处理器做具体的事件响应工作。

事件驱动库的代码主要是在src/ae.c中实现的，其示用意如下所示。

Redis 服务器就是一个事件驱动程序，服务器需要处理以下两类事件：

文件事件(file event):Redis服务器通过套接字与客户端（或者其他Redis服务器）进行连接，而文件事件就是服务器对套接字操作的抽象，服务器与客户端（或者是其他服务器）通信会产生相应的文件事件，而服务器则通过监听并处理这些事件来完成一系列网络通信操作。

时间事件（time event）：Redis服务器中的一些操作需要在给定的时间点执行，而时间事件就是服务器对这类定时操作的抽象。

文件事件

Redis基于Reactor模式开发了自己的网络事件处理器：这个处理器被称为文件事件处理器（file event handler）：

• 文件事件处理器使用I/O多路复用（multiplexing）程序来同时监听多个套接字，并且根据套接字目前执行的任务来为套接字关联不同的所时间处理器
• 当被监听的套接字准备好执行连接应答（accept），读取（read），写入（write），关闭（close）等操作时，与操作相对应的文件事件就会产生，这时文件处理器就会调用套接字之前关联好的事件处理器来处理这些事件

虽然文件事件处理器以单线程的方式运行，但通过使用I/O多路复用程序来监听多个套接字，文件时间处理器既能实现高性能的网络通信模型，又可以很好的与Redis服务器中的其他同样以单线程方式运行的模块进行对接，这就保持了Redis内部单线程设计的简单性。更多关于 Redis 学习的文章，请参阅：NoSQL 数据库系列之 Redis，本系列持续更新中。

文件事件处理器的构成

文件事件处理器主要有四部分组成，他们分别是套接字，I.O多路复用程序，文件事件分派器，以及事件处理程序。

• 文件事件是对套接字操作的抽象，每当一个套接字准备好执行连接应答（accept），写入，读取，关闭等操作时，就会产生一个文件事件。因为一个服务器通常会连接多个套接字，所以多个文件事件可能会并发出现
• I/O多路复用程序负责监听多个套接字，并向文件事件分派器传送那些产生了事件的套接字
• 尽管多个文件事件可能会并发地产生地出现，但是I/O多路复用程序总是会将所有产生事件的套接字都会放到一个队列里面，然后通过这个队列，以有序（sequentially）,同步（synchronously），每次一个套接字的方式向文件事件分派器传送套接字。当上一个套接字产生的事件被处理完毕后，I/O多路服用程序才会继续向文件事件分派器传送下一个套接字
• 文件事件分派器接受一个I/O多路复用程序传送来的套接字，并且根据套接字产生的事件的类型，调用相应的时间处理程序

I/O多路服用程序的实现

Redis的I/O多路复用程序的所有功能都是通过包装常见的select,epoll,evport和kqueue这些I/O多路复用函数库实现的，每个I/O多路复用函数库在Redis源码中都对应一个单独的文件。

下图就是基于多路复用的 Redis IO 模型。因为Redis为每个I/O多路复用函数库实现了相同的API，所以I/O多路复用程序的底层实现是可以互换的。

事件的类型

I/O多路复用程序可以监听多个套接字的READABLE事件和WRITEABLE事件，这两个事件和套接字操作之间的对应关系如下：

• 当套接字变得可读时（客户端对套接字执行write操作，或者执行close操作）,或者有新的可应答（acceptable）套接字出现时（客户端对服务器的监听套接字主席那个connect操作），套接字产生READABLE事件
• 当套接字变得可写（客户端对套接字执行read操作），套接字产生WRITEABLE事件

I/O多路复用程序允许服务器同时监听套接字的READABLE事件和WRITEABLE事件，如果套接字同时产生这两种事件，那么文件事件分派器会优先处理READABLE事件，READABLE事件处理完之后，才会处理WRITEABLE事件。更多关于 Redis 学习的文章，请参阅：NoSQL 数据库系列之 Redis ，本系列持续更新中。

API

aeCreteFileEvent函数接受一个套接字描述符，一个事件类型，以及一个时间处理器作为参数，将套接字的给定事件加入到I/O多路复用程序的监听范围之内，并对事件和时间处理器进行关联。

aeDeleteFileEvent函数接受一个套接字描述符和监听事件类型作为参数，让I/O多路复用程序取消给定套接字的给定事件监听，并且取消事件和时间处理器之间的联系。

aeGetFileEvents函数接受一个套接字描述符，返回该套接字正在监听的事件类型：

• 如果套接字没有任务事件被监听，那么函数返回AE_NONE。
• 如果套接字的读事件正在被监听，那么函数返回AE_READABLE。
• 如果套接字的写事件正在被监听，那么函数返回AE_WRITABLE
• 如果套接字的读事件和写事件正在被监听，那么函数返回AE_READABLE|AE_WRITEABLE。

文件事件处理器

Redis为文件事件编写了多个处理器，这些事件处理器分别用于实现不同的网络通信需求：

• 为了对连接服务器的各个客户端进行应答，服务器要为监听套接字关联应答处理器。
• 为了接受客户端传来的命令请求，服务器要为客户端套接字关联命令请求处理器。
• 为了向客户端返回命令的执行结果，服务器要为客户端套接字关联命令回复处理器
• 当主服务器和从服务器进行复制操作时，朱从服务器都需要关联特别为复制功能编写的复制处理器

连接应答处理器

networking.c/accpetTcpHandler函数是Redis连接应答处理器，这个处理器用于对连接服务器监听套接字的客户端进行应答，具体实现为sys/socket.h/accpet函数的包装。

当Redis服务器进行初始化的时候，程序会将这个连接应答处理器和服务器监听套接字的AE_READABLE事件进行关联，当有客户端用sys/socketh/connect函数连接服务器监听套接字的时候，套接字就会产生AE_READABLE事件，引发连接应答处理器执行。

命令请求处理器

networking.c/readQueryFromClient函数是Redis命令处理器，这个命令处理器负责从套接字中读入客户端发送的命令请求内容，具体实现为unistd.h/read函数的包装。

当一个客户端通过连接应答处理器成功连接到服务器之后，服务器就会将客户端套接字的AE_READABLE事件和命令请求处理器关联起来，当客户端向服务器发送命令请求时，套接字就会产生AE_READABLE事件，引发命令请求处理器执行，并执行相应的套接字读入操作。

在客户端连接服务器的整个过程，服务器都会一直为客户端套接字的AE_READABLE事件关联命令请求处理器。

命令回复处理器

sendReplyToClient函数是Redis命令回复处理器，这个处理器负责将服务器执行命令后得到的回复命令通过套接字返回给客户端。

当服务器有命令回复需要传送给客户端时，服务器会将客户端套接字的AE_WRITEABLE事件和命令处理器关联起来，当客户端准备好接受服务器传回的命令回复时，就会产生AE_WRITABLE事件，引发命令回复处理器执行，并执行相应的套接字写入操作。

当命令回复处理器发送完毕后，服务器就会解除命令回复处理器与套接字得AE_WRITABLE事件之间的关联。更多关于 Redis 学习的文章，请参阅：NoSQL 数据库系列之 Redis，本系列持续更新中。

一次完整的客户端与服务器连接事件

当一个 Redis 服务器正在运作，那么这个服务器的舰艇套接字得 AE_READABLE事件应该正处于监听状态下，而事件所对应的处理器为连接应答处理器。

当 Redis 客户端向服务器发起连接，那么舰艇套接字将产生 AE_READABLE 事件，触发连接应答处理器执行。处理器会对客户端的连接应答请求进行应答，然后创建客户端套接字，以及客户端状态，并将客户端套接字的 AE_RAEDABLE事件与命令请求处理器进行关联，使得客户端可以主动向服务器发送命令请求。

之后，假设客户端向主服务器发送一个命令请求，那么客户端套接字将产生一个 AE_READABLE 事件，引发命令请求处理器执行，处理器读取客户端的命令内容，然后传给相关程序去执行。

执行命令将产生相应的命令回复，为了将这些命令回复传送给客户端，服务器会将客户端套接字的 AE_WRITABLE 事件与命令回复处理器进行关联。当客户端尝试读取命令回复的时候，客户端套接字将产生 AE_WRITABLE 事件，触发命令回复处理器执行，当命令回复处理器将命令回复全部写入套接字之后，服务器就会解除客户端套接字的 AE_WRITABLE 事件与命令回复处理器之间的关联。

时间事件

Redis 时间事件可以分为两类：

• 定时时间：让一段程序在指定的时间之后执行
• 周期性时间：让一段程序每隔指定时间就执行一次

一个时间事件主要有三个属性组成：

• id:服务器为时间事件创建的全局唯一ID（标识号）。ID号按从小到大的顺序递增11，新事件的ID号比旧事件的ID号要大
• when：毫秒精度的UNIX时间戳，记录了时间事件到达时间
• timeProc：时间事件处理器，一个函数。当时间事件到达时，服务器就会调用相应的处理器来处理事件

一个定时事件是定时事件还是周期事件取决于时间事件处理器的返回值。

• 如果事件处理器返回ae.h/AE_NOMORE，那么这个事件为定时事件：该事件在到达一次之后就会被删除，之后不再到达
• 如果事件处理器返回一个非AE_NOMORE得整数值，那么这个事件为周期性事件：当一个时间事件到达之后，服务器会根据事件处理器返回的值，对时间事件的when属性进行更新，让这个事件在一段时间之后再次到达，并以这种方式一直更新并运行下去。

Redis中时间事件使用场景

时间事件的最主要应用是在redis服务器需要对自身的资源与配置进行定期的调度，从而确保服务器的长久运行。这些操作都是由serverCron函数实现。该函数做了以下操作。

• 1、更新redis服务器各类统计信息，包括时间，内存占用，数据库占用等
• 2、清理数据库中过期的key（过期删除）
• 3、关闭和清理连接失败的客户端
• 4、尝试进行aof个rdb的持久化操作（数据持久化）
• 5、如果服务器是主服务器，会定期将数据向从服务器做同步操作（主从复制）。
• 6、如果是集群模式，对集群定期进行同步和连接测试等操作（健康检查）。

Redis启动后，会定期执行serverCron函数，直到redis关闭为止，默认每秒执行10次，也就是100ms执行一次。

可以在redis配置文件(redis.conf)中的hz选项调整执行频率。

#redis执行任务的频率为1s除以hz, 一秒钟执行多少次
hz 10

实现

服务器将所有时间事件都放在一个无序链表中，每当时间事件执行器被运行时，它就遍历整个链表，查找所有已经达到的时间事件，并且调用相应的事件处理器

时间事件的链表为无序链表，指的不是链表不按ID排序，而是说该丽娜表不按when属性的大小排序。正因为链表没有按照when属性进行排序，所以当时间事件执行器运行时，它必须遍历链表中的所有时间事件，这样才能确保服务器中所有时间事件都被处理。更多关于 Redis 学习的文章，请参阅：NoSQL 数据库系列之 Redis ，本系列持续更新中。

时间事件的应用实例：serverCron函数

持续运行的Redis服务器需要定期对自身的资源和状态进行检查和调整，从而确保服务器可以长期，稳定的运行，这些定期操作有redis.c/serverCron函数负责执行，它的主要工作：

• 更新服务器的各类统计信息，比如时间，内存占用，数据库占用情况
• 清理数据库中的过期键值对
• 关闭和清理连接失效的客户端
• 尝试进行AOF或者RDB持久化操作
• 如果服务器时主服务器，那么对从服务器定期同步和连接测试
• 如果处于集群模式，那么对集群进行定期同步和连接测试

Redis服务器以周期性事件的方式运行serverCron函数，在服务器运行期间，每隔一段时间，serverCron就会执行一次，直到服务器关闭

事件的调度与执行

因为服务器中同时存在文件事件和时间事件，所以服务器必须对这两种事件进行调度，决定何时处理文件事件，何时处理时间事件，已经花费多少事件处理事件。

事件的调度和执行由ae.c/aeProcessEvents函数负责。将aeProcessEvents函数置于一个循环里面，加上初始化和清理函数，这就构成了Redis服务器的主函数，一下是该函数的伪代码：

def main():
 #初始化服务器
 init_server()
 #一直处理事件，知道服务器关闭
 while server_is_not_shutdown():
  aeProcessEvents()
 #服务器关闭，执行清理操作
 clean_server() 

从事件处理的角度，Redis服务器的运行流程可以用下图表示：

总结

Redis的高性能为什么是单线程也可以性能这么高。它的事件处理机制起着非常重要的一个作用。选用的模型为reactor模型。让单线程去做了多线程可以做的事情，并且还没有线程安全问题。

来源：https://blog.csdn.net/weixin_43809223/article/details/109631305