前言:Redis服务器是一个事件驱动程序,服务器需要处理两种事件:
1、文件事件:Redis服务器通过套接字和客户端进行链接,而文件事件就是服务器对套接字操作的抽象。服务端和客户端之间的通信会产生相应的文件事件,而服务器则通过监听并处理这些事件来完成一系列网络通信操作。
2、时间事件:Redis服务器中的一些操作,比如serverCron函数需要在给定的时间点执行,而时间事件就是服务器对这类定时操作的抽象。
1、文件事件
redis基于Reactor模式开发了自己的网络事件处理器:这个处理器被称为文件事件处理器。
1、文件事件处理器使用I/O多路复用程序来同时监听多个套接字,并根据套接字目前执行的任务来为套接字关联不同的事件处理器。
2、当被监听的套接字准备好执行连接应答(accept)、读取(read)、写入(write)、关闭(close)等操作时,与操作相对应的文件事件就会产生,这时文件事件处理器就会调用套接字之前关联好的事件处理器来处理这些事件。
虽然文件事件处理器以单线程方式进行,但通过使用I/O多路复用程序来监听多个套接字,文件事件处理器既实现了高性能的网络通信模型,又可以很好地与redis服务器中其他同样以单线程模式方式运行的模块进行对接,这保持了redis内部单线程设计的简单性。
1.1、文件事件处理器的构成
文件事件处理器包括四个部分:套接字、I/O多路复用程序,文件事件分派器,事件处理器。
文件事件是对套接字的抽象,每当一个套接字准备好执行连接应答(accept)、写入、读取、关闭等操作时,就会产生一个文件事件。因为一个服务器通常会连接多个套接字,所以多个文件事件有可能并发的出现。
I/O多路复用程序负责监听多个套接字,并向文件时间分派器传送那些产生了事件的套接字。
尽管多个文件事件可能会并发的出现,但I/O多路复用程序总是会将所有产生事件的套接字都放到一个队列里面,然后通过这个队列, 以有序(sequentially)、同步(synchronously)、每次一个套接字的方式向文件事件分派器传送套接字: 当上一个套接字产生的事件被处理完毕之后(该套接字为事件所关联的事件处理器执行完毕), I/O 多路复用程序才会继续向文件事件分派器传送下一个套接字。
文件事件分配器接受I/O多路复用程序传来的套接字,并根据套接字产生的事件类型,调用相应的事件处理器。
服务器会为执行不同任务的套接字关联不同的事件处理器,这些处理器是一个个函数,它们定义了某个事件发生时,服务器应该执行的动作。
1.2、I/O多路复用程序的实现
Redis 的 I/O 多路复用程序的所有功能都是通过包装常见的 select 、 epoll 、 evport 和 kqueue 这些 I/O 多路复用函数库来实现的, 每个 I/O 多路复用函数库在 Redis 源码中都对应一个单独的文件, 比如 ae_select.c 、 ae_epoll.c 、 ae_kqueue.c , 诸如此类。
Redis 在 I/O 多路复用程序的实现源码中用 #include 宏定义了相应的规则, 程序会在编译时自动选择系统中性能最高的 I/O 多路复用函数库来作为 Redis 的 I/O 多路复用程序的底层实现。
1.3、事件的类型
I/O 多路复用程序可以监听多个套接字的 ae.h/AE_READABLE 事件和 ae.h/AE_WRITABLE 事件, 这两类事件和套接字操作之间的对应关系如下:
1、当套接字变得可读时(客户端对套接字执行 write 操作,或者执行 close 操作), 或者有新的可应答(acceptable)套接字出现时(客户端对服务器的监听套接字执行 connect 操作), 套接字产生 AE_READABLE 事件。
2、当套接字变得可写时(客户端对套接字执行 read 操作), 套接字产生 AE_WRITABLE 事件。
I/O 多路复用程序允许服务器同时监听套接字的 AE_READABLE 事件和 AE_WRITABLE 事件, 如果一个套接字同时产生了这两种事件, 那么文件事件分派器会优先处理 AE_READABLE 事件, 等到 AE_READABLE 事件处理完之后, 才处理 AE_WRITABLE 事件。这也就是说, 如果一个套接字又可读又可写的话, 那么服务器将先读套接字, 后写套接字。
1.4、文件事件处理器
Redis 为文件事件编写了多个处理器, 这些事件处理器分别用于实现不同的网络通讯需求, 比如说:
1、为了对连接服务器的各个客户端进行应答, 服务器要为监听套接字关联连接应答处理器。
2、为了接收客户端传来的命令请求, 服务器要为客户端套接字关联命令请求处理器。
3、为了向客户端返回命令的执行结果, 服务器要为客户端套接字关联命令回复处理器。
在这些事件处理器里面, 服务器最常用的要数与客户端进行通信的连接应答处理器、 命令请求处理器和命令回复处理器
2、时间事件
redis的时间事件可以分为两类:
1、定时事件:让一段程序在指定的时间之后执行一次。
2、周期性事件:让一段代码每隔制定事件就执行一次。
一个事件事件主要由一下三个属性组成:
1、id:服务器为时间事件创建的全局唯一ID。ID从小到大递增,新事件的ID要比旧事件的ID大。
2、when:毫秒时间戳,记录时间事件的到达时间。
3、timeproc:时间事件处理器 ,一个函数。当时间事件到达时,服务器就会调用相应的处理器来处理事件。
一个时间事件是定时事件还是周期性事件取决于时间事件处理器的返回值。
1、如果返回值是ae.h/AE_NOMORE,那么是定时事件,表示只执行一次,执行完就会被删除。
2、如果返回值不是ae.h/AE_NOMORE,那么是周期性事件:当一个时间事件到达之后,服务器会根据时间事件处理器的返回值,对时间事件的when属性进行更新,让这个时间可以在一段事件后再次到达。比如,返回30,那么服务器就会对这个时间时间的when更新,30ms之后让这个事件再次到达。
目前,redis只支持了周期性事件,并为支持定时事件。
2.1、实现
服务器将所有的时间事件都放在一个无序链表中,每当时间事件执行器运行时,它就遍历整个链表,查找所有已到达的时间事件,并调用相应的事件处理器。
新生成的事件ID都是较大的,他们总是会被插入到链表的表头 ,事件一般都是逆序排序的。
注意:我们说保存时间事件的链表是无序链表,指的不是链表没有按ID排序,而是指,该链表不按when排序。正因为没有按when排序,所以当时间事件执行器运行的时候,它必须遍历链表中所有的时间事件,这样才能确保服务器中所有已经到达的时间事件都会被处理。
其实,无序链表不影响时间事件处理器的性能,因为这个链表中,目前只有一个serverCron时间事件。
2.2、serverCron函数
持续运行的redis服务器需要定期对自身的资源和状态进行检查和调整,从而确保服务器可以长期、稳定的运行下去,这些操作都由serverCron函数来负责执行。包括:
1、更新服务器的各类统计信息,比如时间、内存占用、数据库占用情况。
2、清理数据库的过期键(定期删除)
3、关闭和清理失败的客户端
4、尝试进行AOF或RDB持久化操作
5、如果是主服务器,那么对从服务器进行定期同步
6、如果是集群模式,对集群进行定期同步和连接测试
redis2.6以前 ,服务器默认规定每秒执行10次,100ms一次。
redis2.8以后,配置文件hz选项可配置。
3、时间的调度与执行
因为服务器同时存在文件事件和时间事件两种 事件类型,所以服务器必须对这两种事件进行调度,决定何时执行时间事件,何时执行文件事件,以及花多少事件来处理他们。
1.aeApiPoll函数的最大阻塞时间是由到达时间最接近当前时间的时间事件决定,这个方法既可以避免服务器对时间事件进行频繁的轮询(忙等待),也可以确保aeApiPoll函数不会阻塞过长时间。
2.因为文件事件是随机出现的,如果等待并处理完一次文件事件之后,仍未有任何时间事件到达,那么服务器将再次等待并处理文件事件。随着文件事件的不断执行,时间会逐渐向时间事件所设置的到达时间逼近,并最终来到到达事件,这时服务器就可以开始处理到达的时间事件了。
3.对文件事件和时间事件的处理都是同步,有序,原子地执行的,服务器不会中途中断事件处理,也不会对事件进行抢占,因此,不管是文件事件的处理器,还是时间事件的处理器,它们都会尽可能地减少程序的阻塞事件,并在有需要时主动让出执行权,从而降低造成事件饥饿的可能性。比如说,再命令回复处理器将一个命令回复写入到客户端套接字时,如果写入字节数超过了一个预设常量的话,命令回复处理器就会主动用break跳出写入循环,将余下的数据留到下次再写;另外,时间事件也会将非常耗时的持久化操作放到子线程或者子进程执行。
4.因为时间事件在文件事件之后执行,并且事件之间不会出现抢占,所以时间事件的实际处理时间,通常会比时间事件设定的到达时间稍微晚一些。