Part 01.什么是rsyslog
作为一个功能强大和高度配置化的系统日志守护进程,rsyslog可以在日志服务器或日志客户端这两种不同的环境中运行。作为日志服务器,rsyslog可以从网络中的其他主机收集日志数据;作为日志客户端,可以过滤并发送内部日志消息至可路由的远程rsyslog服务器。
以下是rsyslog的一些关键特性:
- 多线程支持:rsyslog提供多线程支持,以实现更高的并发处理能力。
- 多协议支持:rsyslog可以使用UDP、TCP、SSL、TLS、RELP等协议收集信息。
- 数据库集成:rsyslog能将日志数据存储在MySQL、pgsql、Oracle等多种数据库管理系统中。
- 强大的过滤器:rsyslog提供了强大的自定义过滤器,可以对日志信息进行过滤。
- 自定义输出格式:用户可以根据需要设置rsyslog的输出格式。
- 日志集中管理:通过rsyslog,用户可以进行日志集中管理。
- C/S架构:在rsyslog的客户端/服务器架构中,客户端会将其日志上传至服务器,用户可以通过查询服务端日志,实现对所有客户端日志的集中管理。
这些特性使rsyslog成为处理和管理系统日志的强大工具。
Part 02. rsyslog日志类型及等级
rsyslog日志类型用来定义日志消息的来源,方便对日志进行分类:
rsyslog日志等级定义不同消息的级别:
图片
Part 03.如何快速搭建rsyslog
为了将内部日志消息发送到远程rsyslog服务器,我们可以采用以下拓扑配置:
- 将IP地址为172.21.44.93的虚拟机配置为rsyslog客户端,用于发送日志消息。
- 将IP地址为172.21.44.245的虚拟机配置为rsyslog日志服务器,用于接收和存储日志消息。
通过上述配置,我们可以实现内部日志的集中管理和存储,以便进行后续的分析和监控。
图片
3.1 rsyslog日志服务端配置
- 检查是否安装了rsyslog服务
ps -ef | grep rsyslog
rsyslogd -v
- 编辑配置文件
vi /etc/rsyslog.conf
$ModLoad imudp
$UDPServerRun 514
这个配置使rsyslog守护进程能够通过UDP端口514接收日志消息。UDP是一种速度比TCP更快的协议,但不具备TCP协议的可靠性。如果需要使用可靠的传输机制,可以设置在TCP端口514上接收日志消息。
需要注意的是,可以同时启用TCP和UDP来监听TCP/UDP连接:
$ModLoad imtcp
$InputTCPServerRun 514
图片
除了配置接收日志信息的协议和端口外,还需要创建日志接收模板,以告知rsyslog守护进程如何记录从其他客户端机器接收到的消息。
使用文本编辑器打开/etc/rsyslog.conf文件,在GLOBAL
DIRECTIVE块之前添加以下模板配置。使用指令$template
RemoteLogs指示rsyslog后台进程将日志消息写入独立的本地日志文件/var/log/rsyslogTest中。
$template RemoteLogs,"/var/log/rsyslogTest/%fromhost-ip%_%$YEAR%-%$MONTH%-%$DAY%.log" *.* ? RemoteLogs
- 编辑完配置文件后,重启守护进程使更改生效
systemctl restart rsyslog
可以使用netstat命令来验证rsyslog守护进程是否正常工作,运行以下命令:
$ sudo netstat -tulpn | grep rsyslog
如果rsyslog守护进程正在使用UDP监听端口,可以看到类似下面的输出:
udp 0 0 0.0.0.0:514 0.0.0.0:* 551/rsyslogd
udp6 0 0 :::514 :::* 551/rsyslogd
如果rsyslog守护进程被设置在TCP连接端口,可以看到类似下面的输出:
tcp 0 0 0.0.0.0:514 0.0.0.0:* LISTEN 1891/rsyslogd
tcp6 0 0 :::514 :::* LISTEN 1891/rsyslogd
以上输出表明rsyslog守护进程正在监听相应的端口,并处于活动状态。
3.2 rsyslog日志客户端配置
- 安装rsyslog守护进程
在CentOS 7上,rsyslog守护进程已经预先安装。可以执行以下命令来验证rsyslog是否已安装到CentOS系统上:
# rpm -qa | grep rsyslog
# rsyslogd -v、
如果处于某种原因,rsyslog守护进程没有出现在系统中,可以使用以下命令来安装:
# yum install rsyslog
- 修改配置文件
用文本编辑器打开位于/etc路径下的rsyslog主配置文件:
# vim/etc/rsyslog.conf
开启文件用于编辑后,将IP地址替换为远程rsyslog服务器的IP地址:
*.* @172.21.44.245:514
该配置指示rsyslog守护进程将系统上各个设备的各种日志消息路由到远程rsyslog服务器的UDP端口514(IP地址为172.21.44.245)。
如果出于某种原因,需要更为可靠的协议TCP,可以如下配置:
*.* @@172.21.44.245:514
图片
3.3 编辑完配置文件后,重启守护进程使更改生效
systemctl restart rsyslog.service
- 验证远程日志记录
在rsyslog客户端上输入命令:logger -t kern -p err "addddddddddd",该命令将在客户端上创建一个带有kern类型和err等级的日志消息,内容为"addddddddddd"。
图片
rsyslog service查看日志信息,可以看到日志文件中有客户端发送的内容:
图片
Part 04. 如何快速搭建到远程日志服务器的安全日记
为了提高安全性,可以通过使用TLS进行安全的远程日志记录。使用TLS进行安全的远程日志记录具有以下一些安全优势:
- 在网络传输期间,系统日志消息已加密。
- syslog发送方向syslog接收方进行身份验证,因此接收者知道与其通信的是谁。
- syslog接收方向syslog发送方进行身份验证,因此发送者可以验证是否确实发送给了预期的接收方。
- 双向身份验证可防止中间人攻击。
下面将使用两个不同的节点演示如何使用带有TLS证书的rsyslog进行安全的远程日志记录。这两个节点分别是client和server,client节点作为rsyslog客户端,server节点作为远程日志服务器。
4.1 生成CA证书
要创建用于将syslog安全转发到远程日志服务器的自签名证书,需要先安装certtool工具,它是GnuTLS的一部分:
yum -y install gnutls-utils
生成私钥,并设置权限以确保创建的密钥只对root用户可读:
certtool --generate-privkey --outfile ca-key.pem
chmod 400 ca-key.pem
创建自签名CA证书:
certtool --generate-self-signed --load-privkey ca-key.pem --outfile ca.pem
关于证书有效性,当该证书过期时,需要重新创建所有证书,我们可以设置一个比较长的时间3650天(大约10年)。
图片
如图所示,ca-key.pem是证书颁发机构的私钥,ca.pem是分发给其他节点的公钥。
图片
4.2 生成机器证书
在此步骤中,我们将生成服务器端(server)的私钥和证书。--outfile反映了将要使用私钥的服务器名称,我们将server端名称命名为node3:
certtool --generate-privkey --outfile node3-key.pem --bits 2048
通过私钥获取签名请求,加载服务端私钥node3-key.pem,并将该私钥签名到node3-request.pem:
certtool --generate-request --load-privkey node3-key.pem --outfile node3-request.pem
图片
完成上述操作后,日志服务器的密钥生成过程已经完成。证书颁发机构的私钥(ca-key.pem)将对即将使用的证书进行签名。
certtool --generate-certificate --load-request node3-request.pem --outfile node3-cert.pem --load-ca-certificate ca.pem --load-ca-privkey ca-key.pem
4.3 分发TLS证书以启用安全的远程日志记录
接下来,我们将密钥复制到远程节点服务端node3。
在复制密钥之前,在服务器节点上创建一个目录rsyslog-key来存储这些密钥,将密钥从client复制到server。
4.4 服务器配置以安全转发系统日志
为了在服务端接受消息,需进行相应的配置:
在/etc/rsyslog.config文件中输入以下信息:
#将gtls驱动程序设为默认驱动程序
$ DefaultNetstreamDriver gtls
#证书文件
$ DefaultNetstreamDriverCAFile /etc/rsyslog-keys/ca.pem $ DefaultNetstreamDriverCertFile /etc/rsyslog-keys/node3-cert.pem $ DefaultNetstreamDriverKeyFile /etc/rsyslog-keys/node3-key.pem
#TCP侦听器
$ ModLoad imtcp
#在仅TLS模式下运行驱动程序
$ InputTCPServerStreamDriverMode 1
$ InputTCPServerStreamDriverAuthMode anno
#在端口514上启动侦听器
$ InputTCPServerRun 514
重启rsyslog服务,检查服务状态:
systemctl status rsyslog.service
4.5 客户端配置以安全地接收日志消息
配置客户端实现将日志安全地传输到远程日志服务器,在客户端创建目录,存储ca.pem。
在/etc/rsyslog.config文件中输入以下信息:
#tls protocol
$DefaultNetstreamDriver gtls
$DefaultNetstreamDriverCAFile /etc/rsyslog-keys/ca.pem $ActionSendStreamDriverAuthMode anon
$ActionSendStreamDriverMode 1
*.* @@172.21.44.245:514
重启rsyslog服务,检查服务状态:
systemctl status rsyslog.service
4.6验证远程日志记录
在客户端rsyslog client输入:logger "hello world",截图信息可知远程日志服务器接收到了客户端发送的消息。
图片
Part 05. 结语
rsyslog是一个强大而安全的日志处理系统,被广泛用于不同Linux发行版中,如Ubuntu 14.04、CentOS 6及以后的版本。它提供了丰富的功能,可以从不同的源收集日志,并提供过滤和格式化日志的能力。
通过使用rsyslog,我们能够轻松管理和记录系统日志。rsyslog可以集中处理和存储登录认证、系统日志等重要信息,并将其发送到远程日志服务器上。这样做有助于减轻系统的负载并确保日志的集中管理。此外,通过rsyslog,我们可以随时获取最新的日志信息,以进行监控和分析,帮助我们了解系统的运行状况。
总的来说,rsyslog在日志收集方面提供了强大的功能,使我们能够更好地管理和利用系统日志。它是一个可靠且广泛使用的工具,有助于提高系统的安全性、可靠性和可管理性。