SpringBoot整合ELK实现日志采集与监控

ELK是Elasticsearch、Logstash、Kibana他们三个组合起来可以搭建日志系统，本文主要讲解使用docker安装ELK收集SoringBoot应用产生的日志

# 代码地址https://github.com/bangbangzhou/spring-boot-event-log-demo.git

应用场景：

• Web应用日志监控
• 系统性能监控
• 错误信息监控

优点：

• 灵活性高：Spring Boot提供了丰富的日志模块和监控模块，可以根据具体需求选择合适的模块进行集成和配置，具有高度的灵活性。
• 易于使用：Spring Boot提供了简化配置的方式，可以通过一些注解和属性文件来配置日志和监控模块，降低了配置的复杂度，易于使用。
• 功能强大：ELK是一个功能强大的日志管理和监控工具，可以实现日志的采集、存储、搜索和分析等功能，支持生成报表和实时监控，可以满足各种日志和监控需求。
• 扩展性强：Spring Boot提供了丰富的扩展点，可以通过自定义中间件和插件来扩展日志和监控功能，满足特定的业务需求。

ELK环境搭建

1.Elasticsearch、Logstash、Kibana作用

• Elasticsearch:存储日志信息
• Logstash: 日志收集，springboot利用Logstash把日志发送个Logstash，然后Logstash将日志传递给Elasticsearch。
• Kibana:通过web端对日志进行可视化操作

使用Docker安装Elasticsearch

• 下载Elasticsearch镜像

docker pull elasticsearch:7.6.2

• 修改虚拟内存地址，否则可能出现内存过小无法启动

sysctl -w vm.max_map_count=262144

• 创建文件夹

 mkdir -p  /mydata/elasticsearch/plugins  /mydata/elasticsearch/data

• 注意要给/mydata/elasticsearch/data设置权限

chmod 777 /mydata/elasticsearch/data/

• 启动Elasticsearch服务

docker run -p 9200:9200 -p 9300:9300 --name elasticsearch 
-e "discovery.type=single-node" 
-e "cluster.name=elasticsearch" 
-v /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins 
-v /mydata/elasticsearch/data:/usr/share/elasticsearch/data 
-d elasticsearch:7.6.2

• 安装IKAnalyzer中文分词器,并重新启动进入到容器

docker exec -it elasticsearch /bin/bash

下载插件

elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip

注意:在线下载可能比较慢,可以进行离线下载

• 重启elasticsearch

docker restart elasticsearch

离线安装elasticsearch中插件

• 1.下载elasticsearch-analysis-ik-7.6.2.zip

https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.6.2/elasticsearch-analysis-ik-7.6.2.zip

• 2.上传到linux
• 3.上传的linux复制到elasticsearch容器中

docker cp elasticsearch-analysis-ik-7.6.2.zip elasticsearch:/

• 4.安装插件

docker exec -it elasticsearch /bin/bash

elasticsearch-plugin install file:////elasticsearch-analysis-ik-7.6.2.zip

docker restart elasticsearch

查看防火墙状态

systemctl status firewalld

打开特点端口

firewall-cmd --zone=public --add-port=9200/tcp --permanent
firewall-cmd --reload

• 访问ES

http://192.168.150.102:9200

2. 使用Docker安装Logstash

• 1.下载Logstash镜像

docker pull logstash:7.6.2

• 2.创建/mydata/logstash

mkdir /mydata/logstash
cd /mydata/logstash

• 3.在/mydata/logstash目录下添加Logstash配置文件logstash.conf

 vim logstash.conf

input {
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4560
    codec => json_lines
    type => "debug"
  }
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4561
    codec => json_lines
    type => "error"
  }
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4562
    codec => json_lines
    type => "business"
  }
  tcp {
    mode => "server"
    host => "0.0.0.0"
    port => 4563
    codec => json_lines
    type => "record"
  }
}
filter{
  if [type] == "record" {
    mutate {
      remove_field => "port"
      remove_field => "host"
      remove_field => "@version"
    }
    json {
      source => "message"
      remove_field => ["message"]
    }
  }
}
output {
  elasticsearch {
    hosts => "es:9200"
    index => "logback-%{type}-%{+YYYY.MM.dd}"
  }
}

配置文件 logstash.conf 中设置了四个 TCP 输入，每个输入使用不同的端口（4560、4561、4562、4563）和类型（debug、error、business、record）。同时，通过 Logstash 的过滤器 filter 部分，对类型为 “record” 的日志进行了一些字段的处理，最后通过 output 将处理过的日志发送到 Elasticsearch 中，索引的命名采用了按类型和日期分隔的格式。

这个配置的作用是根据不同类型的日志将其分别处理，并存储到 Elasticsearch 中，索引名为 “logback-类型-日期”。

在这个配置中，Logstash 配置了四个 TCP 输入，分别监听不同的端口和类型。这样可以将不同类型的日志发送到不同的输入端口，从而在 Logstash 中区分它们。

• 4.启动logstash

docker run --name logstash -p 4560:4560 -p 4561:4561 -p 4562:4562 -p 4563:4563 
--link elasticsearch:es 
-v /mydata/logstash/logstash.conf:/usr/share/logstash/pipeline/logstash.conf 
-d logstash:7.6.2

• 5.查看容器

docker ps

3. 使用Docker安装Kibana安装

• 1.下载Kibana镜像

docker pull kibana:7.6.2

• 2.启动Kibana

docker run --name kibana -p 5601:5601 
--link elasticsearch:es 
-e "elasticsearch.hosts=http://es:9200" 
-d kibana:7.6.2

• 3.打开特点端口

firewall-cmd --zone=public --add-port=5601/tcp --permanent
firewall-cmd --reload

• 4访问kibana

http://192.168.150.102:5601

4.springboot配置（logback.xml配置）

• 1.pom.xml引入maven依赖

<!--集成logstash-->
<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>7.3</version>
</dependency>

• 2.配置logback.xml文件 指定日志输出到logstash的端口号

<!--输出到logstash的appender-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--可以访问的logstash日志收集端口-->
        <destination>192.168.150.102:4560</destination>
        <encoder charset="UTF-8"  />
    </appender>

• 3.在root节点添加

<!--输出到logstash的appender-->
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <!--可以访问的logstash日志收集端口-->
        <destination>192.168.150.102:4560</destination>
        <encoder charset="UTF-8"  />
    </appender>

• 4.在application.yml配置日志文件

server:
  port: 8890


logging:
  file:
    path: /var/logs
  level:
    root: info
  #在Spring Boot项目中默认加载类路径下的logback-spring.xml文件
  config: classpath:logback-spring.xml

• postman访问接口产生日志

http://localhost:8890/user/name?name=12343

5.kibana 查看日志

• 添加log数据

• 查看Logstash 日志

• 创建索引

• 查看日志

通过以上步骤启动springboot项目 和 logstash ，此时发现logstash中会打印springboot项目中的日志，然后在kibbna中找到discovery即可可视化日志信息，还可对其过滤处理，快速定位到我们需要的日志。