Filebeat收集日志到ES

一、Filebeat

Filebeat是轻量型日志采集器
logstash 和filebeat都具有日志收集功能，filebeat更轻量，占用资源更少。
logstash 不仅仅是一个日志采集工具，它也是可以作为一个日志搜集工具，有丰富的input|filter|output插件可以使用。资源消耗比较大

1、下载 Filebeat

下载地址：https://www.elastic.co/cn/downloads/beats/filebeat

下载成功后，解压即可

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.12.0-linux-x86_64.tar.gz
tar -zxvf filebeat-7.12.0-linux-x86_64.tar.gz -C /usr/local/
cd /usr/local/
mv filebeat-7.12.0-linux-x86_64 filebeat

2、配置Filebeat

默认Fileabeat收集的日志都存到ES的同一索引
我想把不同的日志放到不同的索引，这样方便查找
新建一个 filebeat-myconfig.yml

内容编辑如下：

# 定义 gateway、nginx等应用的input类型、以及存放的具体路径
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /manage_log/sys-gateway/info.log
    - /manage_log/sys-gateway/error.log
  fields: 
    module: gateway
- type: log
  enabled: true
  paths:
    - /var/log/nginx/*.log
  fields:
    module: nginx
- type: log
  enabled: true
  paths:
    - /manage_log/dcs-original-xj/info.log
    - /manage_log/dcs-original-xj/error.log
  fields:
    module: original
    
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
  
setup.template.settings:
  index.number_of_shards: 1
  
# 定义kibana的IP:PORT
setup.kibana:
  host: "192.168.31.169:5601"

# 定义模板的相关信息  
setup.template.name: "rstyro_log"
setup.template.pattern: "rstyro-*"
setup.template.overwrite: true
setup.template.enabled: true
# 自定义ES的索引需要把ilm设置为false
setup.ilm.enabled: false

# 定义 gateway、original、nginx的output
output.elasticsearch:
  # 定义ES的IP:PORT
  hosts: ["192.168.31.169:9200"]
  # 这里的index前缀lile与模板的pattern匹配，中间这一串设置为field.module变量，方面后面具体的匹配
  index: "rstyro-%{[fields.module]}-*"
  indices:
    # 这里的前缀 rstyro 同为与模板的pattern匹配，中间为field.module具体的值，当前面的input的field.module值与这里的匹配时，则index设置为定义的
    - index: "rstyro-gateway-%{+yyyy.MM.dd}"
      when.equals:
        fields:
            module: "gateway"
    - index: "rstyro-original-%{+yyyy.MM.dd}"
      when.equals: 
        fields:
            module: "original"
    - index: "rstyro-nginx-%{+yyyy.MM.dd}"
      when.equals: 
        fields:
            module: "nginx"
  
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

3、启动filebeat

启动filebeat

1 2	# -e 输出到控制台，-c 配置文件 ./filebeat -e -c filebeat-myconfig.yml