elk：使用filebeat采集日志发送到kafka
# 安装 filebeat
下载
cd /chz/install/filebeat
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.13.4-linux-x86_64.tar.gz
解压
tar zxvf filebeat-8.13.4-linux-x86_64.tar.gz
修改配置文件
cd /chz/install/filebeat/filebeat-8.13.4-linux-x86_64
vim filebeat.yml
<<<<
filebeat.inputs:
- type: filestreamid: my-filestream-idenabled: truepaths:- /chz/install/elk/logs/*.log# 将文件里面原有的output相关的内容删除，然后添加以下内容
output.kafka:hosts: ["192.168.44.228:9092"]topic: upload_from_filebeat
>>>>
启动filebeat
./filebeat -e --strict.perms=false
# 测试
进入filebeat扫描日志的目录
cd /chz/install/elk/logs
往日志文件里面写入一点数据
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log
echo "chz ::: $(date -R)" >> a.log
看下之前已经准备好的kafka consumer是否收到了数据
从截图里面可以看出日志数据已经被消费到了