当前位置： 首页 > news >正文

单机部署ELK + Filebeat 收集应用日志

news 来源：原创 2024/9/22 5:29:42

目录

  • 前言
  • 一、ELK是什么？
  • 二、系统环境（CentOS 7）（2C4G的机器。。。）
  • 三、安装步骤
    • 3.1 安装ElasticSearch
      • 3.1.1 解压到/usr/local
      • 3.1.2 修改jvm堆配置（可选，测试服务器内存低）
      • 3.1.3 修改elasticsearch.yml
      • 3.1.4 创建es用户
      • 3.1.5 赋予es操作权限
      • 3.1.6 万事俱备
      • 3.1.7 启动问题清单
      • 3.1.8 启动成功
    • 3.2 安装Kibana
      • 3.2.1 解压到/usr/local，并赋予用户es权限
      • 3.2.2 修改kibana.yml配置
      • 3.2.3 关闭ssl配置
      • 3.2.4 使用es用户启动
      • 3.2.5 启动成功、测试
    • 3.3 Logstash安装
      • 3.3.1 解压到/usr/local
      • 3.3.2 测试配置
      • 3.3.3 多应用如何推送
      • 3.3.3 关闭logstash
      • 3.3.4 错误收集
    • 3.4 Filebeat安装
      • 3.4.1 解压（后续在各服务器下安装，把对应日志推送到logstash或者直接推给ES即可）
      • 3.4.2 新增测试配置
      • 3.4.3 关闭Filebeat
      • 3.4.4 收尾工作
  • 四、其他操作
    • 4.1 获取所有索引
    • 4.2 删除索引

前言

单机部署ELK + Filebeat 收集应用日志。

一、ELK是什么？

ELK 是一个开源的数据分析和日志管理解决方案，全称为 Elasticsearch, Logstash, Kibana。ELK Stack 主要用于收集、管理和分析日志数据，帮助用户理解和洞察大型数据集。以下是各个组件的功能概述：

  • Elasticsearch：这是一个基于 Lucene 的全文搜索引擎和分布式索引引擎，用于存储、管理和搜索大量数据。它提供了一个用于查询和分析数据的 RESTful API，并利用其强大的搜索和分析功能，帮助用户处理和理解大规模数据集。
  • Logstash：这是一个强大的数据处理工具，用于实时地收集、解析、过滤和转换日志数据。Logstash 可以从各种源收集数据，包括文件、网络流、数据库、API 调用等，并通过一系列插件进行过滤、转换和格式化，以便更容易地处理和分析数据。
  • Kibana：这是一个用于管理和可视化 Elasticsearch 数据的 Web 界面。Kibana 提供了几种方式来查看和探索数据，包括可视化图表、地图、时间序列图和搜索功能。它可以帮助用户快速提取洞察，提供了数据探索、分析和报告的界面。

Filebeat 是 Elastic Stack（ELK）中的一个组件，用于轻量级的日志文件收集和转发。它能够实时监控指定的日志文件，并将其发送到 Elasticsearch 或 Logstash 进行处理和分析。

ELK和Filebeat的关系

二、系统环境（CentOS 7）（2C4G的机器。。。）

cat /etc/os-release

在这里插入图片描述

cat /etc/centos-release

在这里插入图片描述

三、安装步骤

  • ElasticSearch 下载地址 https://www.elastic.co/cn/downloads/elasticsearch
  • Kibana 下载地址 https://www.elastic.co/cn/downloads/kibana
  • Logstash 下载地址 https://www.elastic.co/cn/downloads/logstash
  • Filebeat 下载地址 https://www.elastic.co/cn/downloads/beats/filebeat

在这里插入图片描述
安装的方式很多，这里提供的是下载包的方式，上传到服务器里，解压改配置再后台启动。

3.1 安装ElasticSearch

ElasticSearch 8.0以上，和其他低版本最大的区别就是，默认开启安全防护。kibana访问时需要token访问。
首次启动Elasticsearch时，默认情况下会启用并配置安全功能。以下安全配置将自动进行：
启用身份验证和授权，并为弹性内置超级用户生成密码。
为传输层和HTTP层生成TLS的证书和密钥，并使用这些密钥和证书启用和配置TLS。
为Kibana生成一个注册令牌，有效期为30分钟。

开发文档： https://www.elastic.co/guide/en/elasticsearch/reference/8.14/index.html

3.1.1 解压到/usr/local

tar -zxvf elasticsearch-8.14.3-linux-x86_64.tar.gz -C /usr/local

3.1.2 修改jvm堆配置（可选，测试服务器内存低）

vim /usr/local/elasticsearch-8.14.3/config/jvm.options

修改配置

-Xms512m
-Xmx512m

3.1.3 修改elasticsearch.yml

vim /usr/local/elasticsearch-8.14.3/config/elasticsearch.yml

修改配置

# 集群名称
cluster.name: my-application
# 节点名称
node.name: node-1
# 指定访问主机 设置成0.0.0.0可以被任何机器访问
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["127.0.0.1"]
cluster.initial_master_nodes: ["node-1"]# 关闭安全配置（这里为了后面配置少些，安全性低）
xpack.security.enabled: false
xpack.security.enrollment.enabled: false
# Enable encryption for HTTP API client connections, such as Kibana, Logstash, and Agents
xpack.security.http.ssl:enabled: false
# Enable encryption and mutual authentication between cluster nodes
xpack.security.transport.ssl:enabled: false

3.1.4 创建es用户

不可使用root用户直接启动elasticsearch，需要创建一个用户来启动ES。

java.lang.RuntimeException: can not run elasticsearch as rootat org.elasticsearch.bootstrap.Elasticsearch.initializeNatives(Elasticsearch.java:286) ~[elasticsearch-8.14.3.jar:?]at org.elasticsearch.bootstrap.Elasticsearch.initPhase2(Elasticsearch.java:169) ~[elasticsearch-8.14.3.jar:?]at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:74) ~[elasticsearch-8.14.3.jar:?]

# 创建用户es
groupadd es
useradd -g es es
passwd es

3.1.5 赋予es操作权限

chown -R es:es /usr/local/elasticsearch-8.14.3/

3.1.6 万事俱备

cd /usr/local/elasticsearch-8.14.3/bin/

# 切换es用户
su es
# 启动(第一次建议这个，可以看看输出)
./elasticsearch
# 后台启动
nohup ./elasticsearch &
# 不需要nohup.out文件 执行命令
nohup ./elasticsearch > /dev/null 2>&1 &

# 查看启动的进程
ps -ef | grep elasticsearch

在这里插入图片描述

3.1.7 启动问题清单

bootstrap check failure [1] of [1]: 
max virtual memory areas vm.max_map_count [65530] is too low, 
increase to at least [262144];

# 切换到root用户：
su rootsysctl -w vm.max_map_count=262144# 查看结果：
sysctl -a|grep vm.max_map_count# 切换用户，再次启动
su es
# 进入到bin目录，启动命令
./elasticsearch

目前就碰到这问题，待大家补充。

3.1.8 启动成功

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
✅ Elasticsearch security features have been automatically configured!
✅ Authentication is enabled and cluster connections are encrypted.ℹ️  Password for the elastic user (reset with `bin/elasticsearch-reset-password -u elastic`):Q1dedsRMdwW3TlCurM6Sℹ️  HTTP CA certificate SHA-256 fingerprint:a760b450bc408134a581a7dae6f10c934d12f03490464bbe6bf03f1f8a29f1eeℹ️  Configure Kibana to use this cluster:
• Run Kibana and click the configuration link in the terminal when Kibana starts.
• Copy the following enrollment token and paste it into Kibana in your browser (valid for the next 30 minutes):eyJ2ZXIiOiI4LjE0LjAiLCJhZHIiOlsiMTAuMC4xMi4yOjkyMDAiXSwiZmdyIjoiYTc2MGI0NTBiYzQwODEzNGE1ODFhN2RhZTZmMTBjOTM0ZDEyZjAzNDkwNDY0YmJlNmJmMDNmMWY4YTI5ZjFlZSIsImtleSI6IkQxVm1CcEVCUUoyYWhtcGZFQjFHOnBRSFg3YTU3VDlXQXVTTUZDYlp3UncifQ==ℹ️ Configure other nodes to join this cluster:
• Copy the following enrollment token and start new Elasticsearch nodes with `bin/elasticsearch --enrollment-token <token>` (valid for the next 30 minutes):eyJ2ZXIiOiI4LjE0LjAiLCJhZHIiOlsiMTAuMC4xMi4yOjkyMDAiXSwiZmdyIjoiYTc2MGI0NTBiYzQwODEzNGE1ODFhN2RhZTZmMTBjOTM0ZDEyZjAzNDkwNDY0YmJlNmJmMDNmMWY4YTI5ZjFlZSIsImtleSI6IkRWVm1CcEVCUUoyYWhtcGZFQjA4Onl2ODNUM29VVEhXcWhXNi1Ub3BjYncifQ==If you're running in Docker, copy the enrollment token and run:`docker run -e "ENROLLMENT_TOKEN=<token>" docker.elastic.co/elasticsearch/elasticsearch:8.14.3`
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

查看ElasticSearch是否启动成功。

curl 127.0.0.1:9200

{"name" : "node-1","cluster_name" : "my-application","cluster_uuid" : "VlzgSvECRRqg8iFbmzB1Tw","version" : {"number" : "8.14.3","build_flavor" : "default","build_type" : "tar","build_hash" : "d55f984299e0e88dee72ebd8255f7ff130859ad0","build_date" : "2024-07-07T22:04:49.882652950Z","build_snapshot" : false,"lucene_version" : "9.10.0","minimum_wire_compatibility_version" : "7.17.0","minimum_index_compatibility_version" : "7.0.0"},"tagline" : "You Know, for Search"
}

3.2 安装Kibana

3.2.1 解压到/usr/local，并赋予用户es权限

tar -zxvf kibana-8.14.3-linux-x86_64.tar.gz -C /usr/localchown -R es:es /usr/local/kibana-8.14.3/

3.2.2 修改kibana.yml配置

vim /usr/local/kibana-8.14.3/config/kibana.yml

server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]

3.2.3 关闭ssl配置

vim /usr/local/kibana-8.14.3/config/node.options

# 注释掉
## --openssl-legacy-provider

3.2.4 使用es用户启动

# kibana也不能使用root启动
su esnohup ./kibana &

# 1、启动时的进程号可以直接kill命令停止

在这里插入图片描述

# 2、或者使用，找到进程号再kill
ps aux | grep /src/cli/dist

在这里插入图片描述

3.2.5 启动成功、测试

在这里插入图片描述

3.3 Logstash安装

官方文档：https://www.elastic.co/guide/en/logstash/current/first-event.html

Logstash提供了一个灵活的数据处理平台，可以用于过滤、解析、聚合、转换数据，并且支持多种插件来实现复杂的处理逻辑。这包括但不限于时间戳解析、用户自定义的脚本、日志格式转换、字段重命名等。

原理：
Logstash 事件处理管道有三个阶段：输入 → 过滤器 → 输出。

在这里插入图片描述

3.3.1 解压到/usr/local

tar -zxvf logstash-8.14.3-linux-x86_64.tar.gz -C /usr/local

3.3.2 测试配置

配置测试文件：进入logstash-8.14.3文件夹下进行配置

vim /usr/local/logstash-8.14.3/config/privacy_phone.logstash.conf# logstash配置文件: privacy_phone.logstash.conf
input {stdin {id => "stdin_input"}
}filter {grok {match => { "message" => "(?<phone_number>\d{11})" }}if [phone_number] {mutate {add_field => { "masked_phone_number" => "%{phone_number}" }}ruby {code => "event.set('masked_phone_number', event.get('masked_phone_number').gsub(/(\d{3})\d{4}(\d{4})/, '\\1****\\2'))"}mutate {remove_field => ["phone_number"]}}
}
#输出到ElasticSearch
output {elasticsearch {hosts => ["http://127.0.0.1:9200"]# 推送到 ElasticSearch的哪个索引index => "testphone-%{+YYYY.MM.dd}"#user => "elastic"#password => "changeme"}
}#输出到控制台
#output {
#  stdout {
#    codec => rubydebug
#  }
#}

#进入bin目录执行
./logstash -f /usr/local/logstash-8.14.3/config/privacy_phone.logstash.conf

启动成功后，输入文本。

在这里插入图片描述

进入kibana ： http://ip地址:5601/

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

这块例子有点生硬，但主旨就是logstash是可以处理数据的。
【开发文档写的很详细，无非就是数据输入，经过过滤器处理，再输出数据的流程】

3.3.3 多应用如何推送

vim /usr/local/logstash-8.14.3/config/multiple.logstash.confinput {beats {port => 5044}
}output {if [fields][appname] == "app1" {elasticsearch {hosts => ["localhost:9200"]index => "app1-%{+YYYY.MM.dd}"}}
}input {beats {port => 5045}
}output {if [fields][appname] == "app2" {elasticsearch {hosts => ["localhost:9200"]index => "app2-%{+YYYY.MM.dd}"}}
}

#进入bin目录执行
nohup ./logstash -f /usr/local/logstash-8.14.3/config/multiple.logstash.conf &

3.3.3 关闭logstash

ps -ef|grep logstashkill 进程号

3.3.4 错误收集

org.jruby.exceptions.SystemExit: (SystemExit) exit

在这里插入图片描述
提示找不到文件、修改路径即可。

3.4 Filebeat安装

3.4.1 解压（后续在各服务器下安装，把对应日志推送到logstash或者直接推给ES即可）

tar -zxvf filebeat-8.14.3-linux-x86_64.tar.gz# 进入文件夹
cd filebeat-8.14.3-linux-x86_64

3.4.2 新增测试配置

# 新增app1_filebeat.yml
vim app1_filebeat.ymlfilebeat.inputs:
- type: logenabled: truepaths:- /opt/elk/logs1/*.logfields:appname: app1 # 标志output.logstash:hosts: ["127.0.0.1:5044"]

# 按配置文件启动
nohup ./filebeat -e -c app1_filebeat.yml &# 模拟日志生成
mkdir /opt/elk/logs1/cd /opt/elk/logs1/vim info.2024-08-02.log# 插入以下数据模拟正常日志
我是日志文件11111111111111111111111111111啊

filebeat控制台输出。
在这里插入图片描述

在这里插入图片描述
kibana再对应创建下就能看见数据了。

(app2也一样，filebeat复制一份改下配置，appname:改成app2，filebeat推到logstash就会被推到对应的index)

3.4.3 关闭Filebeat

ps -ef | grep filebeatkill 进程号

3.4.4 收尾工作

关于java的一些错误日志，按以上配置收集到es中时，因为是逐行收集，看着就难以排查问题，例如

[2024-08-02 09:16:00.305] [xxl-job, executor ExecutorRegistryThread] ERROR c.x.job.core.util.XxlJobRemotingUtil : Connection refused (Connection refused)
java.net.ConnectException: Connection refused (Connection refused)at java.net.PlainSocketImpl.socketConnect(Native Method)at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)at java.net.Socket.connect(Socket.java:607)at sun.net.NetworkClient.doConnect(NetworkClient.java:175)at sun.net.www.http.HttpClient.openServer(HttpClient.java:463)at sun.net.www.http.HttpClient.openServer(HttpClient.java:558)at sun.net.www.http.HttpClient.<init>(HttpClient.java:242)at sun.net.www.http.HttpClient.New(HttpClient.java:339)at sun.net.www.http.HttpClient.New(HttpClient.java:357)at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:1226)at sun.net.www.protocol.http.HttpURLConnection.plainConnect0(HttpURLConnection.java:1162)at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:1056)at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:990)at com.xxl.job.core.util.XxlJobRemotingUtil.postBody(XxlJobRemotingUtil.java:99)at com.xxl.job.core.biz.client.AdminBizClient.registry(AdminBizClient.java:42)at com.xxl.job.core.thread.ExecutorRegistryThread$1.run(ExecutorRegistryThread.java:48)at java.lang.Thread.run(Thread.java:748)

在kibana中显示为：
在这里插入图片描述

修改filebeat配置

vim app1_filebeat.yml

filebeat.inputs:
- input_type: logenabled: truepaths:           - /opt/elk/logs1/*.logencoding: utf-8fields: appname: app1 # logstash可以用此字段判断multiline:pattern: '^\d{4}-\d{1,2}-\d{1,2}' # 匹配以 YYYY-MM-DD 开头的行 negate: true # 是否匹配 pattern 的情况match: after # 将其追加到上一行之后 pattern + negate + match 组合成一条语意为: 如果匹配 YYYY-MM-DD HH:mm:ss 开头的行，则将其合并到当前行的上一行max_lines: 200 # 最多匹配多少行，如果超出最大行数，则丢弃多余的行(默认500)timeout: 6s # 一次合并事件的超时时间，默认为 5s
output.logstash:hosts: ["127.0.0.1:5044"]

在日志文件中插入以上报错信息，再次查看。
在这里插入图片描述

四、其他操作

4.1 获取所有索引

在这里插入图片描述

GET /_cat/indices?v

在这里插入图片描述

4.2 删除索引

DELETE /app1-2024.08.02

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • C++：map容器的使用
  • RangePicker 表单赋值引发的无限更新问题(Maximum update depth exceeded)
  • 【JS】一篇BOM详解笔记 | b站李立超
  • Linux：shell环境bash配置文件讲解（用户登录弹提示语的实现）
  • 算法刷题day28|动态规划：509. 斐波那契数、70. 爬楼梯、746. 使用最小花费爬楼梯
  • 【C语言】指针、多维数组零碎知识点
  • Linux 操作系统速通
  • 蒲公英G5-2250路由器之收集各种硬件的配置页面
  • 初见scikit-learn之基础教程
  • langchain调用讯飞星火大模型3.5和4
  • C++入门 | auto关键字、范围for、指针空值nullptr
  • dynamic-datasource+Mybatis多数据源使用
  • ctfhub Bypass disable_function
  • 论文辅导 | 基于概率密度估计与时序Transformer网络的风功率日前区间预测
  • 测试总结8/6
  • python3.6+scrapy+mysql 爬虫实战
  • 时间复杂度分析经典问题——最大子序列和
  • #Java异常处理
  • 【JavaScript】通过闭包创建具有私有属性的实例对象
  • centos安装java运行环境jdk+tomcat
  • laravel with 查询列表限制条数
  • Mac转Windows的拯救指南
  • mockjs让前端开发独立于后端
  • node-sass 安装卡在 node scripts/install.js 解决办法
  • React+TypeScript入门
  • Spring Boot快速入门（一）：Hello Spring Boot
  • STAR法则
  • vue+element后台管理系统，从后端获取路由表，并正常渲染
  • 从零搭建Koa2 Server
  • 互联网大裁员：Java程序员失工作，焉知不能进ali？
  • 老板让我十分钟上手nx-admin
  • 聊聊flink的TableFactory
  • 聊聊spring cloud的LoadBalancerAutoConfiguration
  • 前端面试之闭包
  • 区块链共识机制优缺点对比都是什么
  • 使用阿里云发布分布式网站，开发时候应该注意什么？
  • python最赚钱的4个方向，你最心动的是哪个？
  • 如何用纯 CSS 创作一个菱形 loader 动画
  • #include
  • #我与Java虚拟机的故事#连载05：Java虚拟机的修炼之道
  • ()、[]、{}、(())、[[]]等各种括号的使用
  • （1）(1.13) SiK无线电高级配置（五）
  • （2015）JS ES6 必知的十个 特性
  • （8）STL算法之替换
  • （C语言）深入理解指针2之野指针与传值与传址与assert断言
  • (c语言版)滑动窗口 给定一个字符串，只包含字母和数字，按要求找出字符串中的最长（连续）子串的长度
  • （k8s）Kubernetes本地存储接入
  • （PADS学习）第二章：原理图绘制 第一部分
  • （pytorch进阶之路）扩散概率模型
  • （附源码）springboot社区居家养老互助服务管理平台 毕业设计 062027
  • (附源码)计算机毕业设计ssm高校《大学语文》课程作业在线管理系统
  • .NET LINQ 通常分 Syntax Query 和Syntax Method
  • .net 反编译_.net反编译的相关问题
  • .NET命令行（CLI）常用命令
  • .Net中的集合