当前位置: 首页 > news >正文

Kibana配置logstash,报表一体化

Logstash:接收,处理,转发日志
Elasticsearch:文档型数据库,实时的分布式搜索和分析引擎
Kibana:查询、生成报表的web GUI

在安装目录bin文件夹里新建一个logstash.conf
一般配置如下:

# 输入输入
input { stdin {} }
# 数据处理
filter {
    grok {
        match => ["message",  "%{COMBINEDAPACHELOG}"]
    }
}
# 数据输出
output { stdout { codec => rubydebug } }

配置文件语法类似Ruby

input: 数据的来源,一般是通过服务器+日志路径的方式
filter:以何种规则从字符串中提取出结构化的信息,grok是logstash里的一款插件,可以使用正则表达式匹配日志,上文中的%{COMBINEDAPACHELOG}是内置的正则,用来匹配apache access日志
默认正则:

# Log formats
SYSLOGBASE %{SYSLOGTIMESTAMP:timestamp} (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}:
COMMONAPACHELOG %{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-)
COMBINEDAPACHELOG %{COMMONAPACHELOG} %{QS:referrer} %{QS:agent}

# Log Levels
LOGLEVEL ([A-a]lert|ALERT|[T|t]race|TRACE|[D|d]ebug|DEBUG|[N|n]otice|NOTICE|[I|i]nfo|INFO|[W|w]arn?(?:ing)?|WARN?(?:ING)?|[E|e]rr?(?:or)?|ERR?(?:OR)?|[C|c]rit?(?:ical)?|CRIT?(?:ICAL)?|[F|f]atal|FATAL|[S|s]evere|SEVERE|EMERG(?:ENCY)?|[Ee]merg(?:ency)?)

output:配置保存解析结果

其中,重点讲解filter中的配置,基本格式如下,plugin都是官方提供的,针对文本做处理,比如正则表达式啊(grok),按固定的格式做切分(kv)等等。选择正确的plugin可以更快速的帮助你解析日志

filter {
    plugin {
        XX => "YY"
    }

    if expression {
        plugin {
             XX => "YY"
        }
    } else if expression {
        plugin {
            XX => "YY"
        }
    } else {
        plugin {
            XX => "YY"
        }
    }

    plugin {
        XX => "YY"
    }
}

1、grok:正则表达式插件,功能强大,有许多内置的pattern
2、mutate:字段的CRUD操作,比如替换内容,截取等等

mutate {
    split=>{"error_request_info"=>",fromuid"}
    add_field=>{"error_uri"=>"%{error_request_info[0]}"}
    remove_field=>["error_request_info"]
} 

3、kv:key-value插件,非常适合URL参数解析一类的具有固定分隔符的日志

#比如解析URL的querystring: a=1&b=2&c=3

filter {
    kv {
        field_split => "&"
    }
}

4、json:将json字符串直接转换成对应的key-value

#比如日志为:xxxxxxxxx:xxxxxx&result={"data":"1"}:xxxxxx
filter {
    json {
        #假设数据通过grok预处理,将result内容捕获
        source => "result"
    }
}
#通过json encode后
{
  "data": "1"
}

5、drop:直接丢掉本行日志,过滤不符合要求的日志

if "/app/log/logfront" in [content] {
           # 特定的处理
        drop {}  
}

相关文章:

  • 读程序员,你焦虑吗有感。
  • 利用github和git命令,将本地项目共享到服务器上——第二章
  • SQL/My sql
  • 微信小程序点击图片放大预览
  • activit5升到flowable后的全局设置的修改
  • Facebook智能bug修复神器:让程序员少掉几根头发
  • Android-来填写一个验证码吧!(二)
  • webpack的使用
  • 最详细的Log4j使用教程
  • Javascript 对象 - 数学对象
  • 浅析微信支付:申请退款、退款回调接口、查询退款
  • 都是用 DllImport?有没有考虑过自己写一个 extern 方法?
  • python实现将json数据以json格式写入txt文件
  • 【笔记】Nginx热更新相关知识
  • 简单读!spring-mvc源码之穿越http请求
  • [译]前端离线指南(上)
  • bearychat的java client
  • gf框架之分页模块(五) - 自定义分页
  • JavaSE小实践1:Java爬取斗图网站的所有表情包
  • LeetCode541. Reverse String II -- 按步长反转字符串
  • Mithril.js 入门介绍
  • spring + angular 实现导出excel
  • SpringBoot几种定时任务的实现方式
  • VirtualBox 安装过程中出现 Running VMs found 错误的解决过程
  • vue-cli3搭建项目
  • windows-nginx-https-本地配置
  • 基于 Ueditor 的现代化编辑器 Neditor 1.5.4 发布
  • 简单实现一个textarea自适应高度
  • 利用DataURL技术在网页上显示图片
  • 码农张的Bug人生 - 初来乍到
  • 前端学习笔记之原型——一张图说明`prototype`和`__proto__`的区别
  • 无服务器化是企业 IT 架构的未来吗?
  • 一个完整Java Web项目背后的密码
  • 一个项目push到多个远程Git仓库
  • 在Mac OS X上安装 Ruby运行环境
  • Play Store发现SimBad恶意软件,1.5亿Android用户成受害者 ...
  • # Python csv、xlsx、json、二进制(MP3) 文件读写基本使用
  • ()、[]、{}、(())、[[]]命令替换
  • (42)STM32——LCD显示屏实验笔记
  • (Redis使用系列) Springboot 实现Redis消息的订阅与分布 四
  • (zt)基于Facebook和Flash平台的应用架构解析
  • (简单有案例)前端实现主题切换、动态换肤的两种简单方式
  • (免费领源码)python#django#mysql公交线路查询系统85021- 计算机毕业设计项目选题推荐
  • (三)Pytorch快速搭建卷积神经网络模型实现手写数字识别(代码+详细注解)
  • (十八)SpringBoot之发送QQ邮件
  • (一)C语言之入门:使用Visual Studio Community 2022运行hello world
  • (已更新)关于Visual Studio 2019安装时VS installer无法下载文件,进度条为0,显示网络有问题的解决办法
  • (轉貼) 資訊相關科系畢業的學生,未來會是什麼樣子?(Misc)
  • (状压dp)uva 10817 Headmaster's Headache
  • .bat文件调用java类的main方法
  • .NET Core中的去虚
  • .NET 中小心嵌套等待的 Task,它可能会耗尽你线程池的现有资源,出现类似死锁的情况
  • .Net中的设计模式——Factory Method模式
  • .pyc文件还原.py文件_Python什么情况下会生成pyc文件?
  • .sh文件怎么运行_创建优化的Go镜像文件以及踩过的坑