当前位置: 首页 > news >正文

Linux操作系统安装ELK stack日志管理系统--(2)Elasticsearch与Kibana的安装与使用以及和Logstash的连接

上一篇:

Linux操作系统安装ELK stack日志管理系统–(1)Logstash和Filebeat的安装与使用

上一篇介绍了Logstash和Filebeat的安装,以及使用Filebeat作为Logstash输入进行数据的获取,接下来将学习一下Elasticsearch与Kibana的安装与使用以及如何与Logstash的连接,打通整个ELK的流程!

前言

Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速和近实时地存储,搜索和分析大量数据。

Kibana作为日志的过滤web展示,图形界面话操作日志记录。别名Elasticsearch Dashboard 顾名思义是基于游览器的Elasticsearch分析和仪表盘工具。

Elasticsearch的安装

一、Elasticsearch下载和解压

下载地址:https://www.elastic.co/downloads/elasticsearch

这里写图片描述

选择红色框中的,注意右键复制下载链接地址,这里是:https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.2.1.tar.gz

使用wget命令下载到服务器指定目录:

这里写图片描述

使用 tar -xvf elasticsearch-5.2.1.tar 命令解压,使用cd命令进入文件夹目录:

这里写图片描述

二、启动Elasticsearch

进入bin目录,使用./elasticsearch 命令启动elasticsearch:

这里写图片描述

,如果没有出现报错信息的话!这个时候,已经成功启动了!

二、将Logstash和Elasticsearch进行关联

这里写图片描述

根据上图可以看到需要将Logstash和Elasticsearch进行关联,这样的话才可以将数据输入到Elasticsearch进行处理。

(1)配置Logstash将stdout标准输出设置为Elasticsearch

修改上一篇文章中自己定义的配置文件 logstash.conf,修改为如下内容:

input {
    beats {
        port => "5044"
    }
}
 filter {
    grok {
        match => { "message" => "%{COMBINEDAPACHELOG}"}
    }
    geoip {
        source => "clientip"
    }
}
output {
    elasticsearch {
        hosts => [ "localhost:9200" ]
    }
}

这里写图片描述

其中,新增了两个filter插件,这个后期再进行学习,然后output输出为elasticsearch,退出保存!

(2)启动Filebeat

./filebeat -e -c filebeat.yml -d "publish"

(3)启动Logstash

 bin/logstash -f logstash.conf

这里写图片描述

(4)查看Elasticsearch的反应

这里写图片描述

到此Elasticsearch安装完成,也和Logstash进行了关联,下边安装Kibana进行可视化的操作。

Kibana的安装与使用

Kibana是一个开源的分析和可视化平台,旨在与Elasticsearch一起工作。您使用Kibana搜索,查看和与存储在Elasticsearch索引中的数据进行交互。您可以轻松地在各种图表,表格和地图中执行高级数据分析和可视化数据。

一、Kibana下载与解压

下载地址:https://www.elastic.co/downloads/kibana

这里写图片描述

同样右键复制下载链接!

使用wget命令进行下载:

这里写图片描述

使用tar -xvf kibana-5.2.1-linux-x86_64.tar.gz命令进行解压,进入目录:

这里写图片描述

二、配置Kibana

Kibana的配置文件是在config/kibana.yml

(1)修改主机绑定的IP地址:

这里写图片描述

将IP地址修改为 0.0.0.0 表示全匹配!

(2)指定要进行连接到Elasticsearch

这里写图片描述

这里,由于全部是在一台机子上进行的实验,因此默认就可以,也就是

elasticsearch.url: "http://localhost:9200"

三、启动Kibana

在bin目录下使用命令: ./kibana 启动:

这里写图片描述

红色框中内容表示Kibana正在5601端口监听,使用游览器访问!

* 四、访问Kibana*

首先确保你是用的Liunx服务器开启了5601端口!

因为我的机子访问地址为:http://192.168.1.220:5601,访问结果如下:

这里写图片描述

看到界面,然后配置index,点击create!

只要你的 Tomcat产生了日志,就可以在Discover中看到,如果进入之后看不到任何结果,可能是你的Tomcat未产生日志:

这里写图片描述

至此!Elasticsearch与Kibana的安装已经完成!贯穿了从Filebeat达到logstash,再到Elasticsearch和Kibana的整个过程!

总结

当然,这只是跑通了最简单的配置操作。对于ELK的知识还有很多需要学习,后期也会把一些学习中遇到的问题和经验写出来和大家一起分享!

相关文章:

  • IOS异步获取数据并刷新界面dispatch_async的使用方法
  • Redis实战和核心原理详解(6)使用Spring Session和Redis解决分布式Session跨域共享问题
  • Redis实战和核心原理详解(7)Spring Session解决分布式Session问题的实现原理
  • Redis实战和核心原理详解(2)Redis简介以及和其他缓存数据库的区别
  • 【vijos1642】班长的任务
  • Redis实战和核心原理详解(3)Redis常见的5种不同的数据类型详解
  • 类与类之间的几种关系
  • Redis实战和核心原理详解(8)使用快照RDB和AOF将Redis数据持久化到硬盘中
  • 复利(结对2.0)
  • 为什么要重写hashCode()方法和equals()方法以及如何进行重写
  • 程序员下一门要学的编程语言Swift
  • Jenkins部署Maven多环境项目(dev、beta、prod)的参数设置
  • MATLAB地图工具箱学习总结(一)从地图投影说起
  • MySQL存储引擎MyISAM与InnoDB区别总结整理
  • Atitit。数据库 安全性 重要敏感数据加密存储解决方案
  • 《剑指offer》分解让复杂问题更简单
  • CentOS7简单部署NFS
  • Docker下部署自己的LNMP工作环境
  • Lucene解析 - 基本概念
  • mysql外键的使用
  • PHP 使用 Swoole - TaskWorker 实现异步操作 Mysql
  • RedisSerializer之JdkSerializationRedisSerializer分析
  • RxJS 实现摩斯密码(Morse) 【内附脑图】
  • Sass Day-01
  • SpriteKit 技巧之添加背景图片
  • 和 || 运算
  • 力扣(LeetCode)22
  • 前端知识点整理(待续)
  • 容器化应用: 在阿里云搭建多节点 Openshift 集群
  • 设计模式走一遍---观察者模式
  • 使用前端开发工具包WijmoJS - 创建自定义DropDownTree控件(包含源代码)
  • 小试R空间处理新库sf
  • 深度学习之轻量级神经网络在TWS蓝牙音频处理器上的部署
  • 回归生活:清理微信公众号
  • 没有任何编程基础可以直接学习python语言吗?学会后能够做什么? ...
  • $.ajax()方法详解
  • (C++20) consteval立即函数
  • (ros//EnvironmentVariables)ros环境变量
  • (ZT)出版业改革:该死的死,该生的生
  • (八)Spring源码解析:Spring MVC
  • (草履虫都可以看懂的)PyQt子窗口向主窗口传递参数,主窗口接收子窗口信号、参数。
  • (附源码)spring boot北京冬奥会志愿者报名系统 毕业设计 150947
  • (论文阅读30/100)Convolutional Pose Machines
  • (数位dp) 算法竞赛入门到进阶 书本题集
  • (转)EXC_BREAKPOINT僵尸错误
  • (转)linux自定义开机启动服务和chkconfig使用方法
  • (转载)(官方)UE4--图像编程----着色器开发
  • .aanva
  • .bat批处理(二):%0 %1——给批处理脚本传递参数
  • .NET CORE 第一节 创建基本的 asp.net core
  • .NET Core 控制台程序读 appsettings.json 、注依赖、配日志、设 IOptions
  • .net core开源商城系统源码,支持可视化布局小程序
  • .NET 设计模式—适配器模式(Adapter Pattern)
  • .NET/ASP.NETMVC 深入剖析 Model元数据、HtmlHelper、自定义模板、模板的装饰者模式(二)...
  • .NET/C# 使用 ConditionalWeakTable 附加字段(CLR 版本的附加属性,也可用用来当作弱引用字典 WeakDictionary)