当前位置: 首页 > news >正文

链接追踪系列-00.es设置日志保存7天-番外篇

索引生命周期策略

ELK日志我们一般都是按天存储,例如索引名为"zipkin-span-2023-03-24",因为日志量所占的存储是非常大的,我们不能一直保存,而是要定期清理旧的,这里就以保留7天日志为例。
自动清理7天以前的日志可以用定时任务的方式,这样就需要加入多一个定时任务,可能不同服务记录的索引名又不一样,这样用定时任务配还是没那么方便。
ES给我们提供了一个索引的生命周期策略(lifecycle),就可以对索引指定删除时间,能很好解决这个问题。
索引生命周期分为四个阶段:HOT(热)=>WARM(温)=》COLD(冷)=>DELETE(删除)

给索引设生命周期策略(ILM)
这里为ELK日志超过7天的自动删除,所以只需要用到DELETE(删除阶段)

创建一个自动删除策略(auto_delete_policy):
delete:删除阶段,7天执行删除索引动作

PUT _ilm/policy/auto_delete_policy
{"policy": {"phases": {"delete": {"min_age": "7d","actions": {"delete": {}}}}}
}

在这里插入图片描述
查看策略:GET _ilm/policy/
在这里插入图片描述

#创建索引模板:索引模板可以匹配索引名称,匹配到的索引名称按这个模板创建mapping
PUT _template/elk_template
{"index_patterns": ["zipkin*"],"settings": {"index":{"lifecycle":{"name":"auto_delete_policy","indexing_complete":true}}}
}

在这里插入图片描述
说明:创建索引模板(elk_template),index.lifecycle.name把上面的自动删除策略绑定到elk索引模板
创建zipkin开头的索引时就会应用这个模板。
indexing_complete:true,必须设为true,跳过HOT阶段的Rollover

#查看模板:
GET /_template/
在这里插入图片描述

测试效果:
为了立刻知道演示结果,这里测试时把DELETE的日期又7天"7d"改为1分钟"1m"

PUT _ilm/policy/auto_delete_policy
{"policy": {"phases": {"delete": {"min_age": "1m","actions": {"delete": {}}}}}
}
#生命周期策略默认10分钟检测一次,为了方便测试,这里设为30s
PUT /_cluster/settings
{"transient": {"indices.lifecycle.poll_interval":"30s"}
}

在这里插入图片描述
启动相关项目:把链路追踪日志写入到es:(查看 演示zipkin 篇)
在这里插入图片描述
在这里插入图片描述
#查看zipkin开头索引的生命周期策略:
GET zipkin*/_ilm/explain
在这里插入图片描述
#也可以在es中搜索到:
在这里插入图片描述
#经过一分钟后: 没有了(删除了)
在这里插入图片描述

#演示成功!最后把过期时间重新改成7d

PUT _ilm/policy/auto_delete_policy
{"policy": {"phases": {"delete": {"min_age": "1m","actions": {"delete": {}}}}}
}

#生命周期策略默认10分钟检测一次

PUT /_cluster/settings
{"transient": {"indices.lifecycle.poll_interval”:”10m”}
}

在这里插入图片描述
通过kibana操作:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
查看索引汇总:
在这里插入图片描述

在这里插入图片描述
自动给索引添加删除策略
因为索引是按照日期生成的,所以自动给它加上删除策略
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 对Mapper.xml文件进行深入的学习
  • @SpringBootApplication 注解
  • linux:命令执行过程【图表】
  • linux 安装redis 遇到问题解决方案
  • 面试真题 | ARM体系架构基础知识
  • (四)stm32之通信协议
  • 补码是什么意思_补码的性质_补码反码原码的转换
  • c++【入门】计算(a+b)*c的值
  • LLM大模型应用中的安全对齐的简单理解
  • 什么是数据同步服务RSYNC?
  • 快速排序算法Python实现
  • 【人工智能】-- 迁移学习
  • 包管理器-npm、yarn、cnpm、pnpm的比较
  • JDK安装详细教程(以JDK17为例)
  • c++将utf8转gb2312
  • C++类的相互关联
  • Cumulo 的 ClojureScript 模块已经成型
  • Docker 笔记(1):介绍、镜像、容器及其基本操作
  • ESLint简单操作
  • JS创建对象模式及其对象原型链探究(一):Object模式
  • js写一个简单的选项卡
  • Laravel核心解读--Facades
  • overflow: hidden IE7无效
  • Spring Cloud(3) - 服务治理: Spring Cloud Eureka
  • Vue ES6 Jade Scss Webpack Gulp
  • Webpack 4 学习01(基础配置)
  • 百度地图API标注+时间轴组件
  • -- 查询加强-- 使用如何where子句进行筛选,% _ like的使用
  • 大快搜索数据爬虫技术实例安装教学篇
  • 翻译--Thinking in React
  • 基于MaxCompute打造轻盈的人人车移动端数据平台
  • 视频flv转mp4最快的几种方法(就是不用格式工厂)
  • 一道面试题引发的“血案”
  • 以太坊客户端Geth命令参数详解
  • 远离DoS攻击 Windows Server 2016发布DNS政策
  • Python 之网络式编程
  • 新年再起“裁员潮”,“钢铁侠”马斯克要一举裁掉SpaceX 600余名员工 ...
  • #Linux杂记--将Python3的源码编译为.so文件方法与Linux环境下的交叉编译方法
  • #NOIP 2014# day.1 T2 联合权值
  • #我与Java虚拟机的故事#连载17:我的Java技术水平有了一个本质的提升
  • (+4)2.2UML建模图
  • (3)nginx 配置(nginx.conf)
  • (Redis使用系列) Springboot 在redis中使用BloomFilter布隆过滤器机制 六
  • (附源码)spring boot车辆管理系统 毕业设计 031034
  • (附源码)spring boot球鞋文化交流论坛 毕业设计 141436
  • (求助)用傲游上csdn博客时标签栏和网址栏一直显示袁萌 的头像
  • (一)eclipse Dynamic web project 工程目录以及文件路径问题
  • (一)基于IDEA的JAVA基础10
  • (已解决)什么是vue导航守卫
  • (原創) 如何刪除Windows Live Writer留在本機的文章? (Web) (Windows Live Writer)
  • (原創) 是否该学PetShop将Model和BLL分开? (.NET) (N-Tier) (PetShop) (OO)
  • (转载)OpenStack Hacker养成指南
  • (总结)Linux下的暴力密码在线破解工具Hydra详解
  • *** 2003
  • .FileZilla的使用和主动模式被动模式介绍