当前位置: 首页 > news >正文

ES 根据条件删除文档

随着业务量的增多,es中数据越来越多,但有些数据其实后期并无业务用途,可直接做物理删除,程序里做兼容,但历史每个月的索引里的数据需要处理这部分冗余数据。

es提供_delete_by_query 根据查询条件进行删除的操作,但如果待删除数据量比较大,很可能导致客户端超时,直接返回502; 可以增加wait_for_completion=false,立马返回一个任务id,根据任务id查询任务执行的进度。

(1)异步执行

POST /**order_202310/_delete_by_query?wait_for_completion=false

这里查询条件根据业务不同,组合不同的条件。(这里查不存在用户id,且类型是4,状态是7,8的订单)

{"query": {"bool": {"must_not": [{"exists": {"field": "userUniqueid"}}], "must": [{"term": {"upDefault1": {"value": "4"}}},{"terms": {"status": ["7","8"]}}]}}
}

返回:

(2)根据id查询task执行情况

GET /_tasks/${taskId}

执行结果如下图所示:

(3)终止任务

POST /_tasks/${taskId}/_cancel
(4)实际执行时间

删除132w左右的数据,用了451830秒,约7.5分钟。

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 【Python入门】第5节 数据容器
  • 分布式云扩展 AI 边缘算力,助力用户智能化创新
  • [Linux#47][网络] 网络协议 | TCP/IP模型 | 以太网通信
  • Apache RocketMQ 中文社区全新升级丨阿里云云原生 7 月产品月报
  • Xor Sigma Problem
  • CSS系列之浮动清除clear(三)
  • 数据库mysql集群主从、高可用MGR、MHA技术详解
  • Go 语言生产服务故障案例精析
  • 黑马JavaWeb开发笔记09——ElementUI代码引入教程、Element常用组件使用(Table, Pagination, Dialog, Form)
  • python爬虫源码:selenium+browsermobproxy实现浏览器请求抓取
  • 7- 排序算法
  • 如何本地搭建Whisper语音识别模型
  • netty之ChannelOption
  • 数据库入门: 从 0 到 1 理解数据管理
  • Visual Basic:企业级应用开发的稳健之选
  • centos安装java运行环境jdk+tomcat
  • electron原来这么简单----打包你的react、VUE桌面应用程序
  • GitUp, 你不可错过的秀外慧中的git工具
  • JS笔记四:作用域、变量(函数)提升
  • MySQL数据库运维之数据恢复
  • orm2 中文文档 3.1 模型属性
  • springMvc学习笔记(2)
  • SQLServer之索引简介
  • 基于Dubbo+ZooKeeper的分布式服务的实现
  • 融云开发漫谈:你是否了解Go语言并发编程的第一要义?
  • 入门到放弃node系列之Hello Word篇
  • 使用权重正则化较少模型过拟合
  • 消息队列系列二(IOT中消息队列的应用)
  • 小程序 setData 学问多
  • 小而合理的前端理论:rscss和rsjs
  • 追踪解析 FutureTask 源码
  • Android开发者必备:推荐一款助力开发的开源APP
  • 策略 : 一文教你成为人工智能(AI)领域专家
  • ​​​【收录 Hello 算法】9.4 小结
  • #13 yum、编译安装与sed命令的使用
  • #14vue3生成表单并跳转到外部地址的方式
  • #经典论文 异质山坡的物理模型 2 有效导水率
  • (17)Hive ——MR任务的map与reduce个数由什么决定?
  • (笔记)M1使用hombrew安装qemu
  • (附源码)springboot掌上博客系统 毕业设计063131
  • (附源码)springboot助农电商系统 毕业设计 081919
  • (附源码)基于SSM多源异构数据关联技术构建智能校园-计算机毕设 64366
  • (转)iOS字体
  • **CI中自动类加载的用法总结
  • *Algs4-1.5.25随机网格的倍率测试-(未读懂题)
  • *算法训练(leetcode)第四十五天 | 101. 孤岛的总面积、102. 沉没孤岛、103. 水流问题、104. 建造最大岛屿
  • .bat批处理(八):各种形式的变量%0、%i、%%i、var、%var%、!var!的含义和区别
  • .mat 文件的加载与创建 矩阵变图像? ∈ Matlab 使用笔记
  • .Net 6.0 处理跨域的方式
  • .NET 8 跨平台高性能边缘采集网关
  • .NET Core中Emit的使用
  • .net mvc actionresult 返回字符串_.NET架构师知识普及
  • .NET Standard / dotnet-core / net472 —— .NET 究竟应该如何大小写?
  • .net6Api后台+uniapp导出Excel
  • .NET开源的一个小而快并且功能强大的 Windows 动态桌面软件 - DreamScene2