当前位置: 首页 > news >正文

ES项目应用

配置:
ES存储了2-3亿条,几百GB
ES集群有5 个节点
2主2副
ES返回数据量窗口大小设置
index.max_result_window
深度翻页
1.from + size 方式
2.scroll相当于维护了一份当前索引段的快照信息,这个快照信息是你执行这个scroll查询时的快照。在这个查询后的任何新索引进来的数据,都不会在这个快照中查询到。
但是它相对于from和size,不是查询所有数据然后剔除不要的部分,而是记录一个读取的位置,保证下一次快速继续读取

缺点:
「scroll_id会占用大量的资源(特别是排序的请求)」
同样的,scroll后接超时时间,频繁的发起scroll请求,会出现一些列问题。
「是生成的历史快照,对于数据的变更不会反映到快照上。」

「优点:」
适用于非实时处理大量数据的情况,比如要进行数据迁移或者索引变更之类的。
3.es维护一个实时游标,它以上一次查询的最后一条记录为游标,方便对下一页的查询,它是一个无状态的查询,因此每次查询的都是最新的数据。
由于它采用记录作为游标,因此**「SearchAfter要求doc中至少有一条全局唯一变量(每个文档具有一个唯一值的字段应该用作排序规范)」**

「优点:」
无状态查询,可以防止在查询过程中,数据的变更无法及时反映到查询中。
不需要维护scroll_id,不需要维护快照,因此可以避免消耗大量的资源。

「缺点:」
由于无状态查询,因此在查询期间的变更可能会导致跨页面的不一值。
排序顺序可能会在执行期间发生变化,具体取决于索引的更新和删除。
至少需要制定一个唯一的不重复字段来排序。
它不适用于大幅度跳页查询,或者全量导出,对第N页的跳转查询相当于对es不断重复的执行N次search after,而全量导出则是在短时间内执行大量的重复查询。
在这里插入图片描述

相关文章:

  • 用html编写的小广告板
  • MongoDB之MongoDBConnectorBI安装与使用
  • 算法【线性表的查找-顺序查找】
  • 4核8g服务器能支持多少人访问?
  • 二次供水物联网:HiWoo Cloud助力城市水务管理升级
  • 七、ChatGPT为什么会被热炒?
  • Elasticsearch从入门到精通-01认识Elasticsearch
  • 东芝工控机维修东芝电脑PC机维修FA3100A
  • R语言在数据分析中的应用案例
  • Python数据处理(三)-txt文件指定数据提取并可视化作图
  • Java架构师之路八、安全技术:Web安全、网络安全、系统安全、数据安全等
  • 为什么ChatGPT预训练能非常好地捕捉语言的普遍特征和模式
  • vue中component is和keepAlive组合使用
  • HC32F460 是否有 RTC?在电池供电方案中该如何使用?
  • SpringMVC了解
  • C++类中的特殊成员函数
  • django开发-定时任务的使用
  • docker容器内的网络抓包
  • JavaScript服务器推送技术之 WebSocket
  • nginx 配置多 域名 + 多 https
  • quasar-framework cnodejs社区
  • RedisSerializer之JdkSerializationRedisSerializer分析
  • SAP云平台运行环境Cloud Foundry和Neo的区别
  • scala基础语法(二)
  • WordPress 获取当前文章下的所有附件/获取指定ID文章的附件(图片、文件、视频)...
  • 动手做个聊天室,前端工程师百无聊赖的人生
  • 机器学习 vs. 深度学习
  • 技术胖1-4季视频复习— (看视频笔记)
  • 紧急通知:《观止-微软》请在经管柜购买!
  • 视频flv转mp4最快的几种方法(就是不用格式工厂)
  • 数据仓库的几种建模方法
  • 学习笔记:对象,原型和继承(1)
  • 在electron中实现跨域请求,无需更改服务器端设置
  • 支付宝花15年解决的这个问题,顶得上做出十个支付宝 ...
  • ​LeetCode解法汇总2304. 网格中的最小路径代价
  • ###C语言程序设计-----C语言学习(3)#
  • (ZT)出版业改革:该死的死,该生的生
  • (编译到47%失败)to be deleted
  • (小白学Java)Java简介和基本配置
  • (幽默漫画)有个程序员老公,是怎样的体验?
  • (转)nsfocus-绿盟科技笔试题目
  • (转)视频码率,帧率和分辨率的联系与区别
  • **python多态
  • .NET 4.0中的泛型协变和反变
  • .Net 6.0 处理跨域的方式
  • .net 写了一个支持重试、熔断和超时策略的 HttpClient 实例池
  • .NET教程 - 字符串 编码 正则表达式(String Encoding Regular Express)
  • .NET使用HttpClient以multipart/form-data形式post上传文件及其相关参数
  • @RestControllerAdvice异常统一处理类失效原因
  • @transactional 方法执行完再commit_当@Transactional遇到@CacheEvict,你的代码是不是有bug!...
  • @我的前任是个极品 微博分析
  • [ Linux Audio 篇 ] 音频开发入门基础知识
  • []error LNK2001: unresolved external symbol _m
  • [1]-基于图搜索的路径规划基础
  • [2021 蓝帽杯] One Pointer PHP