当前位置: 首页 > news >正文

ES优化实战 - 小操作节省百分之三十以上的磁盘空间

通过关闭索引的 _source来节省磁盘

un_source 是去掉存储的数据。在查询的时候,不反回数据。数据只做索引和倒排这些。 
这样做的意思是,只让es做检索,不做存储。es检索完,只返回一个id。然后选用Hbase这样的数据库联动。Hbase擅长的是根据key来取值,花费的是磁盘。不占太多其它资源。

关闭source前后对比

关闭source之前,正常是可以返回结果的:

关掉source以后,只返回数据的id。

看到磁盘空间有节省出来

磁盘大约节省了40%。这个具体要看文档质量,单条文档的大小。具体值根据自己的业务测试来看具体能节省多少。

测试性能提升 - search(query_string)

测之前清除os cache 和 es的 cache

能提升 10%~30%

[2022-08-31 10:19:13.301] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 中国,查询时间对比 26787 vs 23747, 查询性能提升 11.348788% ,查询结果对比 7739986 vs 7739986
[2022-08-31 10:19:31.388] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 美国,查询时间对比 9475 vs 8351, 查询性能提升 11.862797% ,查询结果对比 1194138 vs 1194138
[2022-08-31 10:19:45.544] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 拜登,查询时间对比 7454 vs 6555, 查询性能提升 12.060638% ,查询结果对比 74876 vs 74876
[2022-08-31 10:19:59.343] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 疫情,查询时间对比 7065 vs 6666, 查询性能提升 5.647558% ,查询结果对比 2753904 vs 2753904
[2022-08-31 10:20:13.062] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 苹果,查询时间对比 7525 vs 6122, 查询性能提升 18.644518% ,查询结果对比 390478 vs 390478
[2022-08-31 10:20:26.827] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 华为,查询时间对比 7288 vs 6321, 查询性能提升 13.268386% ,查询结果对比 227394 vs 227394
[2022-08-31 10:20:36.613] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 特朗普,查询时间对比 5319 vs 4342, 查询性能提升 18.368114% ,查询结果对比 83841 vs 83841
[2022-08-31 10:20:45.626] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 利好,查询时间对比 4869 vs 4027, 查询性能提升 17.29308% ,查询结果对比 117106 vs 117106
[2022-08-31 10:21:00.498] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 浪漫,查询时间对比 7739 vs 6886, 查询性能提升 11.022096% ,查询结果对比 2136333 vs 2136333
[2022-08-31 10:21:06.696] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 马斯特,查询时间对比 3270 vs 2802, 查询性能提升 14.311926% ,查询结果对比 2914 vs 2914
[2022-08-31 10:21:08.457] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 特斯拉,查询时间对比 832 vs 813, 查询性能提升 2.2836537% ,查询结果对比 81347 vs 81347
[2022-08-31 10:21:21.713] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 台湾,查询时间对比 7226 vs 5891, 查询性能提升 18.47495% ,查询结果对比 473082 vs 473082
[2022-08-31 10:21:29.348] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 香港,查询时间对比 4101 vs 3440, 查询性能提升 16.11802% ,查询结果对比 443114 vs 443114
[2022-08-31 10:21:39.927] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 美食,查询时间对比 5578 vs 4816, 查询性能提升 13.66081% ,查询结果对比 2169446 vs 2169446
[2022-08-31 10:21:50.942] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 微信,查询时间对比 5767 vs 5106, 查询性能提升 11.461765% ,查询结果对比 1130015 vs 1130015
[2022-08-31 10:22:01.960] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 晴天,查询时间对比 5840 vs 5052, 查询性能提升 13.493151% ,查询结果对比 844638 vs 844638
[2022-08-31 10:22:14.815] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 北京,查询时间对比 7217 vs 5551, 查询性能提升 23.084385% ,查询结果对比 5495236 vs 5495236
[2022-08-31 10:22:24.133] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 救援,查询时间对比 5059 vs 4133, 查询性能提升 18.304012% ,查询结果对比 317766 vs 317766
[2022-08-31 10:22:33.815] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 失败,查询时间对比 5194 vs 4405, 查询性能提升 15.190604% ,查询结果对比 427332 vs 427332
[2022-08-31 10:22:42.620] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 报警,查询时间对比 4758 vs 3899, 查询性能提升 18.053804% ,查询结果对比 290247 vs 290247
[2022-08-31 10:22:53.284] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 媒体,查询时间对比 5566 vs 4963, 查询性能提升 10.833633% ,查询结果对比 1512941 vs 1512941
[2022-08-31 10:23:02.071] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 新疆,查询时间对比 4742 vs 3976, 查询性能提升 16.153522% ,查询结果对比 497432 vs 497432
[2022-08-31 10:23:14.902] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 京东,查询时间对比 6804 vs 5845, 查询性能提升 14.09465% ,查询结果对比 969983 vs 969983
[2022-08-31 10:23:23.450] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 深圳,查询时间对比 4676 vs 3777, 查询性能提升 19.225834% ,查询结果对比 737625 vs 737625
[2022-08-31 10:23:30.923] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 爆炸,查询时间对比 3949 vs 3384, 查询性能提升 14.30742% ,查询结果对比 454712 vs 454712
[2022-08-31 10:23:39.850] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 事故,查询时间对比 4863 vs 3991, 查询性能提升 17.931318% ,查询结果对比 543637 vs 543637
[2022-08-31 10:23:43.648] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 征地,查询时间对比 1878 vs 1595, 查询性能提升 15.069222% ,查询结果对比 56751 vs 56751
[2022-08-31 10:23:47.472] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 抗议,查询时间对比 2066 vs 1603, 查询性能提升 22.410456% ,查询结果对比 53012 vs 53012
[2022-08-31 10:23:52.036] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 聚众,查询时间对比 2534 vs 1968, 查询性能提升 22.336227% ,查询结果对比 30299 vs 30299
[2022-08-31 10:23:58.467] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 黑社会,查询时间对比 3519 vs 2760, 查询性能提升 21.568628% ,查询结果对比 34191 vs 34191
[2022-08-31 10:24:29.077] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 堵路,查询时间对比 16568 vs 13932, 查询性能提升 15.910189% ,查询结果对比 7628 vs 7628
[2022-08-31 10:24:33.089] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 打砸,查询时间对比 2293 vs 1602, 查询性能提升 30.135193% ,查询结果对比 8075 vs 8075
[2022-08-31 10:24:36.196] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 罢工,查询时间对比 1759 vs 1289, 查询性能提升 26.719728% ,查询结果对比 14992 vs 14992
[2022-08-31 10:24:39.417] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 跳楼,查询时间对比 1545 vs 1587, 查询性能提升 -2.7184465% ,查询结果对比 37770 vs 37770
[2022-08-31 10:24:43.120] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 招募,查询时间对比 1947 vs 1581, 查询性能提升 18.798151% ,查询结果对比 116182 vs 116182
[2022-08-31 10:24:59.741] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 黑旅馆,查询时间对比 9417 vs 6971, 查询性能提升 25.9743% ,查询结果对比 34 vs 34
[2022-08-31 10:25:05.770] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 争议,查询时间对比 3299 vs 2575, 查询性能提升 21.946045% ,查询结果对比 314550 vs 314550
[2022-08-31 10:25:11.453] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 盗窃,查询时间对比 2963 vs 2464, 查询性能提升 16.84104% ,查询结果对比 55572 vs 55572
[2022-08-31 10:25:15.486] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 碰车,查询时间对比 2356 vs 1603, 查询性能提升 31.960949% ,查询结果对比 5855 vs 5855
[2022-08-31 10:25:18.807] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 示威,查询时间对比 1776 vs 1420, 查询性能提升 20.045046% ,查询结果对比 20286 vs 20286
[2022-08-31 10:25:28.069] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 不满,查询时间对比 5051 vs 4163, 查询性能提升 17.580677% ,查询结果对比 280738 vs 280738
[2022-08-31 10:25:29.176] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 黑中介,查询时间对比 494 vs 493, 查询性能提升 0.20242916% ,查询结果对比 3128 vs 3128
[2022-08-31 10:25:30.732] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 失火,查询时间对比 758 vs 688, 查询性能提升 9.234829% ,查询结果对比 10475 vs 10475
[2022-08-31 10:25:40.054] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 举报,查询时间对比 5027 vs 4186, 查询性能提升 16.72966% ,查询结果对比 520193 vs 520193
[2022-08-31 10:25:45.345] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 公道,查询时间对比 2892 vs 2331, 查询性能提升 19.39834% ,查询结果对比 73000 vs 73000
[2022-08-31 10:25:49.550] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 经济学家,查询时间对比 2237 vs 1811, 查询性能提升 19.043362% ,查询结果对比 52632 vs 52632
[2022-08-31 10:26:00.592] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 中国新闻周刊,查询时间对比 6230 vs 4711, 查询性能提升 24.382023% ,查询结果对比 12777 vs 12777
[2022-08-31 10:26:04.270] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 永定河,查询时间对比 2022 vs 1549, 查询性能提升 23.392681% ,查询结果对比 3312 vs 3312
[2022-08-31 10:26:05.598] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 中国大地财产保险股份有限公司,查询时间对比 525 vs 607, 查询性能提升 -15.619047% ,查询结果对比 490 vs 490
[2022-08-31 10:26:18.104] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 冬奧,查询时间对比 6470 vs 5912, 查询性能提升 8.62442% ,查询结果对比 1594 vs 1594
[2022-08-31 10:26:26.211] [http-nio-8889-exec-5] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比, 搜索词 天津大事件,查询时间对比 4444 vs 3580, 查询性能提升 19.441944% ,查询结果对比 1 vs 1


测试性能提升 - agg (terms)

测之前清除os cache 和 es的 cache

也能提升 10%~30%

[2022-08-31 10:03:38.893] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 中国,查询时间对比 48562 vs 43997, 查询性能提升 9.400354%
[2022-08-31 10:03:58.011] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 美国,查询时间对比 10201 vs 8803, 查询性能提升 13.704538%
[2022-08-31 10:04:13.072] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 拜登,查询时间对比 7630 vs 7332, 查询性能提升 3.9056356%
[2022-08-31 10:04:28.474] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 疫情,查询时间对比 8280 vs 6982, 查询性能提升 15.676329%
[2022-08-31 10:04:42.641] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 苹果,查询时间对比 7665 vs 6351, 查询性能提升 17.142859%
[2022-08-31 10:04:56.931] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 华为,查询时间对比 7593 vs 6505, 查询性能提升 14.328988%
[2022-08-31 10:05:07.415] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 特朗普,查询时间对比 5381 vs 4639, 查询性能提升 13.789259%
[2022-08-31 10:05:16.769] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 利好,查询时间对比 4900 vs 4152, 查询性能提升 15.265306%
[2022-08-31 10:05:33.180] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 浪漫,查询时间对比 8621 vs 7468, 查询性能提升 13.374318%
[2022-08-31 10:05:40.405] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 马斯特,查询时间对比 3604 vs 3306, 查询性能提升 8.26859%
[2022-08-31 10:05:43.571] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 特斯拉,查询时间对比 1229 vs 1220, 查询性能提升 0.73230267%
[2022-08-31 10:05:57.687] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 台湾,查询时间对比 7371 vs 6297, 查询性能提升 14.570615%
[2022-08-31 10:06:06.328] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 香港,查询时间对比 4465 vs 3925, 查询性能提升 12.094065%
[2022-08-31 10:06:17.864] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 美食,查询时间对比 6064 vs 5209, 查询性能提升 14.099604%
[2022-08-31 10:06:29.510] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 微信,查询时间对比 6151 vs 5213, 查询性能提升 15.249554%
[2022-08-31 10:06:41.220] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 晴天,查询时间对比 6195 vs 5273, 查询性能提升 14.88297%
[2022-08-31 10:06:55.470] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 北京,查询时间对比 7772 vs 6176, 查询性能提升 20.535255%
[2022-08-31 10:07:05.681] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 救援,查询时间对比 5122 vs 4810, 查询性能提升 6.0913706%
[2022-08-31 10:07:16.715] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 失败,查询时间对比 6303 vs 4452, 查询性能提升 29.366966%
[2022-08-31 10:07:26.313] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 报警,查询时间对比 5110 vs 4151, 查询性能提升 18.767122%
[2022-08-31 10:07:37.675] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 媒体,查询时间对比 6048 vs 5024, 查询性能提升 16.931217%
[2022-08-31 10:07:46.893] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 新疆,查询时间对比 4959 vs 4025, 查询性能提升 18.834442%
[2022-08-31 10:08:00.810] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 京东,查询时间对比 7399 vs 6227, 查询性能提升 15.839979%
[2022-08-31 10:08:10.285] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 深圳,查询时间对比 4966 vs 4185, 查询性能提升 15.726943%
[2022-08-31 10:08:18.712] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 爆炸,查询时间对比 4295 vs 3829, 查询性能提升 10.849825%
[2022-08-31 10:08:28.446] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 事故,查询时间对比 5247 vs 4170, 查询性能提升 20.526014%
[2022-08-31 10:08:32.957] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 征地,查询时间对比 2345 vs 1874, 查询性能提升 20.085289%
[2022-08-31 10:08:37.815] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 抗议,查询时间对比 2520 vs 2050, 查询性能提升 18.650795%
[2022-08-31 10:08:43.195] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 聚众,查询时间对比 2835 vs 2224, 查询性能提升 21.552029%
[2022-08-31 10:08:51.463] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 黑社会,查询时间对比 3890 vs 3212, 查询性能提升 17.429306%
[2022-08-31 10:09:22.035] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 堵路,查询时间对比 16467 vs 13607, 查询性能提升 17.368069%
[2022-08-31 10:09:26.985] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 打砸,查询时间对比 2595 vs 2071, 查询性能提升 20.192678%
[2022-08-31 10:09:31.328] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 罢工,查询时间对比 2276 vs 1726, 查询性能提升 24.165203%
[2022-08-31 10:09:35.791] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 跳楼,查询时间对比 2264 vs 1915, 查询性能提升 15.4151945%
[2022-08-31 10:09:40.341] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 招募,查询时间对比 2363 vs 1916, 查询性能提升 18.91663%
[2022-08-31 10:09:57.904] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 黑旅馆,查询时间对比 9761 vs 7458, 查询性能提升 23.593893%
[2022-08-31 10:10:04.561] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 争议,查询时间对比 3360 vs 3019, 查询性能提升 10.148809%
[2022-08-31 10:10:11.193] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 盗窃,查询时间对比 3540 vs 2794, 查询性能提升 21.073446%
[2022-08-31 10:10:16.222] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 碰车,查询时间对比 2739 vs 2008, 查询性能提升 26.688572%
[2022-08-31 10:10:20.312] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 示威,查询时间对比 2074 vs 1733, 查询性能提升 16.441658%
[2022-08-31 10:10:30.524] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 不满,查询时间对比 5583 vs 4348, 查询性能提升 22.120724%
[2022-08-31 10:10:32.786] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 黑中介,查询时间对比 984 vs 962, 查询性能提升 2.2357724%
[2022-08-31 10:10:35.407] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 失火,查询时间对比 1205 vs 1066, 查询性能提升 11.53527%
[2022-08-31 10:10:45.525] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 举报,查询时间对比 5351 vs 4437, 查询性能提升 17.08092%
[2022-08-31 10:10:51.602] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 公道,查询时间对比 3141 vs 2709, 查询性能提升 13.753581%
[2022-08-31 10:10:56.776] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 经济学家,查询时间对比 2693 vs 2138, 查询性能提升 20.608988%
[2022-08-31 10:11:07.934] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 中国新闻周刊,查询时间对比 6197 vs 4653, 查询性能提升 24.915281%
[2022-08-31 10:11:12.611] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 永定河,查询时间对比 2621 vs 1949, 查询性能提升 25.639069%
[2022-08-31 10:11:14.728] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 中国大地财产保险股份有限公司,查询时间对比 1011 vs 963, 查询性能提升 4.7477746%
[2022-08-31 10:11:27.476] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 冬奧,查询时间对比 6743 vs 5895, 查询性能提升 12.576005%
[2022-08-31 10:11:35.544] [http-nio-8889-exec-2] INFO  c.a.e.service.impl.TimeComparisonImpl - un_source 前后测试对比-agg, 搜索词 天津大事件,查询时间对比 4195 vs 3523, 查询性能提升 16.01907%

但是我还发现一个问题,假如数据已经在os cache的时候,聚合没有提升。这个现象这样触发:先清掉缓存(os cache),然后执行search,然后不清缓存,再执行agg聚合。会发现

关闭source的影响

  • 文档不能使用update或者update_by_query更新

  • 不能使用reindex

  • 不能做文档高亮

发现的问题 —— os cache对es的影响

假如数据不在系统缓存中,数据第一次加载总会很浪费时间。这可能是因为第一次聚合,它需要构建全局序数,需要花费时间。

相关文章:

  • [Go WebSocket] 多房间的聊天室(五)用多个小锁代替大锁,提高效率
  • 我在windows环境下的YOLOV3环境搭建过程
  • bat goto 还是 call
  • JVM垃圾回收系列之垃圾收集算法
  • 计算机毕业设计选题推荐 40个高质量计算机毕设项目分享【源码+论文】(三)
  • BDD - SpecFlow BDD 测试实践 SpecFlow + MSTest
  • CRM项目记录(四)
  • React组件的生命周期函数
  • FFmpeg源码分析:avformat_open_input()打开媒体流
  • 深入理解关键字 一(auto,register,static,sizeof)
  • 基于Springboot+vue的停车场管理系统(Java毕业设计)
  • 详解CAN总线:CAN总线报文格式—数据帧
  • mysql进阶:canal实现mysql数据同步到redis|实现自定义canal客户端
  • React路由三种渲染方式、withRouter高阶组件、自定义导航组件
  • FaceNet-pytorch(fixing data imbalance-CASIA)
  • [js高手之路]搞清楚面向对象,必须要理解对象在创建过程中的内存表示
  • [数据结构]链表的实现在PHP中
  • css系列之关于字体的事
  • Elasticsearch 参考指南(升级前重新索引)
  • EventListener原理
  • github指令
  • JavaWeb(学习笔记二)
  • MySQL QA
  • Three.js 再探 - 写一个跳一跳极简版游戏
  • vue从创建到完整的饿了么(11)组件的使用(svg图标及watch的简单使用)
  • 好的网址,关于.net 4.0 ,vs 2010
  • 那些被忽略的 JavaScript 数组方法细节
  • 如何优雅地使用 Sublime Text
  • SAP CRM里Lead通过工作流自动创建Opportunity的原理讲解 ...
  • 从如何停掉 Promise 链说起
  • ​LeetCode解法汇总1410. HTML 实体解析器
  • ​软考-高级-系统架构设计师教程(清华第2版)【第9章 软件可靠性基础知识(P320~344)-思维导图】​
  • !!Dom4j 学习笔记
  • #基础#使用Jupyter进行Notebook的转换 .ipynb文件导出为.md文件
  • #预处理和函数的对比以及条件编译
  • #在 README.md 中生成项目目录结构
  • (01)ORB-SLAM2源码无死角解析-(56) 闭环线程→计算Sim3:理论推导(1)求解s,t
  • (20)目标检测算法之YOLOv5计算预选框、详解anchor计算
  • (C语言)逆序输出字符串
  • (java)关于Thread的挂起和恢复
  • (Redis使用系列) SpringBoot 中对应2.0.x版本的Redis配置 一
  • (附源码)ssm基于jsp的在线点餐系统 毕业设计 111016
  • (学习日记)2024.04.10:UCOSIII第三十八节:事件实验
  • (原创)boost.property_tree解析xml的帮助类以及中文解析问题的解决
  • (转)3D模板阴影原理
  • (转)MVC3 类型“System.Web.Mvc.ModelClientValidationRule”同时存在
  • (转)socket Aio demo
  • (最全解法)输入一个整数,输出该数二进制表示中1的个数。
  • .MyFile@waifu.club.wis.mkp勒索病毒数据怎么处理|数据解密恢复
  • .Net - 类的介绍
  • .NET Core 实现 Redis 批量查询指定格式的Key
  • .NET/C# 使用 ConditionalWeakTable 附加字段(CLR 版本的附加属性,也可用用来当作弱引用字典 WeakDictionary)
  • .net6解除文件上传限制。Multipart body length limit 16384 exceeded
  • .net6使用Sejil可视化日志
  • .Net中ListT 泛型转成DataTable、DataSet