当前位置: 首页 > news >正文

Elasticsearch 父子关系维护和检索案例分享

为什么80%的码农都做不了架构师?>>>   hot3.png

Elasticsearch 父子关系维护和检索案例分享,展示has_child和has_parent的基本用法。 

本案例针对elasticsearch 5.x进行父子关系进行介绍,6.x版本通过join type来实现父子关系检索,参考文档后面提供的demo。

本文涉及技术点: 

  • 1.删除和创建公司/雇员父子关系的索引表
  • 2.bulk批量导入json格式数据
  • 3.ormapping方式bulk批量导入数据
  • 4.采用@ESId指定文档_id
  • 5.采用@ESParentId制定子文档的parent信息
  • 6.基本的has_child和has_parent公司/雇员父子关系检索

1.准备工作

参考文档《高性能elasticsearch ORM开发库使用介绍》导入和配置es客户端

2.定义dsl文档

建立dsl配置文件-esmapper/indexparentchild.xml

<properties>
    <!--
    本案例适用于es 2.x,5.x
    创建包含员工类型和公司类型的公司索引表
    -->
    <property name="createCompanyEmployeeIndice">
        <![CDATA[{
            "settings": {
                "number_of_shards": 6,
                "index.refresh_interval": "5s"
            },
            "mappings": {
                "company": { ##公司
                    "properties": {
                        "name": {
                            "type": "text",
                             "fields": { ##dsl注释 定义精确查找的内部keyword字段
                                "keyword": {
                                    "type": "keyword"
                                }
                            }
                        },

                        "city": {
                            "type": "text",
                            "fields": { ##dsl注释 定义精确查找的内部keyword字段
                                "keyword": {
                                    "type": "keyword"
                                }
                            }
                        },
                        "country": {
                            "type": "text",
                            "fields": { ##dsl注释 定义精确查找的内部keyword字段
                                "keyword": {
                                    "type": "keyword"
                                }
                            }
                        },
                        "companyId": {
                            "type": "keyword"
                        }
                    }
                },
                "employee":
                 { ##雇员
                     "_parent": {##定义雇员和公司父子关联关系
                        "type": "company"
                    },
                    "_routing": {
                        "required": false
                    },
                    "properties": {

                        "name": {
                            "type": "text",
                             "fields": { ##dsl注释 定义精确查找的内部keyword字段
                                "keyword": {
                                    "type": "keyword"
                                }
                            }
                        },
                        "birthday": {
                             "type": "date",
                              "format":"yyyy-MM-dd||epoch_millis"
                        },
                        "hobby": {
                            "type": "text",
                            "fields": { ##dsl注释 定义精确查找的内部keyword字段
                                "keyword": {
                                    "type": "keyword"
                                }
                            }
                        },
                        "companyId": {
                            "type": "keyword"
                        },
                        "employId": {
                            "type": "keyword"
                        }
                    }
                }

              }
        }]]>
    </property>
    <!--
    导入公司信息:
    -->
    <property name="bulkImportCompanyData">
        <![CDATA[
            { "index": { "_id": "london" }}
            { "name": "London Westminster", "city": "London", "country": "UK" ,"companyId":"london"}
            { "index": { "_id": "liverpool" }}
            { "name": "Liverpool Central", "city": "Liverpool", "country": "UK" ,"companyId":"liverpool"}
            { "index": { "_id": "paris" }}
            { "name": "Champs Élysées", "city": "Paris", "country": "France","companyId":"paris" }
        ]]>
    </property>
    <!--
   导入雇员信息:
   -->
    <property name="bulkImportEmployeeData">
        <![CDATA[
            { "index": { "_id": 1, "parent": "london" }}
            { "name": "Alice Smith", "birthday": "1970-10-24", "hobby": "hiking" ,"companyId":"london","employeeId":1 }
            { "index": { "_id": 2, "parent": "london" }}
            { "name": "Mark Thomas", "birthday": "1982-05-16", "hobby": "diving" ,"companyId":"london","employeeId":2}
            { "index": { "_id": 3, "parent": "liverpool" }}
            { "name": "Barry Smith", "birthday": "1979-04-01", "hobby": "hiking" ,"companyId":"liverpool","employeeId":3}
            { "index": { "_id": 4, "parent": "paris" }}
            { "name": "Adrien Grand", "birthday": "1987-05-11", "hobby": "horses" ,"companyId":"paris","employeeId":4}
            { "index": { "_id": 5, "parent": "paris" }}
            { "name": "Adrien Green", "birthday": "1977-05-12", "hobby": "dancing" ,"companyId":"paris","employeeId":5}
        ]]>
    </property>
    <!--以雇员出生日期为条件检索公司信息-->
    <property name="hasChildSearchByBirthday">
        <![CDATA[
            {
              "query": {
                "has_child": {
                  "type": "employee",
                  "query": {
                    "range": {
                      "birthday": {
                        "gte": #[birthday]
                      }
                    }
                  }
                }
              }
            }
        ]]>
    </property>
    <!--以雇员姓名为条件检索公司信息-->
    <property name="hasChildSearchByName">
        <![CDATA[
            {
              "query": {
                "has_child": {
                  "type":       "employee",
                  "score_mode": "max",
                  "query": {
                    "match": {
                      "name": #[name]
                    }
                  }
                }
              }
            }
        ]]>
    </property>
    <!--以最小员工数为条件检索公司信息-->
    <property name="hasChildSearchByMinChild">
        <![CDATA[
            {
                "query": {
                    "has_child": {
                      "type":  "employee",
                      "min_children": #[min_children],
                      "query": {
                        "match_all": {}
                      }
                    }
                }
            }
        ]]>
    </property>

    <!--根据公司所在国家检索员工信息-->
    <property name="hasParentSearchByCountry">
        <![CDATA[
            {
              "query": {
                "has_parent": {
                  "type": "company",
                  "query": {
                    "match": {
                      "country": #[country]
                    }
                  }
                }
              }
            }
        ]]>
    </property>
</properties>

3.实现has_child和has_parent检索

首先创建带公司和雇员关系的索引结构

public void createIndice(){
		ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/indexparentchild.xml");
		try {
			//删除mapping
			clientUtil.dropIndice("company");
		} catch (ElasticSearchException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}
		//创建mapping
		clientUtil.createIndiceMapping("company","createCompanyEmployeeIndice");
	}

然后通过bulk导入测试需要的公司和雇员数据,本案例通过加载配置文件中的dsl json data导入公司和雇员数据:

public void importData(){
		ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/indexparentchild.xml");

		//导入公司数据,并且实时刷新,测试需要,实际环境不要带refresh
		clientUtil.executeHttp("company/company/_bulk?refresh","bulkImportCompanyData",ClientUtil.HTTP_POST);
		//导入雇员数据,并且实时刷新,测试需要,实际环境不要带refresh
		clientUtil.executeHttp("company/employee/_bulk?refresh","bulkImportEmployeeData",ClientUtil.HTTP_POST);
	}

如果需要根据List集合批量导入测试数据,则参考以下方法:

    /**
	 * 通过List集合导入雇员和公司数据
	 */
	public void importDataFromBeans()  {
		ClientInterface clientUtil = ElasticSearchHelper.getRestClientUtil();

		//导入公司数据,并且实时刷新,测试需要,实际环境不要带refresh
		List<Company> companies = buildCompanies();
		clientUtil.addDocuments("company","company",companies,"refresh");

		//导入雇员数据,并且实时刷新,测试需要,实际环境不要带refresh
		List<Employee> employees = buildEmployees();
		clientUtil.addDocuments("company","employee",employees,"refresh");
	}

List<Company>和List<Employee>列表分别对应需要批量导入的公司数据和雇员数据。需要特别说明的是Company和Employee这两个对象采用了注解@ESId来标注文档_id属性,采用@ESParentId属性来标注雇员和公司的关联属性:

public class Company extends ESBaseData {
	private String name;
	/**
	 * 将companyId作为索引_id的值
	 */
	@ESId
	private String companyId;
。。。。。。
public class Employee extends ESBaseData {
	/**
	 * 通过ESId注解将employeeId指定为雇员的文档_id
	 */
	@ESId
	private int employeeId;
	/**
	 * 通过ESParentId注解将companyId指定为雇员的parent属性,对应Company中的文档_id的值
	 */
	@ESParentId
	private String companyId;

接下来实现has_child和has_parent检索功能

/**
	 * 通过雇员生日检索公司信息
	 */
	public void hasChildSearchByBirthday(){

		ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/indexparentchild.xml");
		Map<String,Object> params = new HashMap<String,Object>();
		params.put("birthday","1980-01-01");
		ESDatas<Company> escompanys = clientUtil.searchList("company/company/_search","hasChildSearchByBirthday",params,Company.class);
		List<Company> companyList = escompanys.getDatas();//获取符合条件的公司
		long totalSize = escompanys.getTotalSize();
	}

	/**
	 * 通过雇员姓名检索公司信息
	 */
	public void hasChildSearchByName(){

		ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/indexparentchild.xml");
		Map<String,Object> params = new HashMap<String,Object>();
		params.put("name","Alice Smith");
		ESDatas<Company> escompanys = clientUtil.searchList("company/company/_search","hasChildSearchByName",params,Company.class);
		List<Company> companyList = escompanys.getDatas();//获取符合条件的公司
		long totalSize = escompanys.getTotalSize();

	}
	/**
	 * 通过雇员数量检索公司信息
	 */
	public void hasChildSearchByMinChild(){

		ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/indexparentchild.xml");
		Map<String,Object> params = new HashMap<String,Object>();
		params.put("min_children",2);
		ESDatas<Company> escompanys = clientUtil.searchList("company/company/_search","hasChildSearchByMinChild",params,Company.class);
		List<Company> companyList = escompanys.getDatas();//获取符合条件的公司
		long totalSize = escompanys.getTotalSize();

	}
	/**
	 * 通过公司所在国家检索雇员信息
	 */
	public void hasParentSearchByCountry(){

		ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/indexparentchild.xml");
		Map<String,Object> params = new HashMap<String,Object>();
		params.put("country","UK");
		ESDatas<Employee> escompanys = clientUtil.searchList("company/employee/_search","hasParentSearchByCountry",params,Employee.class);
		List<Employee> companyList = escompanys.getDatas();//获取符合条件的公司
		long totalSize = escompanys.getTotalSize();

	}

通过junit测试用例执行上述功能

    @Test
	public void test(){
		createIndice();
		importData();
		hasChildSearchByBirthday();
		this.hasChildSearchByName();
		this.hasChildSearchByMinChild();
		this.hasParentSearchByCountry();
	}

4.参考文档

5.x父子查询示例:
https://gitee.com/bboss/eshelloword-booter/tree/master/src/test/java/org/bboss/elasticsearchtest/parentchild
6.x父子查询示例:
https://gitee.com/bboss/eshelloword-booter/tree/master/src/test/java/org/bboss/elasticsearchtest/jointype

https://blog.csdn.net/napoay/article/details/52032931

测试用例对应的工程

https://gitee.com/bbossgroups/eshelloword-booter

 

转载于:https://my.oschina.net/bboss/blog/1793290

相关文章:

  • Wamp集成环境 添加PHP的新版本
  • 建立私有CA及Nginx绑定SSL加密
  • Vue:替换/合并现有的特性
  • 杨老师课堂之JavaScript案例之自动切换轮播图片
  • 关于Vue.js面试题汇总
  • Android两次后退键退出
  • 敏捷开发与瀑布式开发的区别
  • [转] Webpack的devtool和source maps
  • 数据中心资源向AWS迁移的四大挑战
  • 区块链概况:什么是区块链
  • 二进制数字系统
  • js正则,这点儿就够用了
  • Vue2.0史上最全入坑教程(中)—— 脚手架代码详解
  • “美云启航 智数未来”——美云智数产品发布会圆满召开
  • ServletContext两个Servlet传值学习笔记
  • JavaScript设计模式系列一:工厂模式
  • Koa2 之文件上传下载
  • STAR法则
  • ubuntu 下nginx安装 并支持https协议
  • 闭包--闭包之tab栏切换(四)
  • 七牛云 DV OV EV SSL 证书上线,限时折扣低至 6.75 折!
  • 前端自动化解决方案
  • 世界编程语言排行榜2008年06月(ActionScript 挺进20强)
  • 通过来模仿稀土掘金个人页面的布局来学习使用CoordinatorLayout
  • 用jquery写贪吃蛇
  • 【干货分享】dos命令大全
  • ionic异常记录
  • ​LeetCode解法汇总2304. 网格中的最小路径代价
  • ​卜东波研究员:高观点下的少儿计算思维
  • #我与Java虚拟机的故事#连载09:面试大厂逃不过的JVM
  • (html转换)StringEscapeUtils类的转义与反转义方法
  • (Redis使用系列) Springboot 使用redis的List数据结构实现简单的排队功能场景 九
  • (阿里巴巴 dubbo,有数据库,可执行 )dubbo zookeeper spring demo
  • (二)【Jmeter】专栏实战项目靶场drupal部署
  • (一)Neo4j下载安装以及初次使用
  • (转)机器学习的数学基础(1)--Dirichlet分布
  • *p++,*(p++),*++p,(*p)++区别?
  • .NET : 在VS2008中计算代码度量值
  • .Net Framework 4.x 程序到底运行在哪个 CLR 版本之上
  • .NET/C# 使用 SpanT 为字符串处理提升性能
  • .netcore 获取appsettings
  • @kafkalistener消费不到消息_消息队列对战之RabbitMq 大战 kafka
  • @Validated和@Valid校验参数区别
  • [100天算法】-目标和(day 79)
  • [Android]如何调试Native memory crash issue
  • [BZOJ3223]文艺平衡树
  • [C#]手把手教你打造Socket的TCP通讯连接(一)
  • [idea]关于idea开发乱码的配置
  • [IE9] 解决了傲游、搜狗浏览器在IE9下网页截图的问题
  • [iOS]iOS获取设备信息经常用法
  • [Json.net]快速入门
  • [LeetCode] 196. 删除重复的电子邮箱
  • [LeetCode]—Roman to Integer 罗马数字转阿拉伯数字
  • [Oh My C++ Diary]头文件使用之math.h与cmath
  • [one_demo_4]不使用第3个变量交换两个变量的值