优化实战篇—自关联的优化
自关联的优化
根据定义，自关联是表自身的关联。自连接通常仅在给定数据中存在父子关系时使用。在本文中，我们将检查如何在Hive中编写自连接查询，它的性能问题以及如何优化它。开始之前我们可以看一下之前关于关联的文章
Hive实战之自关联经典案例
各种join 的执行计划
从查询结果进行自关联
有个需求就是我们需要从一个查询结果上进行自关联，这里我使用WITH 语法构造了这个查询,更多关于WITH的可以看看我们之前的文章
数仓工具—Hive语法之with as和from
数仓工具—Hive语法之with扩展
WITH sub_query AS(SELECT * FROM employee_manager
)
select EMPL.EID, EMPL.NAME, MANAGER.NAME as MANAGER_NAME
from sub_query EMPL, sub_query MANAGER
where EMPL.eid = MANAGER.mid;
其实我们可以使用临时表来替代WITH语法，这个时候可能会看到性能有所提示,常见的创建临时表的方式如下
CREATE TEMPORARY TABLE temp1(col1 string);
CREATE TEMPORARY TABLE temp2 AS Select * from table_name;
CREATE TEMPORARY TABLE temp3 LIKE table_name;
自关联的优化
其实关于自关联的优化手段，和我们之前优化join 的差不多，我们简单看一下
- 避免使用自关联在大表上，如果无法避免那么参考之前我们大表的关联优化方案
- 创建临时表避免
WITH,因为你通过WITH创建出来的对象在多次使用时会多次执行查询 - 在关联之前删除不必要的数据
- 创建索引，因为是自关联，所以我们就只需要创建一次索引