hive集群加了个参数后，union all的任务都执行不了影响业务
文章目录
- hive集群加了个参数后，union all的任务都执行不了影响业务
- 背景
- 问题
- 解决
- 参数hive.semantic.analyzer.hook
hive集群加了个参数后，union all的任务都执行不了影响业务
背景
今年1月内蒙的数据中台和大数据平台上线，运行至今很稳定，昨天半夜3点半被叫起来，说大部分任务卡住了，运行不了，追查问题，发现union all的任务都执行不了，问了现场早上改了什么吗？发现局方要求改了一个参数导致的，任务执行不了挺严重的，早上任务出不来，主任要背责任的。
问题
中台报错：
在hive执行报错：Invalid function ‘TOK_SETCOLREF’
解决
1.发现都是union all的任务出错
例如：
SELECT
USER_NO,
MIN(FIRST_CALL_DATE),
MAX(LAST_CALL_DATE)
FROM (SELECT USER_NO,
MIN(CALL_DATE) FIRST_CALL_DATE,
MAX(CALL_DATE) LAST_CALL_DATE
FROM EDWV.DWV_D_EV_BIL_MB_VOICE
WHERE ACCT_MONTH = '202209'
AND DAY_ID = '26'
GROUP BY USER_NO
UNION ALL
SELECT USER_NO, FIST_CALL_DATE, LAST_CALL_DATE
FROM MID.MID_DWV_D_EV_BIL_FIRST_CALL) T1
GROUP BY USER_NO
2.回想早上改什么，发现改动了一个参数
3.暂时将参数改回去，回滚配置，重启服务
4.任务恢复正常
参数hive.semantic.analyzer.hook
生命周期：在对查询语句进行语义分析时被调用
使用方式：修改hive-site.xml为如下配置，多个实现类使用逗号分割
<property>
<name>hive.semantic.analyzer.hook</name>
<value>org.apache.hadoop.hive.ql.parse.AbstractSemanticAnalyzerHook<value/>
</property>
Hive中没有超级管理员，任何用户都可以进行Grant/Revoke操作，为了完善“超级管理员”，必须添加hive.semantic.analyzer.hook配置，并实现自己的权限控制类。
怀疑他自定义的类，没有在我们的用户导致union all操作不能执行
这个参数官网已经找不到。