当前位置： 首页 > news >正文

Hadoop学习笔记（HDP）-Part.15 安装HIVE

news 来源：原创 2024/5/8 19:20:08

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

十五、安装HIVE

1.配置MetaStore

利用ambari创建的MySQL作为MetaStore，创建用户hive及数据库hive

mysql -uroot -p
CREATE DATABASE hive;
CREATE USER 'hive'@'%' IDENTIFIED BY 'lnyd@LNsy115';
GRANT ALL ON hive.* TO 'hive'@'%';
FLUSH PRIVILEGES;

2.安装

在服务中添加Hive
在这里插入图片描述
安装hive时需要同步安装Tez
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
DATABASE
Hive Database：Existing MySQL / MariaDB
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
安装完成后，需要按照提示将hdfs、yarn等服务进行重启。
Ambari安装后，Hive使用了Tez作为计算引擎，也可以修改为MR或Spark，在配置文件中调整，/usr/hdp/3.1.5.0-152/hive/conf/hive-site.xml

   <property><name>hive.execution.engine</name><value>tez</value></property>

3.高可用

(1)MetaSore HA

ACTIONS->Add Hive Metastore
在这里插入图片描述
在这里插入图片描述
重启相关服务后完成HA启用。
在这里插入图片描述

(2)HiveServer2 HA

ACTIONS->Add HiveServer2
在这里插入图片描述
在这里插入图片描述
重启HIVE和Tez服务后完成HA启用。
在这里插入图片描述

4.Ranger授权

在Ranger上新建策略完成对租户的授权
在这里插入图片描述
在这里插入图片描述
权限策略可以精细到列

5.常用指令

(1)CLI连接

类似于mysql的命令行工具，但是只能操作本地的Hive服务，无法通过JDBC连接远程服务，且sql执行结果没有格式化，看起来不是很直观。
先用keytab登录，使用hive客户端进入

kinit -kt /etc/security/keytabs/hive.service.keytab hive/hdp01.hdp.com@HDP315.COM
hive

在这里插入图片描述
可以设置一些基本参数，让hive使用起来更便捷：
让提示符显示当前库

set hive.cli.print.current.db=true;

显示查询结果时显示字段名称

set hive.cli.print.header=true;

设置只对当前会话有效，重启hive会话后就失效。
创建测试数据库test_hive_db

create database test_hive_db;

在这里插入图片描述
查看数据库的信息

desc database test_hive_db;

在这里插入图片描述
从输出结果看，测试数据库test_hive_db存储在hdfs上，位置为hdfs://hdp315/warehouse/tablespace/managed/hive/test_hive_db.db

(2)Beeline连接

HiveServer2支持一个新的命令行Shell，称为：Beeline，后续将会使用Beeline替代Hive CLI。Beeline基于SQLLine CLI的JDBC客户端。Hive CLI和Beeline都属于命令行操作模式，主要区别是Hive CLI只能操作本地的Hive服务，而Beeline可以通过JDBC连接远程服务。
开启了kerberos认证的hadoop集群，hive默认使用kerberos认证。先以hive/hdp01.hdp.com@HDP315.COM身份登录，创建数据库hive_db_tenant1和tenant2、表hive_table_tenant1和hive_table_tenant2，在ranger上分别将两个租户赋权到对应的数据库上，然后以tenant1身份连接，分别尝试连接两个数据库，看是否有权限访问

kinit -kt /etc/security/keytabs/hive.service.keytab hive/hdp01.hdp.com@HDP315.COM
beeline -u 'jdbc:hive2://hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hive/hdp01.hdp.com@HDP315.COM'
create database hive_db_tenant1;
create database hive_db_tenant2;
create table hive_db_tenant1.hive_table_tenant1 (id int,name string,address string,phone string);
create table hive_db_tenant2.hive_table_tenant2 (id int,name string,address string,phone string);
kdestroy
kinit -kt /root/keytab/tenant1.keytab tenant1
beeline -u 'jdbc:hive2://hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hive/hdp01.hdp.com@HDP315.COM'
describe hive_db_tenant1.hive_table_tenant1;
describe hive_db_tenant2.hive_table_tenant2;

在这里插入图片描述
从结果看，无法访问hive_table_tenant2的表。

(3)导入数据等测试

生成6GB大小的文件

#!/bin/bash
cat /dev/null  > /root/bigFile.txt
for((i=1;i<=100000000;i++));
doecho "$i,testname$i,testaddress$i,testphonenumber$i" >> /root/bigFile.txt;
done

本次测试使用tenant1

kinit -kt /root/keytab/tenant1.keytab tenant1
hdfs dfs -put /root/bigFile.txt /testhdfs/tenant1
beeline -u 'jdbc:hive2://hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2;principal=hive/hdp01.hdp.com@HDP315.COM'
set tez.queue.name=tenant1;

① 导入测试
测试一次性导入和切分导入的性能
新建表，用于一次性导入

CREATE TABLE `test_tenant1_one`(
`id` int,
`name` string, 
`address` string, 
`phone` string
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
STORED AS TEXTFILE
LOCATION 'hdfs://hdp315/testhdfs/tenant1/test_tenant1_one.db';

执行导入

LOAD DATA INPATH 'hdfs://hdp315/testhdfs/tenant1/bigFile.txt' INTO TABLE hive_db_tenant1.test_tenant1_one;

在这里插入图片描述
新建表，用于分桶导入，分桶的实质就是对分桶的字段做了hash，然后存放到对应文件中，所以说如果原有数据没有按key hash，需要在插入分桶的时候hash，也就是说向分桶表中插入数据的时候必然要执行一次MAPREDUCE，这也就是分桶表的数据基本只能通过从结果集查询插入的方式进行导入

CREATE TABLE `test_tenant1_bucket`(
`id` int,
`name` string, 
`address` string, 
`phone` string
)
CLUSTERED BY(id) INTO 16 buckets 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE
LOCATION 'hdfs://hdp315/testhdfs/tenant1/test_tenant1_bucket.db';

执行导入

INSERT OVERWRITE TABLE test_tenant1_bucket SELECT * FROM test_tenant1_one;

在这里插入图片描述
此时，分桶后的文件会分成16个分片
在这里插入图片描述
② 查询测试
对测试的数据库进行查询操作

SELECT SUM(id) FROM hive_db_tenant1.test_tenant1_bucket;

在这里插入图片描述

6.常见报错

(1)提示没有权限调用default队列

Select查询不报错，但count、insert、load等操作需要调用tez引擎时会报错
报错信息：

ERROR : Job Submission failed with exception 'java.io.IOException(org.apache.hadoop.yarn.exceptions.YarnException: org.apache.hadoop.security.AccessControlException: User hive does not have permission to submit application_1678378182198_0002 to queue default

在这里插入图片描述
默认调用的是default队列，需要手工指定使用的队列
mr指定队列：

set mapreduce.job.queuename=tenant1;

tez指定队列：

set tez.queue.name=tenant1;

相关文章：

  • methods
  • Apache solr XXE 漏洞（CVE-2017-12629）
  • qt day2
  • 两个观察伦敦银关键点位的方法
  • el-dialog 垂直居中
  • Fiddler抓包模拟器（雷电模拟器）
  • Android File Transfer for Mac：畅享强大的安卓文件传输工具
  • GO基础之变量与常量
  • TCP协议实现一对一聊天
  • XunSearch 讯搜 error: storage size of ‘methods_bufferevent’ isn’t known
  • html实现各种好看的鼠标滑过图片特效模板
  • 一个 postman实现参数化让我丢掉了一份20k的offer
  • 数论——质数
  • Mysql 日期函数大全
  • C语言期末考试复习PTA数据类型及表达式-分支结构程序-循环结构-数组经典选择题
  • 【159天】尚学堂高琪Java300集视频精华笔记（128）
  • 【Under-the-hood-ReactJS-Part0】React源码解读
  • axios 和 cookie 的那些事
  • CAP 一致性协议及应用解析
  • Git 使用集
  • js对象的深浅拷贝
  • node入门
  • Node项目之评分系统（二）- 数据库设计
  • Yeoman_Bower_Grunt
  • 仿天猫超市收藏抛物线动画工具库
  • 每个JavaScript开发人员应阅读的书【1】 - JavaScript: The Good Parts
  • 如何编写一个可升级的智能合约
  • 如何设计一个微型分布式架构？
  • 云栖大讲堂Java基础入门（三）- 阿里巴巴Java开发手册介绍
  • 正则与JS中的正则
  • ​TypeScript都不会用，也敢说会前端？
  • # Swust 12th acm 邀请赛# [ K ] 三角形判定 [题解]
  • #图像处理
  • $.ajax()方法详解
  • (C++17) optional的使用
  • （ZT）出版业改革：该死的死，该生的生
  • （二）什么是Vite——Vite 和 Webpack 区别（冷启动）
  • (附源码)计算机毕业设计ssm-Java网名推荐系统
  • （七）MySQL是如何将LRU链表的使用性能优化到极致的？
  • （亲测）设​置​m​y​e​c​l​i​p​s​e​打​开​默​认​工​作​空​间...
  • （三十五）大数据实战——Superset可视化平台搭建
  • （五）大数据实战——使用模板虚拟机实现hadoop集群虚拟机克隆及网络相关配置
  • （一）WLAN定义和基本架构转
  • （转）memcache、redis缓存
  • (转)Mysql的优化设置
  • (转)利用ant在Mac 下自动化打包签名Android程序
  • ******之网络***——物理***
  • **PHP二维数组遍历时同时赋值
  • .gitignore文件_Git：.gitignore
  • .Net 8.0 新的变化
  • .NET CF命令行调试器MDbg入门（四） Attaching to Processes
  • .NET Framework 的 bug？try-catch-when 中如果 when 语句抛出异常，程序将彻底崩溃
  • .NET Standard 的管理策略
  • .NET 中小心嵌套等待的 Task，它可能会耗尽你线程池的现有资源，出现类似死锁的情况
  • .net2005怎么读string形的xml，不是xml文件。