当前位置: 首页 > news >正文

Hive环境搭建(Mysql数据库)

【实验目的】

    1)   了解hive的作用

    2)   熟练hive的配置过程(Mysql数据库)

【实验原理】

    Hive工具中默认使用的是derby数据库,该数据库使用简单,操作灵活,但是存在一定的局限性,hive支持使用第三方数据库,例如mysql,通过配置可以把mysql集成到hive工具中,在实际的应用当中就比较方便,mysql功能更强大一些,社会中应用也广泛一些。

【实验环境】

    本次环境是:centos6.5 +Hadoop-2.4.1 +jdk1.7.0_79 + mysql

    工具包在/simple/soft目录下

    注:IP视情况而定

【实验步骤】

    一 、解压hive

        1.1 在linux系统下,首先执行cd /simple 命令进入simple目录下,然后把/simple/soft目录下的hive压缩包解压到/simple目录下,执行命令为:tar -zxvf  /simple/soft/hive-0.12.0.tar.gz。如图1所示

 

 1.2 执行完解压命令之后,可以通过执行命令:ls可以看到一个hive解压目录。如图2所示 

 

二 、配置hive

        2.1 解压完毕hive压缩包后,切换目录到/simple/hive-0.12.0目录并查看下面的文件列表。如图3所示

 

 2.2 在/simple/hive-0.12.0目录下执行命令:cd conf切换到conf目录并查看列表,执行命令:cp hive-env.sh.template hive-env.sh。如图4所示   

 

 

 

 2.3 在/simple/hive-0.12.0/conf目录下执行:vim hive-env.sh并编辑内容。如图5所示 

 

  2.4 在/simple/hive-0.12.0目录下执行命令:cd conf切换到conf目录并查看列表,执行命令:mv hive-default.xml.template hive-site.xml。如图6所示       

 

2.5 完成上一步操作之后,此时需要修改hive-site.xml文件的内容,`由于hive-site.xml中内容较多,我们需要在本地打开文件进行删除文件中的内容,单击桌面Computer->Filesystem->simple->hive-0.12.0->conf,右击hive-site.xml文件选择Open With gedit进行编译,删除<configuration></configuration>中所有内容,此操作会比较耗时`,操作完之后再终端执行命令:`vim hive-site.xml`之后并查看内容,注意:mysql url路径地址的ip地址根据本机情况进行修改。如图7,8所示 

 

 

 2.6 完成上一步之后,在目录$HIVE_HOME/bin下面,修改文件hive-config.sh,,增加以下内容:

             export JAVA_HOME=/simple/jdk1.7.0_79

             export HIVE_HOME=/simple/hive-0.12.0

             export HADOOP_HOME=/simple/hadoop-2.4.1。如图9,10所示         

 

 

 

 2.7 在命令终端任意目录下,执行命令:vim /etc/profile然后编辑内容,进行hive环境变量的配置。然后执行命令:source /etc/profile,让配置生效。如图11所示 

 

2.8 配置完环境变量之后,执行命令"start-all.sh"启动hadoop服务,然后在hive-0.12.0/bin目录下运行./hive,进入hive shell环境表示安装配置成功 。 如图12所示 

 

2.9 在测试的过程中有可能文件权限问题,对应目录主要有两个:

          1)hdfs://192.168.1.2:9000/tmp

          2)/tmp

          可以通过如下命令修改hdfs上的tmp和本地tmp文件夹权限的修改:

          hdfs dfs -mkdir /tmp

          hdfs dfs -chmod -R 777 /tmp  //hdfs上的文件权限

          chmod -R 777 /tmp //linux文件权限。 如图13所示 

 

 

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 【C语言】指针大小知多少 ?一场探寻C语言深处的冒险 !
  • Kubernetes 面试题及答案整理,最新面试题
  • Scrapy框架中,如何有效地管理和维护爬虫的日志记录?
  • 非线性校正算法在红外测温中的应用
  • Java-Swing开发-001组件
  • redis放在三层架构中的哪一层
  • Spark RPC框架详解
  • 计算机三级嵌入式(三)——嵌入式系统硬件组成
  • Matlab 命令行窗口默认输出(异常)
  • 2026考研数学武忠祥课程视频百度网盘资源+PDF讲义(永久更新)
  • CTF-Web习题:[GXYCTF2019]Ping Ping Ping
  • docker镜像
  • 史上最全的Seata教学并且连接springcloudAlibaba进行使用
  • 小红书笔记评论采集全攻略:三种高效方法教你批量导出
  • 网站性能提升
  • CSS居中完全指南——构建CSS居中决策树
  • Django 博客开发教程 8 - 博客文章详情页
  • Java 多线程编程之:notify 和 wait 用法
  • javascript从右向左截取指定位数字符的3种方法
  • JavaScript设计模式与开发实践系列之策略模式
  • JS+CSS实现数字滚动
  • Mysql数据库的条件查询语句
  • Promise初体验
  • Puppeteer:浏览器控制器
  • python 装饰器(一)
  • Python学习笔记 字符串拼接
  • Spark学习笔记之相关记录
  • TypeScript迭代器
  • 分类模型——Logistics Regression
  • 检测对象或数组
  • 解析带emoji和链接的聊天系统消息
  • 京东美团研发面经
  • 那些年我们用过的显示性能指标
  • 前端学习笔记之原型——一张图说明`prototype`和`__proto__`的区别
  • 深入浅出Node.js
  • gunicorn工作原理
  • kubernetes资源对象--ingress
  • ​Benvista PhotoZoom Pro 9.0.4新功能介绍
  • # 安徽锐锋科技IDMS系统简介
  • ### Cause: com.mysql.jdbc.exceptions.jdbc4.MySQLTr
  • #define用法
  • #考研#计算机文化知识1(局域网及网络互联)
  • (1)(1.9) MSP (version 4.2)
  • (10)Linux冯诺依曼结构操作系统的再次理解
  • (delphi11最新学习资料) Object Pascal 学习笔记---第14章泛型第2节(泛型类的类构造函数)
  • (Ruby)Ubuntu12.04安装Rails环境
  • (动手学习深度学习)第13章 计算机视觉---图像增广与微调
  • (附源码)计算机毕业设计SSM智慧停车系统
  • (六)vue-router+UI组件库
  • (强烈推荐)移动端音视频从零到上手(下)
  • (十七)Flink 容错机制
  • (一)Docker基本介绍
  • (转)详解PHP处理密码的几种方式
  • (转)总结使用Unity 3D优化游戏运行性能的经验
  • .NET Core MongoDB数据仓储和工作单元模式封装