当前位置: 首页 > news >正文

hive源码解析(1)之hive执行过程

 


1.入口  /bin/cli.sh

      调用CliDriver类进行初始化过程

Ø   处理 -e, -f,-h等信息,如果是-h,打印提示信息,并退出

Ø   读取hive的配置文件,设置HiveConf

Ø   创建一个控制台,进入交互模式

2.在交互方式下,读取每一个输命令行,直到’;’为止,然后提交给processLine(cmd)方法处理,该方法将输入的流以;分割成多个命令 ,然后交给processCmd(cmd)方法 。

3.ProcessCmd(cmd) 对输入的命令行进行判断,根据命令的第一个记号(Token),分别进入相应的流程

Ø  quit or exit 系统正常退出

Ø !开头的命令行,执行操作系统命令

Ø source 开头的,读取外部文件,并执行文件中的命令

Ø list 列出 jar  file archive

其他命令提交给Commandprocess,进行命令的预处理

4.命令的预处理  CommandProcess

   根据输入命令的第一个记号,分别进行处理

Ø set : 调用SetProcess类,设置hive的环境参数,并保存在该进程的HiveConf中

Ø dfs:   调用DfsProcess类,调用hadoop的shell接口,执行hadoop的相关命令

Ø add:  调用AddResourceProcessor  ,导入外部的资源,只对该进程有效

Ø delete: 与add对应,删除资源

其他  :提交给Driver类,进行下一步的处理

5.  命令的处理( Driver类的run方法)

(1)  编译 complie(Hive的核心部分)

Ø  通过语言识别工具Antlr,验证语句的合法性

Ø  将sql转换成一个抽象语法树(AST)

Ø  定义树解释器Operator,将AST翻译成逻辑操作树

Ø  调用genMapRed方法,生成物理执行计划

(2)获取读写锁

Ø  对操作的表获取一个读写锁acquireReadWriteLocks

(3)执行 execute

Ø  将生成的Task提交hadoopAPI 处理

Ø  返回任务的执行时间和状态(成功or失败)

6.获取执行的结果

Ø 任务执行失败,抛出异常

Ø  执行成功后,调用Driver的GetReuslt方法,顺序打开每一个输出文件

Ø  获取每一行的输出,并打印到控制台

7.执行清理

Ø  清理hive执行过程中的中间文件和临时文件

Ø  退出该条命令的执行,返回控制台并等待下一条命令的输入

 

其中Driver类是hive最核心的类。




相关文章:

  • java面试(五)
  • hive源码解析(2)之编译前序
  • eCharts.js使用心得
  • ABAP POH和POV事件中 获得屏幕字段的值
  • Hive优化(2)之系统评估reduce数为1的MR Job优化
  • RecycleView + SwipeRefreshLayout 实现下拉刷新和底部自动加载
  • hive中间接实现不等值连接
  • python之字符编码
  • Hadoop计算文件大小
  • 在Oracle中利用SQL_TRACE跟踪SQL的执行
  • Linux添加/删除用户和用户组
  • Hive优化(3)之随机数避免数据倾斜
  • Angular2学习(一)
  • hive优化(4)之mapjoin和union all避免数据倾斜
  • hive cli
  • [分享]iOS开发-关于在xcode中引用文件夹右边出现问号的解决办法
  • Angular2开发踩坑系列-生产环境编译
  • CSS中外联样式表代表的含义
  • ES6语法详解(一)
  • Essential Studio for ASP.NET Web Forms 2017 v2,新增自定义树形网格工具栏
  • golang中接口赋值与方法集
  • Java教程_软件开发基础
  • Laravel 实践之路: 数据库迁移与数据填充
  • node-glob通配符
  • SAP云平台里Global Account和Sub Account的关系
  • vue中实现单选
  • 高度不固定时垂直居中
  • 记录一下第一次使用npm
  • 开发了一款写作软件(OSX,Windows),附带Electron开发指南
  • 漫谈开发设计中的一些“原则”及“设计哲学”
  • 前嗅ForeSpider教程:创建模板
  • 浅谈Kotlin实战篇之自定义View图片圆角简单应用(一)
  • 浅谈web中前端模板引擎的使用
  • 人脸识别最新开发经验demo
  • ​LeetCode解法汇总1276. 不浪费原料的汉堡制作方案
  • (02)vite环境变量配置
  • (06)金属布线——为半导体注入生命的连接
  • (附源码)spring boot校园拼车微信小程序 毕业设计 091617
  • (切换多语言)vantUI+vue-i18n进行国际化配置及新增没有的语言包
  • (四)c52学习之旅-流水LED灯
  • (译)2019年前端性能优化清单 — 下篇
  • (转)树状数组
  • .form文件_一篇文章学会文件上传
  • .NET 8 编写 LiteDB vs SQLite 数据库 CRUD 接口性能测试(准备篇)
  • .Net Attribute详解(上)-Attribute本质以及一个简单示例
  • .NET Compact Framework 3.5 支持 WCF 的子集
  • .Net Core 中间件验签
  • .net core控制台应用程序初识
  • @ 代码随想录算法训练营第8周(C语言)|Day57(动态规划)
  • @31省区市高考时间表来了,祝考试成功
  • [.net 面向对象程序设计进阶] (19) 异步(Asynchronous) 使用异步创建快速响应和可伸缩性的应用程序...
  • [20170705]lsnrctl status LISTENER_SCAN1
  • [boost]使用boost::function和boost::bind产生的down机一例
  • [C#基础知识系列]专题十七:深入理解动态类型
  • [C++] sqlite3_get_table 的使用