2019独角兽企业重金招聘Python工程师标准>>> 
Hive
1. 简介
数据仓库工具。可以把hadoop下的原始结构化数据变成Hive中的表
支持一种与SQL几乎完全相同的语言HiveQL。除了不支持更新，索引和事务，几乎sql的其他特征都能支持
可以看成是从sql到map-reduce的映射器
提供shell、JDBC/ODBC、Thrift、Web等接口
起源自facebook由Jeff Hammerbacher领导的团队
构建在hadoop上数据仓库框架
设计目的是让sql技能良好，但Java技能较弱的分析师可以查询海量数据
08年facebook把hive项目贡献给Apache
2. Hive的组件与体系架构
用户接口：shell，thrift，web等
Thrift服务器
元数据 “Derby, Mysql等”
解析器
Hadoop
3. 架构图
4. Hive安装（可以在网上获取安装文档）
内嵌模式：元数据保持在内嵌的Derby模式，只允许一个会话连接
1） 下载hive安装包
2） 安装
（1） 上传hive安装包到机器上，使用root用户登录：
tar –zxvf hive-0.8.1.tar.gz
（2）将解压的hive分别移动并改名为/usr/local/hive
rm -rf /usr/local/hive mv hive-0.8.1 /usr/local/hive
3） 配置hive
（1）修改/usr/local/hive/bin/hive-config.sh
在文件末尾加入
export JAVA_HOME=/usr/local/jdk
export HIVE_HOME=/usr/local/hive
export HADOOP_HOME=/usr/local/hadoop
(2) 根据hive-default.xml复制hive-site.xml
cp /usr/local/hive/conf/hive-default.xml /usr/local/hive/conf/hive-site.xml
（3）配置hive-site.xml,主要配置项如下
hive.metastore.warehouse.dir: (HDFS上的)数据目录 ,默认值是/usr/hive/ware
hive.exec.scratchdir: （HDFS上的）临时文件目录,默认值是/tmp/hive-${user.name}
以上是默认值，暂时不改
（4）改变/usr/local/hive的目录所有制为hadoop
chown –R hadoop:hadoop /usr/local/hive
（5）配置hive的log4j
本地独立模式：在内嵌模式的基础上，在本地安装Mysql，把元数据放到Mysql内
远程模式：在本地模式的基础上，
元数据放置在远程的Mysql数据库
5. Hive shell
执行HiveQL（大约相当于SQL92标准）
查看或临时设置Hive参数，只对当前会话有效
创建函数
曹如jar包
6. 创建表
插入数据
查询
表连接
7. JDBC/ODBC接口
（1） 用户可以像连接传统数据库一样使用JDBC或ODBC连接HIVE， 目前还不成熟
（2） JDBC的具体连接过程
1） 使用jdbc的方式连接hive，首先做的事情就是需要启动Thrift Server，否则连接hive的时候会报connection refused的错误
启动命令如下 hive –service hiveserver
2)新建java项目，然后将hive/lib下的所有jar包和hadoop的核心jar包hadoop0.20.2-core.jar添加到项目的类路径上
3） 样板代码
8.hive的数据放在哪儿？
数据在HIDFS的warehouse目录下，一个表对应一个子目录
桶与reduce
本地的/tmp目录存放日志和执行计划
