Hadoop架构、Hive相关知识点及Hive执行流程
Hadoop架构
Hadoop由三大部分组成:HDFS、MapReduce、yarn
HDFS：负责数据的存储
其中包括：
namenode：主节点，用来分配任务给从节点
secondarynamenode：副节点，辅助主节点
datanode：从节点，负责实际的存储
MapReduce：负责计算
其中Map负责分解，reduce负责合并
yarn：负责资源调度
其中包括：
resourcemanager：负责接收用户的请求，并负责集群的管理和资源调度
nodemanager：负责执行resourcemanager分配的任务
Hive相关知识点
元数据:用来描述数据的数据。
元数据包含:用Hive创建的database、table、表的字段等元信息。
元数据存储:存在关系型数据库中,如:hive内置的Derby数据库或者第三方MySQL数据库等,一般使用Mysql数据库。
Metastore:即元数据存储服务
作用是: 客户端连接metastore服务，metastore再去连接MySQL等数据库来存取元数据。
特点: 有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL等数据库的用户名和密码，只需要连接metastore 服务即可。
Hive执行流程
1.用户在用户端编写sql语句,通过hive thrift server传到hive
hive中:
2.解析器:解析sql语法
3.编译器:将sql语句编译成MapReduce程序,通过metastore在数据库中获取元数据并映射成一张表
优化器:优化MapReduce程序
4.执行器:将优化后的执MapReduce程序传给Hadoop
Hadoop来执行MapReduce程序,yarn复制资源调度,MapReduce负责计算
5.hive来监督执行情况,Hadoop会将结果存在hdfs中
6.结果返回显示