当前位置: 首页 > news >正文

Impala数据处理(加载和存储)

 

 

 

 

 

 

   Hive与Impala都是构建在Hadoop之上的数据查询工具,那么在实际的应用中,它们是如何加载和存储数据的呢?

Hive和Impala存储和加载表,和所有的关系型数据库一样,有自己的数据管理结构,从它的Server到Database再到表和视图。

  在其他的数据库中,表都是以自己特定的文件格式来存储的,比如Oracle有自己的存储格式,而对Hive而言,一个表就是包含一个或多个文件的HDFS目录,这个文件是属于表下面的内容,默认存储路径:/user/hive/warehouse/<table_name>,支持多种存储格式。

 

  以上就是数据的存储,那么每一个表、每一个结构都有自己的列或者类型定义的信息,这些信息该如何去保存呢?它们存储在Metastore里,而所有的数据都存储在HDFS之上,所以我们想要获得表结构信息,就需要知道hive的元数据中每个表的含义和结构。在hive中,有简单的命令可以大概的查看表的结构信息:describe formatted tableName; hive metastore表结构如下:

    

  因为Hive和Impala使用相同的数据,表在HDFS,元数据在Metastore,所以以上的存储及结构介绍同样适用于Impala。

 

 

 

数据加载及存储示例

        

 

 

 

  在这里呢我们必须要区分两个概念:数据和元数据。数据指的是你存储和处理的信息,比如账单记录、传感器读数和服务日志等。而元数据用来描述数据的形态,比如字段名和顺序等。

        

 

 

Hive与Impala都是构建在Hadoop之上的数据查询工具,那么在实际的应用中,它们是如何加载和存储数据的呢?

Hive和Impala存储和加载表,和所有的关系型数据库一样,有自己的数据管理结构,从它的Server到Database再到表和视图。


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6785707.html,如需转载请自行联系原作者

相关文章:

  • iOS滤镜实现之LOMO(美图秀秀经典LOMO)
  • Storm概念学习系列之storm简介
  • em和px比较
  • CISCO 3750 不能修改接口mtu?
  • some code of c
  • __stdcall、__cdcel和__fastcall
  • 温故知新之javascript面向对象
  • Validation Application Block动手实验室
  • 关于 WebRequest.RegisterPrefix
  • 慎用margin系列1---CSS的margin塌陷(collapse) 问题与对策
  • Workarounds一词的翻译
  • jquery ui中的dialog,官网上经典的例子
  • screen 后台实时执行命令
  • IP数据包首部校验和的计算
  • 烂泥:rsync与inotify集成实现数据实时同步更新
  • 【从零开始安装kubernetes-1.7.3】2.flannel、docker以及Harbor的配置以及作用
  • Android框架之Volley
  • Netty 4.1 源代码学习:线程模型
  • PaddlePaddle-GitHub的正确打开姿势
  • Python_OOP
  • React as a UI Runtime(五、列表)
  • Vue官网教程学习过程中值得记录的一些事情
  • 得到一个数组中任意X个元素的所有组合 即C(n,m)
  • 翻译--Thinking in React
  • 工作踩坑系列——https访问遇到“已阻止载入混合活动内容”
  • 诡异!React stopPropagation失灵
  • 后端_ThinkPHP5
  • 那些被忽略的 JavaScript 数组方法细节
  • 前端临床手札——文件上传
  • 原创:新手布局福音!微信小程序使用flex的一些基础样式属性(一)
  • 测评:对于写作的人来说,Markdown是你最好的朋友 ...
  • 教程:使用iPhone相机和openCV来完成3D重建(第一部分) ...
  • #Z0458. 树的中心2
  • (AngularJS)Angular 控制器之间通信初探
  • (AtCoder Beginner Contest 340) -- F - S = 1 -- 题解
  • (pojstep1.3.1)1017(构造法模拟)
  • (TOJ2804)Even? Odd?
  • (初研) Sentence-embedding fine-tune notebook
  • (附源码)ssm码农论坛 毕业设计 231126
  • (欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明
  • (十六)串口UART
  • (一)python发送HTTP 请求的两种方式(get和post )
  • (原創) 未来三学期想要修的课 (日記)
  • (转)详解PHP处理密码的几种方式
  • (自用)learnOpenGL学习总结-高级OpenGL-抗锯齿
  • ******IT公司面试题汇总+优秀技术博客汇总
  • .gitignore文件设置了忽略但不生效
  • .Net Core webapi RestFul 统一接口数据返回格式
  • .net refrector
  • .NET 实现 NTFS 文件系统的硬链接 mklink /J(Junction)
  • .net 使用ajax控件后如何调用前端脚本
  • .net 中viewstate的原理和使用
  • .NET企业级应用架构设计系列之开场白
  • .net通用权限框架B/S (三)--MODEL层(2)
  • @private @protected @public