当前位置: 首页 > news >正文

serde

一、背景

1、当进程在进行远程通信时,彼此可以发送各种类型的数据,无论是什么类型的数据都会以二进制序列的形式在网络上传送。

     发送方需要把对象转化为字节序列才可在网络上传输,称为对象序列化;

     接收方则需要把字节序列恢复为对象,称为对象的反序列化。

2、Hive的反序列化是对key/value反序列化成hive table的每个列的值。

3、Hive可以方便的将数据加载到表中而不需要对数据进行转换,这样在处理海量数据时可以节省大量的时间。

二、技术细节

1、SerDe是Serialize/Deserilize的简称,目的是用于序列化和反序列化。

2、用户在建表时可以用自定义的SerDe或使用Hive自带的SerDe,SerDe能为表指定列,且对列指定相应的数据。

    创建指定SerDe表时,使用row format row_format参数

 

    ROW FORMAT SERDE
    'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
    WITH SERDEPROPERTIES (
   'field.delim'='\u0001',
   'serialization.format'='\u0001')
   STORED AS INPUTFORMAT
  'org.apache.hadoop.mapred.TextInputFormat'
  OUTPUTFORMAT
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';

 

转载于:https://www.cnblogs.com/hapyygril/p/10185010.html

相关文章:

  • 设计模式的学习(10)策略模式
  • RabbitMQ 发布订阅
  • json对象 按key排序
  • 蜂鸟运单系统架构及实现
  • .NET Core实战项目之CMS 第十二章 开发篇-Dapper封装CURD及仓储代码生成器实现
  • PythonR量化 金融之路
  • 第二十章:异步和文件I/O.(二十二)
  • 2018年度总结
  • 第二十章:异步和文件I/O.(二十三)
  • 使用.Net Core+IView+Vue集成上传图片功能
  • 三分钟教你同步 Visual Studio Code 设置
  • 《快速阅读术》
  • 容器中 Java 应用程序的内存和 CPU 如何分配?看这一篇就够了!
  • 北斗三号系列核心芯片
  • Hive日期函数笔记
  • CentOS从零开始部署Nodejs项目
  • Facebook AccountKit 接入的坑点
  • iOS筛选菜单、分段选择器、导航栏、悬浮窗、转场动画、启动视频等源码
  • Laravel5.4 Queues队列学习
  • Redis的resp协议
  • vue+element后台管理系统,从后端获取路由表,并正常渲染
  • vuex 学习笔记 01
  • 产品三维模型在线预览
  • 时间复杂度与空间复杂度分析
  • 使用 QuickBI 搭建酷炫可视化分析
  • 算法---两个栈实现一个队列
  • 我从编程教室毕业
  • 小试R空间处理新库sf
  • 怎样选择前端框架
  • 【云吞铺子】性能抖动剖析(二)
  • ​Linux Ubuntu环境下使用docker构建spark运行环境(超级详细)
  • !$boo在php中什么意思,php前戏
  • #gStore-weekly | gStore最新版本1.0之三角形计数函数的使用
  • #Js篇:单线程模式同步任务异步任务任务队列事件循环setTimeout() setInterval()
  • (+4)2.2UML建模图
  • (11)MSP430F5529 定时器B
  • (4)Elastix图像配准:3D图像
  • (多级缓存)缓存同步
  • (附源码)springboot优课在线教学系统 毕业设计 081251
  • (附源码)ssm基于web技术的医务志愿者管理系统 毕业设计 100910
  • (九)One-Wire总线-DS18B20
  • (四)linux文件内容查看
  • (已解决)vue+element-ui实现个人中心,仿照原神
  • (转)memcache、redis缓存
  • .NET core 自定义过滤器 Filter 实现webapi RestFul 统一接口数据返回格式
  • .NET Core跨平台微服务学习资源
  • .Net多线程总结
  • .NET基础篇——反射的奥妙
  • /var/spool/postfix/maildrop 下有大量文件
  • [Android 数据通信] android cmwap接入点
  • [BZOJ 4598][Sdoi2016]模式字符串
  • [C#] 我的log4net使用手册
  • [C]编译和预处理详解
  • [C++提高编程](三):STL初识
  • [Codeforces1137D]Cooperative Game