当前位置: 首页 > news >正文

将hdfs 上的文件通过shell脚本 导入到hive上面

一个应用的数据来源从PostgreSql导入到hdfs 需要使用API来定义这样做的好处就是一次写入永久执行
而从hdfs导入到hive表中有多种方式
shell 脚本算一种
在整个应用构建中 处于一个新的模块中
通过new新的文件因为是类sql(导入到hive上)所以文件格式为xxx.hql
整个项目创建或许会产生很多文件 所以对与命名上也需要按照一定的格式xx_yy_zz.hql
xx 表示当前所在文件夹文件名
yy表示所建立的表名与内容性质相关
zz是按照怎样的分区分桶格式如yyyyMMdd 表示按天分区的

drop table if exists ods_company_${yyyymmdd};
create external table ods_company_${yyyymmdd}(
company_id int
,company_address string
,company_attr string
,company_boss string
,company_name string
,company_phone string
)stored as parquet
location '/sqoop/btrip_pg/${yyyymmdd}/tb_company'

${yyyymmdd} 为日期这样保证存储在hdfs上的数据可以与表相对应,

location位置和将PostgreSql上的数据导入到hdfs上的输出文件路径一致

相关文章:

  • 浅谈双绞线在视频监控系统中的实际应用
  • [linux] C语言Linux系统编程进程基本概念
  • Solr部署到tomcat,通过war包
  • FreeTextBox使用详解
  • 《Unity3D 实战核心技术详解》书中关于矩阵的错误
  • CSS3无图片实现华丽折页菜单效果(多浏览器兼容)
  • Intellij IDEA 2017.3 基于编辑器的REST客户端介绍
  • 让集成的Intel82845g支持1440x900
  • ubuntu 下面手动创建引用程序启动项(转)
  • [LeetCode] Copy List with Random Pointer 拷贝带有随机指针的链表
  • UIM卡 PIN 码特点
  • 详解在visual studio中使用git版本系统(图文)
  • 我来做百科(第五天)
  • POJ-1502 MPI Maelstrom
  • Oracle -- 字符集编码'GBK'库数据导入到'UFT-8'库中 大量报错 ORA-12899 解决方案
  • 5、React组件事件详解
  • Angular Elements 及其运作原理
  • canvas 高仿 Apple Watch 表盘
  • CNN 在图像分割中的简史:从 R-CNN 到 Mask R-CNN
  • CODING 缺陷管理功能正式开始公测
  • CSS居中完全指南——构建CSS居中决策树
  • Java到底能干嘛?
  • php面试题 汇集2
  • V4L2视频输入框架概述
  • vue-cli在webpack的配置文件探究
  • 从@property说起(二)当我们写下@property (nonatomic, weak) id obj时,我们究竟写了什么...
  • 给github项目添加CI badge
  • 思否第一天
  • 探索 JS 中的模块化
  • 格斗健身潮牌24KiCK获近千万Pre-A轮融资,用户留存高达9个月 ...
  • 小白应该如何快速入门阿里云服务器,新手使用ECS的方法 ...
  • 新海诚画集[秒速5センチメートル:樱花抄·春]
  • ​​​​​​​ubuntu16.04 fastreid训练过程
  • ​LeetCode解法汇总518. 零钱兑换 II
  • ​软考-高级-系统架构设计师教程(清华第2版)【第15章 面向服务架构设计理论与实践(P527~554)-思维导图】​
  • !$boo在php中什么意思,php前戏
  • (03)光刻——半导体电路的绘制
  • (1)Android开发优化---------UI优化
  • (C++17) optional的使用
  • (html5)在移动端input输入搜索项后 输入法下面为什么不想百度那样出现前往? 而我的出现的是换行...
  • (附源码)python房屋租赁管理系统 毕业设计 745613
  • (附源码)计算机毕业设计ssm-Java网名推荐系统
  • (论文阅读32/100)Flowing convnets for human pose estimation in videos
  • (南京观海微电子)——I3C协议介绍
  • (正则)提取页面里的img标签
  • .mysql secret在哪_MYSQL基本操作(上)
  • .NET Core 控制台程序读 appsettings.json 、注依赖、配日志、设 IOptions
  • .NET Core 实现 Redis 批量查询指定格式的Key
  • .net core开源商城系统源码,支持可视化布局小程序
  • .NET/C# 使用 ConditionalWeakTable 附加字段(CLR 版本的附加属性,也可用用来当作弱引用字典 WeakDictionary)
  • .net网站发布-允许更新此预编译站点
  • .Net中的设计模式——Factory Method模式
  • .set 数据导入matlab,设置变量导入选项 - MATLAB setvaropts - MathWorks 中国
  • @vue/cli脚手架
  • [<MySQL优化总结>]