当前位置： 首页 > news >正文

Spark on Hive和Hive on Spark的区别

news 来源：原创 2024/5/2 15:14:21

spark on hive :

    hive只作为存储角色，spark 负责sql解析优化，底层运行的还是sparkRDD

    具体可以理解为spark通过sparkSQL使用hive语句操作hive表，底层运行的还是sparkRDD，

    步骤如下：

            1.通过sparkSQL，加载Hive的配置文件，获取Hive的元数据信息

            2.获取到Hive的元数据信息之后可以拿到Hive表的数据

            3.通过sparkSQL来操作Hive表中的数据

hive on spark:

    hive既作为存储又负责sql的解析优化，spark负责执行

    这里Hive的执行引擎变成了spark，不再是MR。

    这个实现较为麻烦，必须重新编译spark并导入相关jar包

目前大部分使用spark on hive

相关文章：

  • java位运算例子
  • C#中的Tostring方法与例子
  • C#简单json实例
  • oracle时间日期函数
  • 多表连接(inner join on用法)
  • Oracle分页查询语句（一）
  • ORACLE分页查询语句_rownum（二）
  • Oracle的优化器
  • oracle的case函数控制结构DECODE()函数
  • JQuery入门简介
  • Js字符串操作函数大全
  • js 运算符 || 妙用
  • javascript获得url中的参数
  • 获取浏览器的高度和宽度
  • js省市级联
  • 【跃迁之路】【733天】程序员高效学习方法论探索系列（实验阶段490-2019.2.23）...
  • Android路由框架AnnoRouter：使用Java接口来定义路由跳转
  • - C#编程大幅提高OUTLOOK的邮件搜索能力!
  • Java 23种设计模式 之单例模式 7种实现方式
  • ReactNative开发常用的三方模块
  • Redis学习笔记 - pipline（流水线、管道）
  • RxJS 实现摩斯密码(Morse) 【内附脑图】
  • SpiderData 2019年2月16日 DApp数据排行榜
  • SpriteKit 技巧之添加背景图片
  • thinkphp5.1 easywechat4 微信第三方开放平台
  • 安卓应用性能调试和优化经验分享
  • 工作中总结前端开发流程--vue项目
  • 排序（1）：冒泡排序
  • 前端技术周刊 2018-12-10：前端自动化测试
  • 十年未变！安全，谁之责？（下）
  • 实习面试笔记
  • 详解NodeJs流之一
  • 用quicker-worker.js轻松跑一个大数据遍历
  • 中文输入法与React文本输入框的问题与解决方案
  • 【运维趟坑回忆录 开篇】初入初创, 一脸懵
  • 新年再起“裁员潮”，“钢铁侠”马斯克要一举裁掉SpaceX 600余名员工 ...
  • ​​​​​​​GitLab 之 GitLab-Runner 安装，配置与问题汇总
  • #define，static，const，三种常量的区别
  • （06）金属布线——为半导体注入生命的连接
  • （1）(1.13) SiK无线电高级配置（六）
  • （带教程）商业版SEO关键词按天计费系统：关键词排名优化、代理服务、手机自适应及搭建教程
  • （附源码）小程序儿童艺术培训机构教育管理小程序 毕业设计 201740
  • (十一)JAVA springboot ssm b2b2c多用户商城系统源码：服务网关Zuul高级篇
  • （详细版）Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models
  • (转)为C# Windows服务添加安装程序
  • (轉貼) 資訊相關科系畢業的學生，未來會是什麼樣子？(Misc)
  • ***汇编语言 实验16 编写包含多个功能子程序的中断例程
  • *2 echo、printf、mkdir命令的应用
  • .dwp和.webpart的区别
  • .NET6 开发一个检查某些状态持续多长时间的类
  • .NET6使用MiniExcel根据数据源横向导出头部标题及数据
  • .NET开源项目介绍及资源推荐：数据持久层
  • [ CTF ] WriteUp-2022年春秋杯网络安全联赛-冬季赛
  • [ linux ] linux 命令英文全称及解释
  • [2019.3.5]BZOJ1934 [Shoi2007]Vote 善意的投票