当前位置： 首页 > news >正文

编译cdh的spark，使得支持spark-sql

news 来源：原创 2024/5/17 16:50:02

为什么80%的码农都做不了架构师？>>>   hot3.png

cloudera公司集成的spark是不带spark-sql的，如果需要让cdh的spark支持spark-sql，需要重新编译spark

网上有参考资料，大概步骤是编译，替换jar包，把spark-sql的shell脚本放到bin目录下，注意，还有可能需要更改/opt/cloudera/parcels/CDH/lib/spark/conf/classpath.txt，这个文件里面就是spark有那些jar包和包路径。

参考：CDH5.5自行编译支持sparkSQL，sparkR   重新编译spark 增加spark-sql适配CDH

转载于:https://my.oschina.net/cjun/blog/727883

相关文章：

  • Asp.net WebPages框架运行原理浅析(转)
  • 【Qt笔记】使用 QJsonDocument 处理 JSON
  • iOS - UILabel
  • html-table tbody加滚动条
  • vuex 学习笔记 01
  • Eclipse中web项目的默认发布路径改为外部Tomcat中webapp路径
  • 【NOIP】提高组2013 货车运输
  • AngularJS 用 Interceptors 来统一处理 HTTP 请求和响应
  • Ubuntu16.04 安装wine下的QQ
  • 1-2 ARM概况
  • 大数据美食——寻找地图上的美味
  • 使用python+hadoop-streaming编写hadoop处理程序
  • php ci框架整合银盛支付
  • SQL Server编程（06）触发器
  • 关于写东西
  • 10个最佳ES6特性 ES7与ES8的特性
  • ABAP的include关键字，Java的import, C的include和C4C ABSL 的import比较
  • AHK 中 = 和 == 等比较运算符的用法
  • Akka系列（七）：Actor持久化之Akka persistence
  • Android优雅地处理按钮重复点击
  • flutter的key在widget list的作用以及必要性
  • Intervention/image 图片处理扩展包的安装和使用
  • V4L2视频输入框架概述
  • 对话 CTO〡听神策数据 CTO 曹犟描绘数据分析行业的无限可能
  • 多线程 start 和 run 方法到底有什么区别？
  • 复习Javascript专题（四）：js中的深浅拷贝
  • 力扣(LeetCode)965
  • 使用docker-compose进行多节点部署
  • 消息队列系列二（IOT中消息队列的应用）
  • 正则表达式-基础知识Review
  • #162 (Div. 2)
  • #NOIP 2014# day.1 生活大爆炸版 石头剪刀布
  • #NOIP 2014# day.2 T2 寻找道路
  • ＃在线报价接单​再坚持一下 明天是真的周六.出现货 实单来谈
  • （9）目标检测_SSD的原理
  • （JSP）EL——优化登录界面，获取对象，获取数据
  • （附源码）springboot“微印象”在线打印预约系统 毕业设计 061642
  • （附源码）ssm经济信息门户网站 毕业设计 141634
  • （论文阅读31/100）Stacked hourglass networks for human pose estimation
  • （一）Dubbo快速入门、介绍、使用
  • (转)Linux下编译安装log4cxx
  • （转）nsfocus-绿盟科技笔试题目
  • (转)为C# Windows服务添加安装程序
  • （转）一些感悟
  • （转载）Linux网络编程入门
  • ******IT公司面试题汇总+优秀技术博客汇总
  • .Net - 类的介绍
  • .Net Core/.Net6/.Net8 ，启动配置/Program.cs 配置
  • .NET Core引入性能分析引导优化
  • .NET delegate 委托 、 Event 事件,接口回调
  • .net 调用php,php 调用.net com组件 --
  • .NET设计模式（2）：单件模式（Singleton Pattern）
  • [ C++ ] STL priority_queue(优先级队列)使用及其底层模拟实现，容器适配器，deque(双端队列)原理了解
  • [ C++ ] 继承
  • [ HTML + CSS + Javascript ] 复盘尝试制作 2048 小游戏时遇到的问题