当前位置： 首页 > news >正文

spark 3.0.0源码环境搭建

news 来源：原创 2024/9/21 14:53:47

环境

Spark版本：3.0.0
java版本：1.8
scala版本：2.12.19
Maven版本：3.8.1

编译spark

将spark-3.0.0的源码导入到idea中
执行mvn clean package -Phive -Phive-thriftserver -Pyarn -DskipTests

执行sparksql示例类SparkSQLExample

运行成功

遇到的问题

缺少parse包的类


parse包的类是ANTLR工具生成的，确认idea的插件已经安装了。
image.png
找到sql包下面的SqlBase.g4文件，右键执行生成文件。最后生成的文件在gen目录下，创建一个新的包org.apache.spark.sql.catalyst.parser，将生成的文件都复制到这个包下面。

image.pngscala.reflect包的类缺失


在spark-example模块的依赖加上scala-reflect的jar包

在运行界面上，选中‘将带有provided依赖加入路径’

没有spark版本文件


spark版本文件是spark-build-info.sh文件生成的

我们可以手动在创建spark-version-info.properties文件，写上版本

Master URL没有指定


代码中加上master的配置

ANTLR版本不对

image.png
在对应plugin中找到插件主页。

在主页中找到对应版本的插件下载

手动安装下载的插件

相关文章：

  • 北京网站建设多少钱？
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • Lua编程
  • LinuxCentos中安装apache网站服务详细教程
  • Vue中!.和?.是什么意思
  • Thinkphp仿华为商城源码/红色风格电脑手机数码商城系统网站源码
  • C++要点总结_02_表达式与语句
  • mongodb数据库运维之创建数据库及赋权限
  • 【解决方案】华普微汽车智能钥匙解决方案
  • 【2024蓝桥杯/C++/B组/传送阵】
  • 小程序开发_05
  • Vue 3 中使用 InMap 绘制热力图
  • kubernetes管理GUI工具Lens
  • 嵌入式软件工程师面试：RTOS相关问题全攻略
  • vue路由跳转时改变路由参数组件不渲染问题【已解决】
  • opencascade AIS_MouseGesture AIS_MultipleConnectedInteractive源码学习
  • 回溯---组合
  • [译]前端离线指南（上）
  • 【159天】尚学堂高琪Java300集视频精华笔记（128）
  • 77. Combinations
  • EventListener原理
  • gitlab-ci配置详解(一)
  • java第三方包学习之lombok
  • JS进阶 - JS 、JS-Web-API与DOM、BOM
  • PHP 小技巧
  • ReactNativeweexDeviceOne对比
  • 罗辑思维在全链路压测方面的实践和工作笔记
  • 前端存储 - localStorage
  • 前端每日实战：61# 视频演示如何用纯 CSS 创作一只咖啡壶
  • 前端知识点整理（待续）
  • 前嗅ForeSpider教程：创建模板
  • 深度解析利用ES6进行Promise封装总结
  • 我的面试准备过程--容器(更新中)
  • 一文看透浏览器架构
  • Oracle Portal 11g Diagnostics using Remote Diagnostic Agent (RDA) [ID 1059805.
  • No resource identifier found for attribute,RxJava之zip操作符
  • Spring Batch JSON 支持
  • # .NET Framework中使用命名管道进行进程间通信
  • #我与Java虚拟机的故事#连载07：我放弃了对JVM的进一步学习
  • $.each()与$(selector).each()
  • (1)bark-ml
  • （11）MATLAB PCA+SVM 人脸识别
  • (2024)docker-compose实战 (8)部署LAMP项目(最终版)
  • （4）logging（日志模块）
  • （C#）一个最简单的链表类
  • （day 12）JavaScript学习笔记（数组3）
  • (delphi11最新学习资料) Object Pascal 学习笔记---第13章第1节 （全局数据、栈和堆）
  • (差分)胡桃爱原石
  • （二）【Jmeter】专栏实战项目靶场drupal部署
  • (附源码)springboot宠物管理系统 毕业设计 121654
  • (五)IO流之ByteArrayInput/OutputStream
  • （转）原始图像数据和PDF中的图像数据
  • (转载)Linux 多线程条件变量同步
  • **PHP二维数组遍历时同时赋值
  • 、写入Shellcode到注册表上线
  • .bat批处理（九）：替换带有等号=的字符串的子串
  • .net core + vue 搭建前后端分离的框架