当前位置: 首页 > news >正文

打包Scala jar 包的正确步骤

实验目的:打包可运行的scala jar,上传到spark集群,提交执行

1.idea中编译运行代码,可成功运行

2.修改2处代码
//只配置appName,其他配置项注释掉
val conf=new SparkConf()
.setAppName("pageRank")
//文件加载路径设为空,在提交执行时设置该参数
val inputPath=args(0)
val links=sc.textFile(inputPath)

3.如果已经打包过,需要删除main/java目录下的manifest.mf文件

Manifest-Version: 1.0
Main-Class: org.apache.spark.examples.wordcount

4.file->project structure->artifacts-> + jar->from modules with dependencies

5.删除多余的jar包(很重要)
只留下一个 :*** compile output
标明main class

6.build -> build artifacts->build/rebuild

打包成功后目录

7.注意 jar包提交到集群之前,需要手动删除 META-INF 文件夹中的 .mf文件!

 

转载于:https://www.cnblogs.com/moonlightml/p/9312192.html

相关文章:

  • docker python 配置
  • scala函数和方法的差别
  • 新CIO:Mark Schwartz认为的领先IT
  • 论文笔记:Variational Capsules for Image Analysis and Synthesis
  • 与 TensorFlow 的初次相遇
  • npm怎么配置下包最神速?
  • Docker折腾记: (1)构建yapi容器,从构建发布到可用
  • 新形式下触电新闻如何打造内容安全领域新标杆
  • 3.保安队的日子(下)我当程序员的那些事1
  • python3+selenium入门04-元素定位
  • RocketMQ概述
  • Go 语言的垃圾回收演化历程:垃圾回收和运行时问题
  • 第八课-第一讲 08_01_facl及用户及Linux终端
  • python学习日记2
  • Hybrid App 开发实践总结
  • [rust! #004] [译] Rust 的内置 Traits, 使用场景, 方式, 和原因
  • [微信小程序] 使用ES6特性Class后出现编译异常
  • “Material Design”设计规范在 ComponentOne For WinForm 的全新尝试!
  • 《微软的软件测试之道》成书始末、出版宣告、补充致谢名单及相关信息
  • 2017前端实习生面试总结
  • 2019年如何成为全栈工程师?
  • CSS 三角实现
  •  D - 粉碎叛乱F - 其他起义
  • Java 23种设计模式 之单例模式 7种实现方式
  • Javascript Math对象和Date对象常用方法详解
  • js作用域和this的理解
  • React-Native - 收藏集 - 掘金
  • scrapy学习之路4(itemloder的使用)
  • session共享问题解决方案
  • springboot_database项目介绍
  • vue2.0一起在懵逼的海洋里越陷越深(四)
  • 番外篇1:在Windows环境下安装JDK
  • 记录一下第一次使用npm
  • 利用DataURL技术在网页上显示图片
  • 面试总结JavaScript篇
  • 前端之React实战:创建跨平台的项目架构
  • 如何编写一个可升级的智能合约
  • 入职第二天:使用koa搭建node server是种怎样的体验
  • 提醒我喝水chrome插件开发指南
  • 我的业余项目总结
  • 原创:新手布局福音!微信小程序使用flex的一些基础样式属性(一)
  • 在GitHub多个账号上使用不同的SSH的配置方法
  • 3月27日云栖精选夜读 | 从 “城市大脑”实践,瞭望未来城市源起 ...
  • ​LeetCode解法汇总2696. 删除子串后的字符串最小长度
  • ​决定德拉瓦州地区版图的关键历史事件
  • # Swust 12th acm 邀请赛# [ K ] 三角形判定 [题解]
  • (day 12)JavaScript学习笔记(数组3)
  • (Matalb分类预测)GA-BP遗传算法优化BP神经网络的多维分类预测
  • (二)Eureka服务搭建,服务注册,服务发现
  • (分布式缓存)Redis分片集群
  • (附源码)springboot工单管理系统 毕业设计 964158
  • (深度全面解析)ChatGPT的重大更新给创业者带来了哪些红利机会
  • (十)T检验-第一部分
  • (中等) HDU 4370 0 or 1,建模+Dijkstra。
  • (转)linux自定义开机启动服务和chkconfig使用方法