当前位置: 首页 > news >正文

eclipse提交运行spark应用

为什么80%的码农都做不了架构师?>>>   hot3.png


    Spark应用提交的一般方式就是,将程序打包成jar包后,再使用spark-submit 进行提交运行。

    那么有没有可能 直接用eclipse提交运行spark应用呢?

    答案当然是可以的!

    本人环境是这样的:有一个spark集群, 一台独立的开发机器运行eclipse

    (1) 开发语言scala

    (2) 构建工具sbt

    开发过程中需要注意一下两点:

    (1) 代码编写完成后,使用sbt进行打包。

    (2) 在代码中添加以下代码:

     (注意:由于我写的是spark streaming程序所以,用的是StreamingContext,该对象中有SparkContext属性)

val ssc = new StreamingContext(sparkConf, Seconds(1))
ssc.sparkContext.addJar("F:\\spark-scala-wordcount-network-assembly-1.0.jar")



    该代码的作用是什么呢,其实想象下不难理解,我们要在eclipse下运行spark应用,即driver也是在eclipse下运行,那么具体的分析代码如何传给spark的worker节点呢,所以我们需要将应用代码jar包,通过sparkContext进行上传,从而worker端才能执行。 否则会包NoClassFound异常的。

      

       最后补充一下:

         在使用eclipse直接运行spark应用的时候,可能会出现一下异常

  Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

         当出现以上警告信息的时候,那么原因可能是:

        (1) SPark资源可能真的不够了,注意添加资源

        (2) spark集群中的节点上 没有配置eclipse所在机器域名的IP信息。 需要在各个节点的/etc/hosts配置域名到IP的映射。

转载于:https://my.oschina.net/yjwxh/blog/602623

相关文章:

  • Storm官方文档翻译之在生产环境集群中运行Topology
  • stringstream读取空格作为分隔符的文件
  • javascript获取当前url中的參数
  • 【C++探索之旅】第一部分第五课:简易计算器
  • HTTP状态码搜集
  • 23333 又是一篇水文章(以下是各种复制来的关于maven转成eclipse项目)
  • SQL Server 2016 查询存储(Query Store)介绍
  • Android 破解之道 (二)
  • 交换两个变量的四种方案(面试题)
  • 【转】共享经济是临时工的增量市场?
  • RecyclerView基础
  • JavaEE Tutorials (8) - Java持久化API介绍
  • 4.4 Routing -- Specifying A Route's Model
  • centos 7 更改网卡名,主机名,虚拟机添加网卡
  • linux运维实战练习-2016年1月19日-2月3日课程作业
  • ----------
  • CNN 在图像分割中的简史:从 R-CNN 到 Mask R-CNN
  • Cookie 在前端中的实践
  • JAVA之继承和多态
  • nodejs:开发并发布一个nodejs包
  • node学习系列之简单文件上传
  • Redis在Web项目中的应用与实践
  • vue-router的history模式发布配置
  • 汉诺塔算法
  • 面试遇到的一些题
  • 排序算法学习笔记
  • 前端面试之闭包
  • 三分钟教你同步 Visual Studio Code 设置
  • 项目管理碎碎念系列之一:干系人管理
  • 小程序开发中的那些坑
  • 【运维趟坑回忆录】vpc迁移 - 吃螃蟹之路
  • ​iOS安全加固方法及实现
  • #传输# #传输数据判断#
  • #调用传感器数据_Flink使用函数之监控传感器温度上升提醒
  • #我与Java虚拟机的故事#连载12:一本书带我深入Java领域
  • (20050108)又读《平凡的世界》
  • (9)YOLO-Pose:使用对象关键点相似性损失增强多人姿态估计的增强版YOLO
  • (分布式缓存)Redis分片集群
  • (强烈推荐)移动端音视频从零到上手(上)
  • (新)网络工程师考点串讲与真题详解
  • (原創) 如何讓IE7按第二次Ctrl + Tab時,回到原來的索引標籤? (Web) (IE) (OS) (Windows)...
  • (转)Java socket中关闭IO流后,发生什么事?(以关闭输出流为例) .
  • (转)Unity3DUnity3D在android下调试
  • (转)关于多人操作数据的处理策略
  • .360、.halo勒索病毒的最新威胁:如何恢复您的数据?
  • .dat文件写入byte类型数组_用Python从Abaqus导出txt、dat数据
  • .Net MVC + EF搭建学生管理系统
  • [ JavaScript ] JSON方法
  • [AAuto]给百宝箱增加娱乐功能
  • [Asp.net MVC]Bundle合并,压缩js、css文件
  • [BZOJ5125]小Q的书架(决策单调性+分治DP+树状数组)
  • [caffe(二)]Python加载训练caffe模型并进行测试1
  • [codeforces]Levko and Permutation
  • [ios] IOS文件操作的两种方式:NSFileManager操作和流操作【转】
  • [Java]快速入门二叉树,手撕相关面试题