当前位置: 首页 > news >正文

Spark任务调度

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

Spark是分布式计算平台,最核心的就是他的任务调度体系。

DagSchedule的作用

最主要方法是SubmitJob。负责Job的调度,Job划分成多个Stage,每个Stage设置一个TaskSetManager,管理多个Task。调度TaskSchedulerImpl执行Task。

TaskSchedulerImpl的作用

目前是TaskScheduler接口的唯一实现类。任务调度,以TaskSet为单位进行任务调度,每个TaskSet包含一组Task。TaskScheduler管理着TaskSetManager,而TaskSetManager管理着一组关联的Task的生命周期。

TaskSetManager

管理一组Task的生命周期,元数据等。

ScheduleBackEnd

各种Endpoint的实现类,负责在集群间传递任务调度的消息。

转载于:https://my.oschina.net/u/778683/blog/2991665

相关文章:

  • 阿里架构师教你如何设计一个 RPC 系统!
  • JS实现的四叉树算法详解
  • LeetCode算法题-Sum of Two Integers(Java实现)
  • 摩拜创始人胡玮炜也彻底离开了,共享单车行业还有未来吗?
  • 对于Ping的过程,你真的了解吗?
  • 05.java多线程问题
  • java8 -函数式编程之四个基本接口
  • 简单介绍接口自动化测试----数据驱动测试ddt
  • 云计算的拐点隐现 华为云开源两款容器技术
  • 记一份电网信息化建设企业信息分析平台规划
  • 如何快速批量建网站?
  • python3元类深入解读
  • 使用podspec创建iOS插件
  • Spring boot 添加日志 和 生成接口文档
  • 生成器13
  • [译] 怎样写一个基础的编译器
  • 2017年终总结、随想
  • 4个实用的微服务测试策略
  • 5、React组件事件详解
  • canvas 五子棋游戏
  • es6
  • Essential Studio for ASP.NET Web Forms 2017 v2,新增自定义树形网格工具栏
  • PyCharm搭建GO开发环境(GO语言学习第1课)
  • Python爬虫--- 1.3 BS4库的解析器
  • spring-boot List转Page
  • vue数据传递--我有特殊的实现技巧
  • zookeeper系列(七)实战分布式命名服务
  • 翻译:Hystrix - How To Use
  • 快速体验 Sentinel 集群限流功能,只需简单几步
  • #{} 和 ${}区别
  • #14vue3生成表单并跳转到外部地址的方式
  • #DBA杂记1
  • #NOIP 2014# day.1 T2 联合权值
  • #NOIP 2014#day.2 T1 无限网络发射器选址
  • #我与Java虚拟机的故事#连载07:我放弃了对JVM的进一步学习
  • (C#)Windows Shell 外壳编程系列4 - 上下文菜单(iContextMenu)(二)嵌入菜单和执行命令...
  • (Demo分享)利用原生JavaScript-随机数-实现做一个烟花案例
  • (Java实习生)每日10道面试题打卡——JavaWeb篇
  • (第二周)效能测试
  • (附源码)ssm基于jsp高校选课系统 毕业设计 291627
  • (接口自动化)Python3操作MySQL数据库
  • (十)DDRC架构组成、效率Efficiency及功能实现
  • (数位dp) 算法竞赛入门到进阶 书本题集
  • (转)jQuery 基础
  • (转)程序员技术练级攻略
  • ******之网络***——物理***
  • ./mysql.server: 没有那个文件或目录_Linux下安装MySQL出现“ls: /var/lib/mysql/*.pid: 没有那个文件或目录”...
  • .mat 文件的加载与创建 矩阵变图像? ∈ Matlab 使用笔记
  • .md即markdown文件的基本常用编写语法
  • .net MySql
  • .NET 除了用 Task 之外,如何自己写一个可以 await 的对象?
  • .net 设置默认首页
  • .NET/C# 将一个命令行参数字符串转换为命令行参数数组 args
  • :=
  • @DateTimeFormat 和 @JsonFormat 注解详解