当前位置: 首页 > news >正文

Job 和 DaemonSet

一、Job

1Job 背景问题

K8s 里,最小的调度单元是 Pod,如果直接通过 Pod 来运行任务进程,会产生以下几种问题:

如何保证 Pod 内进程正确的结束?

如何保证进程运行失败后重试?

如何管理多个任务,且任务之间有依赖关系?

如何并行地运行任务,并管理任务的队列大小?

2Job:管理任务的控制器

Kubernetes 的 Job 为我们提供了什么功能:

创建一个或多个Pod确保指定数量的Pod可以成功地运行终止;

跟踪Pod状态,根据配置及时重试失败的 Pod;

确定依赖关系,保证上一个任务运行完毕后再运行下一个任务;

控制任务并行度,并根据配置确保Pod 队列大小。

3、Job 解读:

(1) Job 语法:

① metadata 里面的 name 指定这个 Job 的名称,spec.template 是 pod 的 spec。

② restartPolicy 重启策略:

在 Job 里面可以设置 Never、OnFailure、Always 这三种重试策略。

Never 表示不会重启 Pod,即使 Pod 失败也不会重启。

OnFailure 表示只有在 Pod 失败时才会重启。

Always 表示无论何时,都会尝试重启 Pod,即使它已经成功运行。

③ backoffLimit 重试次数限制:

Job 在运行的时候不可能去无限的重试,需要一个参数来控制重试的次数。backoffLimit 就是来保证一个 Job 到底能重试多少次。

(2) 查看 Job 状态:

Job 创建完成之后,可以通过 kubectl get jobs 这个命令,查看当前 job 的运行状态。

(3) 查看 Pod:

通过 Job 创建出来的 Pod 比普通的 Pod 多了一个 ownerReferences,用来声明此 pod 是归哪个上一层 controller 来管理。可以通过 pod 返查到它的控制器是谁,同时也能根据 Job 来查一下它下属有哪些 Pod。

(4) 并行 Job:

Job 控制器可以并行出 n 个 Pod 去快速地执行,同时设置并行度。

主要看两个参数:一个是 completions,一个是 parallelism。

第一个参数是用来指定 Pod 队列执行次数。可以把它认为是这个 Job 指定的可以运行的总次数。比如这里设置成 8,即这个任务一共会被执行 8 次。

第二个参数代表这个并行执行的个数。所谓并行执行的次数,就是一个管道或者缓冲器中缓冲队列的大小,把它设置成 2,就是说这个 Job 要执行 8 次,每次并行 2 个 Pod,这样的话,一共会执行 4 个批次。

(5) Cronjob

CronJob,也叫定时运行 Job。它可以设计一个时间决定 Job 在几点几分执行。

① schedule:这个字段主要设置时间格式。

② startingDeadlineSeconds:每次运行 Job 的时候,它最长可以等多长时间,如果超过时间,CronJob 就会停止这个 Job。

③ concurrencyPolicy:是否允许并行运行。如果这个 policy 设置为 true 的话,不管前面的 Job 是否运行完成,下一个 Job 都会去执行;如果是 false,它就会等上一个 Job 运行完成之后才会运行下一个。

④ JobsHistoryLimit:每一次 CronJob 运行完之后,它都会遗留上一个 Job 的运行历史、查看时间。可以根据需要设置历史存留数,一般可以设置默认 10 个或 100 个。

二、DaemonSet

1DaemonSet 背景问题

如何保证每个节点都运行一个pod?

如果新节点加入集群,如何感知并部署对应的Pod?

如果有节点退出,如何删除对应的Pod?

如果Pod状态异常,如何监控并恢复Pod的状态 ?

2DaemonSet 功能:

保证集群内每一个(或者一些)节点都运行一组相同的 Pod;

跟踪集群节点状态,保证新加入的节点自动创建对应的 Pod;

跟踪集群节点状态,保证移除的节点删除对应的 Pod;

跟踪 Pod 状态,保证每个节点 Pod 处于运行状态。

3、DaemonSet 语法:

(1) 查看 DaemonSet 状态:

创建完 DaemonSet 之后,我们可以使用 kubectl get DaemonSet(DaemonSet 缩写为 ds)

(2) 更新 DaemonSet:

DaemonSet 有两种更新策略:一个是 RollingUpdate,另一个是 OnDelete

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • MySQL安装教程(详细版)
  • JavaScript:防抖与节流
  • C# 中的回调函数
  • 【笔记】【算法设计与分析 - 北航童咏昕教授】绪论
  • v-rep插件
  • AWS Elastic Beanstalk通过单实例配置https
  • 【STM32 CubeMX】adxl345加速度传感器
  • 面试经典150题 -- 链表 (总结)
  • EasyCaptcha,开源图形验证码新标杆!
  • 软件测试进阶自动化测试流程
  • 人工智能_普通服务器CPU_安装清华开源人工智能AI大模型ChatGlm-6B_001---人工智能工作笔记0096
  • Write operation failed: computed value is readonly问题解决
  • 【小沐学GIS】基于C++QT绘制三维数字地球Earth(OpenGL)
  • VMware还原Windows11 ghost镜像
  • 【leetcode】贪心算法介绍
  • canvas实际项目操作,包含:线条,圆形,扇形,图片绘制,图片圆角遮罩,矩形,弧形文字...
  • Cumulo 的 ClojureScript 模块已经成型
  • ES6系列(二)变量的解构赋值
  • Java Agent 学习笔记
  • JavaScript的使用你知道几种?(上)
  • JS学习笔记——闭包
  • Linux编程学习笔记 | Linux多线程学习[2] - 线程的同步
  • Material Design
  • vue中实现单选
  • Zsh 开发指南(第十四篇 文件读写)
  • 分布式事物理论与实践
  • 构建工具 - 收藏集 - 掘金
  • 前端性能优化--懒加载和预加载
  • 远离DoS攻击 Windows Server 2016发布DNS政策
  • 在Docker Swarm上部署Apache Storm:第1部分
  • shell使用lftp连接ftp和sftp,并可以指定私钥
  • ​​​​​​​Installing ROS on the Raspberry Pi
  • ​埃文科技受邀出席2024 “数据要素×”生态大会​
  • ​渐进式Web应用PWA的未来
  • ‌‌雅诗兰黛、‌‌兰蔻等美妆大品牌的营销策略是什么?
  • # Kafka_深入探秘者(2):kafka 生产者
  • %3cli%3e连接html页面,html+canvas实现屏幕截取
  • (12)目标检测_SSD基于pytorch搭建代码
  • (ISPRS,2021)具有遥感知识图谱的鲁棒深度对齐网络用于零样本和广义零样本遥感图像场景分类
  • (MIT博士)林达华老师-概率模型与计算机视觉”
  • (Spark3.2.0)Spark SQL 初探: 使用大数据分析2000万KF数据
  • (六)库存超卖案例实战——使用mysql分布式锁解决“超卖”问题
  • (七)微服务分布式云架构spring cloud - common-service 项目构建过程
  • (三)elasticsearch 源码之启动流程分析
  • (四)库存超卖案例实战——优化redis分布式锁
  • (转)淘淘商城系列——使用Spring来管理Redis单机版和集群版
  • (转)用.Net的File控件上传文件的解决方案
  • (转贴)用VML开发工作流设计器 UCML.NET工作流管理系统
  • (转载)微软数据挖掘算法:Microsoft 时序算法(5)
  • (自用)learnOpenGL学习总结-高级OpenGL-抗锯齿
  • .net 连接达梦数据库开发环境部署
  • .NET8使用VS2022打包Docker镜像
  • .NET应用UI框架DevExpress XAF v24.1 - 可用性进一步增强
  • @angular/cli项目构建--http(2)
  • @data注解_一枚 架构师 也不会用的Lombok注解,相见恨晚