当前位置: 首页 > news >正文

Flink程序部署与提交

前言

我们看门见山,生产环境一般用的是在YARN上面采用应用模式进行部署flink程序。实际生产中一般需要和资源管理平台(如YARN)结合起来,选择特定的模式来分配资源、部署应用。

部署模式

在一些应用场景中,对于集群资源分配和占用的方式,可能会有特定的需求。Flink 为各
种场景提供了不同的部署模式,主要有以下三种:

  • 会话模式(Session Mode)
  • 单作业模式(Per-Job Mode)
  • 应用模式(Application Mode)

它们的区别主要在于:

  • 集群的生命周期以及资源的分配方式;
  • 以及应用的 main 方法到底在哪里执行——客户端(Client)还是 JobManager。接下来我们就做一个展开说明。

1. 会话模式(Session Mode)
会话模式其实最符合常规思维。我们需要先启动一个集群,保持一个会话,在这个会话中
通过客户端提交作业,如图 所示。集群启动时所有资源就都已经确定,所以所有提交的
作业会竞争集群中的资源。

在这里插入图片描述

(1)优点
只需要一个集群,所有作业都这个集群提交,作业结束直接释放资源,集群依然正常运行。

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • redis入门
  • python通讯和文件打包解包之struct
  • easyexcel--导入导出实现自定义格式转换
  • 基于树莓派的智能AI网关接入豆包流程:HTTP/HTTPS、MQTT、Flask、Web可视化(代码示例)
  • 【Linux修行路】文件系统之缓冲区
  • 深度解析敏捷架构在数字时代的应用:创新理论与实践的融合
  • 石油采集行业应用解决方案
  • CSP 2023 普及组第一轮 - CSP/S 2023初试题 完善程序第二题解析
  • 如何为您的专用IP地址选择正确的IP SSL证书
  • java项目部署到linux
  • MySQL 多表连接(JOIN)
  • Leetcode-552 学生出勤记录II
  • 如何在 KubeBlocks 中配置实例模板?
  • Spring之@Bean注解
  • MySQL 如何保证事务的原子性
  • -------------------- 第二讲-------- 第一节------在此给出链表的基本操作
  • [译] 怎样写一个基础的编译器
  • PHP CLI应用的调试原理
  • Python利用正则抓取网页内容保存到本地
  • Vue官网教程学习过程中值得记录的一些事情
  • Webpack4 学习笔记 - 01:webpack的安装和简单配置
  • 官方新出的 Kotlin 扩展库 KTX,到底帮你干了什么?
  • 理解在java “”i=i++;”所发生的事情
  • 你不可错过的前端面试题(一)
  • 漂亮刷新控件-iOS
  • 前端
  • 深度学习入门:10门免费线上课程推荐
  • 推荐一个React的管理后台框架
  • 验证码识别技术——15分钟带你突破各种复杂不定长验证码
  • ​LeetCode解法汇总1410. HTML 实体解析器
  • ​sqlite3 --- SQLite 数据库 DB-API 2.0 接口模块​
  • ‌分布式计算技术与复杂算法优化:‌现代数据处理的基石
  • # 数仓建模:如何构建主题宽表模型?
  • #微信小程序(布局、渲染层基础知识)
  • (16)UiBot:智能化软件机器人(以头歌抓取课程数据为例)
  • (21)起落架/可伸缩相机支架
  • (env: Windows,mp,1.06.2308310; lib: 3.2.4) uniapp微信小程序
  • (保姆级教程)Mysql中索引、触发器、存储过程、存储函数的概念、作用,以及如何使用索引、存储过程,代码操作演示
  • (不用互三)AI绘画工具应该如何选择
  • (二)十分简易快速 自己训练样本 opencv级联lbp分类器 车牌识别
  • (附源码)spring boot校园拼车微信小程序 毕业设计 091617
  • (附源码)springboot太原学院贫困生申请管理系统 毕业设计 101517
  • (机器学习的矩阵)(向量、矩阵与多元线性回归)
  • (南京观海微电子)——COF介绍
  • (数据大屏)(Hadoop)基于SSM框架的学院校友管理系统的设计与实现+文档
  • (转)PlayerPrefs在Windows下存到哪里去了?
  • (转)Scala的“=”符号简介
  • (转)机器学习的数学基础(1)--Dirichlet分布
  • (最优化理论与方法)第二章最优化所需基础知识-第三节:重要凸集举例
  • **CI中自动类加载的用法总结
  • ..回顾17,展望18
  • .Net Core 中间件与过滤器
  • .NET 材料检测系统崩溃分析
  • .net打印*三角形
  • .Net通用分页类(存储过程分页版,可以选择页码的显示样式,且有中英选择)