当前位置: 首页 > news >正文

大数据Flink(一百零九):阿里云Flink的基本名称概念

文章目录

阿里云Flink的基本名称概念

一、层次结构

二、​​​​​​​​​​​​​​概念说明

1、工作空间(Workspace)

2、项目空间(Namespace)

3、资源(Resource)

4、草稿(Draft)

5、部署(Deployment)

6、作业实例(Job)

7、集群(Cluster)

8、连接器(Connector)

9、函数(Function)

10、元数据(Catalog)

11、角色(Role)

12、成员(User)


阿里云Flink的基本名称概念

一、​​​​​​​​​​​​​​层次结构

通过了解实时计算Flink版产品基本概念的层次结构,为后期作业开发、作业部署、作业运维和安全管理等操作提供思路。实时计算Flink版产品基本概念的层次结构如下图所示。

二、​​​​​​​​​​​​​​概念说明

1、工作空间(Workspace)

工作空间是Flink全托管管理项目空间的基本单元,每个工作空间的计算资源隔离,开发控制台相互独立。

重要:创建成功后工作空间名称和OSS存储地址不可修改。

2、项目空间(Namespace)

项目空间是Flink全托管管理作业的基本单元,我们的所有配置、作业、权限均在单个项目空间下进行。我们可以创建多个项目空间,为每个项目空间分配单独的资源和权限,实现多租户通过项目空间进行资源和权限的完全隔离。

3、资源(Resource)

Flink全托管的基本计量单位为Compute Unit(CU),即计算资源,1 CU=1核CPU+4 GiB内存+20 GB本地存储(放置日志、系统检查点等信息)

CU对应实时计算底层系统的CPU计算能力。1个实时计算作业的CU使用量取决于此Job输入数据流的QPS、计算复杂程度,以及具体的输入数据分布情况。我们可以根据业务规模以及实时计算的计算能力,估算所需购买的资源数量。

4、草稿(Draft)

在实时计算Flink版SQL开发界面中创建的SQL作业称为草稿。该概念只适用于通过实时计算控制台方式进行作业开发,不适用于SDK方式。

5、部署(Deployment)

为了避免修改草稿中的内容会影响到线上正在运行的作业,提出了部署(Deployment)概念,目的是将开发和生产隔离,SQL开发中的作业草稿、上传的JAR和Python包都可以成为部署。通过部署使草稿变为线上作业,具有确定的流批属性。该概念只适用于通过实时计算控制台和SDK方式进行的作业开发。

6、作业实例(Job)

线上运行的一个作业实例,由部署生成,具有确定的流批属性。

7、集群(Cluster)

集群为作业上线后的运行环境,以内存速度和任何规模执行计算。Flink全托管支持Per-Job集群和Session集群两种集群模式,分别用于正式和测试开发环境。

8、连接器(Connector)

实时计算Flink版内置了丰富的连接器用于多种上下游的数据读写与同步,并支持上传和使用自定义连接器。

9、函数(Function)

实时计算Flink版提供函数功能,包括内置函数和自定义函数。

10、元数据(Catalog)

数据处理最关键的方面之一是管理元数据,实时计算Flink版的元数据提供了元数据信息,例如数据库、表、字段、分区以及数据库或其他外部系统中存储的信息。

11、角色(Role)

角色是实时计算Flink版安全功能中的概念,可以理解为拥有相同权限的用户的集合。多个用户可以同时存在于一个角色下,一个用户也可以隶属于多个角色。给角色授权后,该角色下的所有用户拥有相同的权限。

12、成员(User)

成员是实时计算Flink版安全功能中的概念,支持将阿里云账号和RAM用户添加为成员。非实时计算Flink项目所有者的成员必须被加入实时计算Flink项目中,且被授予相应的权限,才能操作实时计算Flink项目中的数据、作业、资源及函数。


  • 📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 保障速度与安全合规的前提下,如何传文件到国外?
  • 【解压既玩】PS3模拟器v0.0.32+战神3+战神升天+各存档 整合包 ,完美不死机,没有BUG,旷世神作,强力推荐
  • AI编程工具合集整理优缺点
  • HarmonyOS Developer之生命周期
  • Java设计模式-单例模式最佳实践
  • 第26课 Scratch入门篇:乘坐公交车
  • 服务器CPU天梯图2024年8月,含EYPC/至强及E3/E5
  • 使用 Java Swing 创建一个最大公约数计算器 GUI 应用
  • 【Linux】输入输出重定向
  • vue3组件之间通讯
  • 华为OD-D卷游戏分组
  • keepalived+lvs高可用负载均衡集群配置方案
  • MATLAB算法实战应用案例精讲-【数模应用】均值z 检验(附R语言、python和MATLAB代码实现)
  • Otter Go 语言编写的非竞争式缓存库
  • 8月5日学习笔记 glibc安装与安全用户角色权限
  • [LeetCode] Wiggle Sort
  • 《Javascript数据结构和算法》笔记-「字典和散列表」
  • Brief introduction of how to 'Call, Apply and Bind'
  • centos安装java运行环境jdk+tomcat
  • gulp 教程
  • Java 9 被无情抛弃,Java 8 直接升级到 Java 10!!
  • Java IO学习笔记一
  • js操作时间(持续更新)
  • js正则,这点儿就够用了
  • MySQL主从复制读写分离及奇怪的问题
  • Netty 4.1 源代码学习:线程模型
  • python 装饰器(一)
  • react-core-image-upload 一款轻量级图片上传裁剪插件
  • Shell编程
  • Vue 2.3、2.4 知识点小结
  • Xmanager 远程桌面 CentOS 7
  • 从setTimeout-setInterval看JS线程
  • 从伪并行的 Python 多线程说起
  • 大数据与云计算学习:数据分析(二)
  • 那些被忽略的 JavaScript 数组方法细节
  • 如何将自己的网站分享到QQ空间,微信,微博等等
  • 我从编程教室毕业
  • 阿里云服务器购买完整流程
  • ​中南建设2022年半年报“韧”字当头,经营性现金流持续为正​
  • # 利刃出鞘_Tomcat 核心原理解析(八)-- Tomcat 集群
  • #vue3 实现前端下载excel文件模板功能
  • #Z2294. 打印树的直径
  • #每日一题合集#牛客JZ23-JZ33
  • #在线报价接单​再坚持一下 明天是真的周六.出现货 实单来谈
  • (1)Nginx简介和安装教程
  • (20050108)又读《平凡的世界》
  • (C语言)二分查找 超详细
  • (zt)基于Facebook和Flash平台的应用架构解析
  • (八)Flink Join 连接
  • (大众金融)SQL server面试题(1)-总销售量最少的3个型号的车及其总销售量
  • (每日持续更新)信息系统项目管理(第四版)(高级项目管理)考试重点整理 第13章 项目资源管理(七)
  • (南京观海微电子)——示波器使用介绍
  • (完整代码)R语言中利用SVM-RFE机器学习算法筛选关键因子
  • (一)WLAN定义和基本架构转
  • ******IT公司面试题汇总+优秀技术博客汇总