当前位置: 首页 > news >正文

Flink的DataStream状态管理

目录

键控数据流(Keyed DataStream)

键控状态(Keyed State)

值状态(ValueState)

列表状态(ListState)

归约状态(ReducingState)

聚合状态(AggregatingState)

映射状态(MapState)

状态生存时间(TTL) 

算子状态(Operator State)

广播状态(Broadcast State)

实现CheckpointedFunction 使用算子状态


        对于DataStream来说,状态主要分为如下两类:

(1)键控状态(keyed state)

(2)算子状态(Operator State)

        说键控状态之前,不得不提键控数据流。

键控数据流(Keyed DataStream)

        如果希望使用键控状态(keyed state),首先需要在数据流上指定一个键,该键用于对状态(以及流本身中的记录)进行分区。您可以在数据流上使用Java/Scala API中的keyBy(KeySelector)或Python API中的key_by(KeySelector)来指定键。使用该方法后将产生一个键控流KeyedStream,它允许使用键控状态的算子。

        键选择器函数(key selector function)接受一条记录作为输入,并返回该记录的键。键可以是任何类型,并且必须从确定性计算中得到。

        Flink的数据模型不是基于键值对的。因此,不需要将数据集类型物理地打包到键和值中。键是“虚拟的”:它们被定义为实际数据上的函数,以指导分组算子。


相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 同城信息发布聚合小程序覆盖业态
  • 大数据机器学习算法岗位分析推荐:基于Python的招聘大数据爬虫可视化分析推荐系统
  • 在Docker容器中运行Java应用程序的性能优化技巧
  • Flink-DataWorks第二部分:数据集成(第58天)
  • 创意指南丨VR游览沉浸式空间体验
  • 排序算法——简单选择排序
  • 59 VXLAN+OSPF+l2vpn
  • QT多语言工具实现支持生成ts文件,ts文件和xlsx文件互转
  • 数据库规范化设计 5大基本原则
  • haproxy基础
  • Haproxy实现https
  • 使用Python解析pdf、docx等格式文件。
  • Google安装JSON-handle扩展
  • 以数字孪生技术推动网络资源管理升级
  • 力扣题解(按身高排序)
  • [nginx文档翻译系列] 控制nginx
  • 【翻译】Mashape是如何管理15000个API和微服务的(三)
  • C++类中的特殊成员函数
  • ES2017异步函数现已正式可用
  • es6要点
  • HTML5新特性总结
  • HTTP--网络协议分层,http历史(二)
  • iOS编译提示和导航提示
  • iOS帅气加载动画、通知视图、红包助手、引导页、导航栏、朋友圈、小游戏等效果源码...
  • Javascript基础之Array数组API
  • JS正则表达式精简教程(JavaScript RegExp 对象)
  • nginx 配置多 域名 + 多 https
  • node.js
  • zookeeper系列(七)实战分布式命名服务
  • 机器人定位导航技术 激光SLAM与视觉SLAM谁更胜一筹?
  • 基于遗传算法的优化问题求解
  • 使用Tinker来调试Laravel应用程序的数据以及使用Tinker一些总结
  • 无服务器化是企业 IT 架构的未来吗?
  • 格斗健身潮牌24KiCK获近千万Pre-A轮融资,用户留存高达9个月 ...
  • 扩展资源服务器解决oauth2 性能瓶颈
  • ​软考-高级-系统架构设计师教程(清华第2版)【第15章 面向服务架构设计理论与实践(P527~554)-思维导图】​
  • #70结构体案例1(导师,学生,成绩)
  • #APPINVENTOR学习记录
  • (1) caustics\
  • (1)(1.13) SiK无线电高级配置(五)
  • (C11) 泛型表达式
  • (超详细)语音信号处理之特征提取
  • (附源码)python旅游推荐系统 毕业设计 250623
  • (附源码)计算机毕业设计大学生兼职系统
  • (三)模仿学习-Action数据的模仿
  • (一)Neo4j下载安装以及初次使用
  • (转)Java socket中关闭IO流后,发生什么事?(以关闭输出流为例) .
  • .desktop 桌面快捷_Linux桌面环境那么多,这几款优秀的任你选
  • .htaccess配置常用技巧
  • .net core Redis 使用有序集合实现延迟队列
  • .NET Core 中的路径问题
  • .NET Core中如何集成RabbitMQ
  • .Net 知识杂记
  • .NET/C# 编译期能确定的字符串会在字符串暂存池中不会被 GC 垃圾回收掉
  • .net6Api后台+uniapp导出Excel