当前位置: 首页 > news >正文

(六)Flink 窗口计算

窗口(Window)是处理无界流的关键所在。窗口可以将数据流装入大小有限的“桶”中,再对每个“桶”加以处理。

目录

时间概念

窗口类型

窗口划分

窗口的生命周期

Window Assigners

窗口函数

Triggers 窗口触发器

Evictor 数据剔除器

Allowed Lateness

旁路输出


时间概念

在有状态流处理中,时间在计算中起着重要的作用。当进行时序分析、基于特定时间段(通常指窗口)进行聚合时,都会引入时间概念:

  • 处理时间(Processing time):

处理时间是指执行相应操作的机器的系统时间。每小时处理时间窗口将包括在系统时钟指示整小时之间到达的所有记录。例如,如果应用程序在上午 9:15 开始运行,则第一个小时处理时间窗口将包括上午 9:15 到上午 10:00 之间处理的事件,下一个窗口将包括早上 10:00 到上午 11:00 之间处理的事情,依此类推。 处理时间是最简单的时间概念,不需要流和机器之间的协调。它提供了最好的性能和最低的延迟。然而,在分布式和异步环境中,处理时间并不能提供确定性,因为它容易受到记录到达系统的速度、记录在系统内之间流动的速度等因素影响。

  • 事件时间(Event Time):

事件时间是每个单独事件在其产生设备上发生的时间。这个时间通常在记录进入 Flink 之前嵌入到记录中,并且可以从每个记录中提取该事件时间戳。在事件时间中,时间的进度取决于数据。事件时间程序必须指定 Watermark,这是通知事件时间进度的机制。这种 Watermark 机制将在下一节实验中进行描述。

相关文章:

  • react antd from表单全选按钮Button触发CheckBox状态回显
  • gin快速入门
  • Ps:高速缓存机制
  • 全面解读AI大模型:一文带你看懂发展脉络与未来走向!
  • 0成本学习Liunx系统【只需要一台笔记本电脑,无需购买云服务器】
  • 痛哭,原来我一直在用前公司的git账号提交自己的github仓库
  • 对局域网电脑远程唤醒
  • DRF——Filter条件搜索模块
  • 8月跳槽进字节跳动测试岗了,面试真简单...
  • 【注解】反序列化时匹配多个 JSON 属性名 @JsonAlias 详解
  • 修改了原神4.8版本升级数据表
  • 关于前端form提交后端返回文件流触发浏览器下载(并发控制)
  • 程序员常用的10种算法
  • Pandas DataFrame 数据转换处理和多条件查询
  • 【模板】连接外围数据库
  • 9月CHINA-PUB-OPENDAY技术沙龙——IPHONE
  • python3.6+scrapy+mysql 爬虫实战
  • [NodeJS] 关于Buffer
  • 【跃迁之路】【477天】刻意练习系列236(2018.05.28)
  • C++回声服务器_9-epoll边缘触发模式版本服务器
  • co.js - 让异步代码同步化
  • go append函数以及写入
  • hadoop入门学习教程--DKHadoop完整安装步骤
  • JS进阶 - JS 、JS-Web-API与DOM、BOM
  • python_bomb----数据类型总结
  • spring cloud gateway 源码解析(4)跨域问题处理
  • uva 10370 Above Average
  • 从setTimeout-setInterval看JS线程
  • 发布国内首个无服务器容器服务,运维效率从未如此高效
  • 给Prometheus造假数据的方法
  • 漫谈开发设计中的一些“原则”及“设计哲学”
  • 跳前端坑前,先看看这个!!
  • 网页视频流m3u8/ts视频下载
  • 问题之ssh中Host key verification failed的解决
  • 我与Jetbrains的这些年
  • 线上 python http server profile 实践
  • 基于django的视频点播网站开发-step3-注册登录功能 ...
  • 树莓派用上kodexplorer也能玩成私有网盘
  • ​埃文科技受邀出席2024 “数据要素×”生态大会​
  • #Z0458. 树的中心2
  • $.ajax()
  • (42)STM32——LCD显示屏实验笔记
  • (51单片机)第五章-A/D和D/A工作原理-A/D
  • (7)摄像机和云台
  • (DFS + 剪枝)【洛谷P1731】 [NOI1999] 生日蛋糕
  • (Java)【深基9.例1】选举学生会
  • (LeetCode) T14. Longest Common Prefix
  • (libusb) usb口自动刷新
  • (zz)子曾经曰过:先有司,赦小过,举贤才
  • (译)计算距离、方位和更多经纬度之间的点
  • *算法训练(leetcode)第四十五天 | 101. 孤岛的总面积、102. 沉没孤岛、103. 水流问题、104. 建造最大岛屿
  • .describe() python_Python-Win32com-Excel
  • .NET CF命令行调试器MDbg入门(二) 设备模拟器
  • .NET CF命令行调试器MDbg入门(三) 进程控制
  • .NET Framework 4.6.2改进了WPF和安全性