当前位置: 首页 > news >正文

【Flink精讲】Flink状态及Checkpoint调优

RocksDB大状态调优

        RocksDB 是基于 LSM Tree 实现的(类似 HBase) ,写数据都是先缓存到内存中,
所以 RocksDB 的写请求效率比较高。 RocksDB 使用内存结合磁盘的方式来存储数据,每
次获取数据时,先从内存中 blockcache 中查找,如果内存中没有再去磁盘中查询。 使用
RocksDB 时,状态大小仅受可用磁盘空间量的限制, 性能瓶颈主要在于 RocksDB 对磁盘
的读请求, 每次读写操作都必须对数据进行反序列化或者序列化。 当处理性能不够时,仅需
要横向扩展并行度即可提高整个 Job 的吞吐量。

开启增量检查点和本地恢复

1)开启增量检查点
        RocksDB 是目前唯一可用于支持有状态流处理应用程序增量检查点的状态后端,可以修改参数开启增量检查点:

state.backend.incremental: true #默认 false,改为 true。
或代码中指定
new EmbeddedRocksDBStateBackend(true) 

调整预定义选项

Flink 针对不同的设置为 RocksDB 提供了一些预定义的选项集合,其中包含了后续提到
的一些参数,如果调整预定义选项后还达不到预期,再去调整后面的 block、 writebuffer
等参数。
当 前 支 持 的 预 定 义 选 项 有 DEFAULT 、 SPINNING_DISK_OPTIMIZED 、
SPINNING_DISK_OPTIMIZED_HIGH_MEM 或 FLASH_SSD_OPTIMIZED。有条件上 SSD
的, 可以指定为 FLASH_SSD_OPTIMIZED

state.backend.rocksdb.predefined-options: SPINNING_DISK_OPTIMIZED_HIGH_MEM
#设置为机械硬盘+内存模式 

相关文章:

  • C语言-数据结构-顺序表
  • react useContext 用法
  • HP笔记本电脑如何恢复出厂设置?这里提供几种方法
  • 桥接模式(Bridge Pattern)
  • QT GUI编程常用控件学习
  • cesium相机视角跳转和缩放至entity方法汇总
  • redis的限流器都有哪些方式
  • 【kubernetes】关于k8s集群的声明式管理资源
  • 4核8G服务器并发数多少?性能如何?
  • MySQL-七种SQL优化
  • Spring篇----第十一篇
  • Java面试——锁
  • Vue 3, TypeScript 和 Element UI Plus:前端开发的高级技巧与最佳实践
  • 数据分析之数据预处理、分许建模、可视化
  • MacOS开发环境搭建详解
  • Hibernate最全面试题
  • linux安装openssl、swoole等扩展的具体步骤
  • Netty 框架总结「ChannelHandler 及 EventLoop」
  • Next.js之基础概念(二)
  • NSTimer学习笔记
  • PermissionScope Swift4 兼容问题
  • vue--为什么data属性必须是一个函数
  • yii2中session跨域名的问题
  • 给自己的博客网站加上酷炫的初音未来音乐游戏?
  • 浅谈web中前端模板引擎的使用
  • 实习面试笔记
  • 微信小程序设置上一页数据
  • 小程序上传图片到七牛云(支持多张上传,预览,删除)
  • 京东物流联手山西图灵打造智能供应链,让阅读更有趣 ...
  • 小白应该如何快速入门阿里云服务器,新手使用ECS的方法 ...
  • ​一文看懂数据清洗:缺失值、异常值和重复值的处理
  • !! 2.对十份论文和报告中的关于OpenCV和Android NDK开发的总结
  • (11)MSP430F5529 定时器B
  • (BFS)hdoj2377-Bus Pass
  • (八十八)VFL语言初步 - 实现布局
  • (分享)自己整理的一些简单awk实用语句
  • (六)vue-router+UI组件库
  • (原)Matlab的svmtrain和svmclassify
  • (转)Mysql的优化设置
  • .NET Framework Client Profile - a Subset of the .NET Framework Redistribution
  • .NET 依赖注入和配置系统
  • .NetCore实践篇:分布式监控Zipkin持久化之殇
  • .NET国产化改造探索(一)、VMware安装银河麒麟
  • .NET设计模式(2):单件模式(Singleton Pattern)
  • .net生成的类,跨工程调用显示注释
  • .net与java建立WebService再互相调用
  • .sh文件怎么运行_创建优化的Go镜像文件以及踩过的坑
  • /proc/stat文件详解(翻译)
  • @RequestBody与@ModelAttribute
  • @RequestMapping处理请求异常
  • [ 数据结构 - C++] AVL树原理及实现
  • [].shift.call( arguments ) 和 [].slice.call( arguments )
  • [2]十道算法题【Java实现】
  • [C puzzle book] types
  • [CF543A]/[CF544C]Writing Code