当前位置: 首页 > news >正文

记Flink SQL 将数据写入 MySQL时的一个优化策略

Flink SQL 将数据写入 MySQL 时,如果主分片数较少,可以通过调整 MySQL 的主分片数来提高读写性能

1. 检查当前的分片设置

在 MySQL 中,使用以下 SQL 查询来查看当前的分片情况:

SHOW VARIABLES LIKE 'innodb_buffer_pool_size';
SHOW TABLE STATUS LIKE 'your_table_name';

2. 调整 MySQL 主分片数

如果使用的是 MySQL 的分区表,考虑增加分区数。
可以使用以下 SQL 命令:

ALTER TABLE your_table_name
PARTITION BY HASH(column_name) PARTITIONS new_partition_count;

确保选择合适的列进行分区,以便均匀分布数据。

3.调整 Flink SQL 作业的并发度

在 Flink SQL 中,通过设置并行度来增加作业的并发写入:

SET parallelism.default = new_parallelism;

这将允许 Flink 在写入 MySQL 时使用更多的并发连接。

new_parallelism 为一个具体的整数值,例如:SET parallelism.default = 6;  -- 将并行度设置为6
可以根据集群资源和需求来调整这个值。

4.使用批量插入

使用批量插入来提高写入性能。可以通过设置 sink 的批量大小来实现:

INSERT INTO your_table_name
SELECT * FROM your_source_table
OPTION (batch.size = desired_batch_size);

5. 优化 MySQL 配置

确保 MySQL 的配置参数(如 innodb_flush_log_at_trx_commit、innodb_log_file_size 等)适合高并发写入场景。
调整 max_connections 和 max_allowed_packet 等参数,以支持更多的并发连接和更大的数据包。


后期有其他方法在进行补充。

相关文章:

  • 宝塔面板部署雷池社区版教程
  • MySql在更新操作时引入“两阶段提交”的必要性
  • 数据结构及基本算法
  • 《深度学习》卷积神经网络CNN 实现手写数字识别
  • 一次阿里云ECS免费试用实践
  • lime使用记录
  • Nginx配置及部署前端项目,安排!
  • Rce脚本自动化amp;批量
  • TDengine 签约青山钢铁,实现冶金全流程质量管控智能化
  • vue.js 原生js app端实现图片旋转、放大、缩小、拖拽
  • 服务器的地址如何伪装起来
  • PWM基础与信号控制
  • python 图像绘制问题: 使用turtle库绘制蟒蛇
  • RAG+Agent人工智能平台:RAGflow实现GraphRA知识库问答,打造极致多模态问答与AI编排流体验
  • 【Vue.js基础】
  • Java 多线程编程之:notify 和 wait 用法
  • JAVA_NIO系列——Channel和Buffer详解
  • Logstash 参考指南(目录)
  • Node项目之评分系统(二)- 数据库设计
  • open-falcon 开发笔记(一):从零开始搭建虚拟服务器和监测环境
  • puppeteer stop redirect 的正确姿势及 net::ERR_FAILED 的解决
  • Redis 中的布隆过滤器
  • SAP云平台里Global Account和Sub Account的关系
  • web标准化(下)
  • 案例分享〡三拾众筹持续交付开发流程支撑创新业务
  • 回顾2016
  • 微服务入门【系列视频课程】
  • 微龛半导体获数千万Pre-A轮融资,投资方为国中创投 ...
  • ​埃文科技受邀出席2024 “数据要素×”生态大会​
  • # 达梦数据库知识点
  • # 学号 2017-2018-20172309 《程序设计与数据结构》实验三报告
  • #Datawhale AI夏令营第4期#AIGC方向 文生图 Task2
  • #Datawhale X 李宏毅苹果书 AI夏令营#3.13.2局部极小值与鞍点批量和动量
  • #pragma pack(1)
  • (003)SlickEdit Unity的补全
  • (2021|NIPS,扩散,无条件分数估计,条件分数估计)无分类器引导扩散
  • (pycharm)安装python库函数Matplotlib步骤
  • (zz)子曾经曰过:先有司,赦小过,举贤才
  • (笔记自用)LeetCode:快乐数
  • (附源码)ssm高校社团管理系统 毕业设计 234162
  • (三)uboot源码分析
  • (四)汇编语言——简单程序
  • (五十)第 7 章 图(有向图的十字链表存储)
  • (一)使用IDEA创建Maven项目和Maven使用入门(配图详解)
  • (转)ORM
  • (转)负载均衡,回话保持,cookie
  • ***详解账号泄露:全球约1亿用户已泄露
  • .360、.halo勒索病毒的最新威胁:如何恢复您的数据?
  • .apk 成为历史!
  • .NET Standard 支持的 .NET Framework 和 .NET Core
  • .NET 给NuGet包添加Readme
  • .NET/MSBuild 中的发布路径在哪里呢?如何在扩展编译的时候修改发布路径中的文件呢?
  • .NET处理HTTP请求
  • .NET技术成长路线架构图
  • .NET中的Event与Delegates,从Publisher到Subscriber的衔接!