当前位置: 首页 > news >正文

flink+flinkcdc+同步(MYSQL到MYSQL)实践

flink+flinkcdc+同步MYSQL到MYSQL

目标

  • 通过Flink +FlinkCDC实现MYSQL到MYSQL的同步【单表,多表】

运行环境

mysql8.0.3 | flink-1.13.2 | flink-connector-jdbc_2.11-1.13.2.jar |flink-sql-connector-mysql-cdc-2.1.0.jar

前置条件

开启bin_log日志 以及设置bin_log格式=ROW,不熟悉的请参考作者mysql 如何开启bin_log日志的文章

步骤

要在 Apache Flink 中使用 MySQL CDC 连接器来同步 MySQL 数据库到另一个 MySQL 数据库,你需要下载相关的 JAR 文件。下面是获取所需 JAR 文件的步骤:

步骤 1: 获取 Flink 和 Flink CDC 连接器 JAR 文件
  1. 下载 Apache Flink:

    • 访问 Apache Flink 官方网站 并下载适合你系统的 Flink 版本。

    • 解压下载的文件到一个目录,例如 /opt/flink

相关文章:

  • git restore对工作区及暂存区文件的影响
  • 自养号测评技术:如何挑选适合的IP环境方案
  • 引发C++程序内存泄漏的常见原因分析与排查方法总结
  • openlayers+vite+vue3加载离线地图并实现初始化(一)
  • 高性能 Web 服务器:让网页瞬间绽放的魔法引擎(上)
  • [uniapp/wx小程序] 给自定义组件或ui组件加样式在wx小程序不生效
  • 搭建智能客服机器人:langgraph实现用户订单管理
  • 尝试给OpenHarmony4.0增加可以在动态库中使用的日志模块
  • 图像处理 -- ISP 之 tone mapping功能的实现原理
  • systemback制作Ubuntu自己的系统镜像
  • 观察者模式解析:实现对象间的舞蹈同步!
  • 怎么生成一个springboot的项目
  • Python中的random模块及相关模块详解
  • Application实际在云原生中的应用
  • 在ubuntu16.04下使用词典工具GoldenDict
  • 2017年终总结、随想
  • Apache Spark Streaming 使用实例
  • extract-text-webpack-plugin用法
  • java中具有继承关系的类及其对象初始化顺序
  • leetcode386. Lexicographical Numbers
  • PHP的类修饰符与访问修饰符
  • react-native 安卓真机环境搭建
  • 简单实现一个textarea自适应高度
  • 解决iview多表头动态更改列元素发生的错误
  • 前端技术周刊 2019-01-14:客户端存储
  • 数据结构java版之冒泡排序及优化
  • 项目管理碎碎念系列之一:干系人管理
  • 一天一个设计模式之JS实现——适配器模式
  • 用Visual Studio开发以太坊智能合约
  • 栈实现走出迷宫(C++)
  • media数据库操作,可以进行增删改查,实现回收站,隐私照片功能 SharedPreferences存储地址:
  • ​TypeScript都不会用,也敢说会前端?
  • #QT(QCharts绘制曲线)
  • (JS基础)String 类型
  • (二)【Jmeter】专栏实战项目靶场drupal部署
  • (二十六)Java 数据结构
  • (一)基于IDEA的JAVA基础10
  • (转)Linux下编译安装log4cxx
  • ***php进行支付宝开发中return_url和notify_url的区别分析
  • ***监测系统的构建(chkrootkit )
  • .NET Core IdentityServer4实战-开篇介绍与规划
  • .NET CORE使用Redis分布式锁续命(续期)问题
  • .NET/C# 在 64 位进程中读取 32 位进程重定向后的注册表
  • .NET连接MongoDB数据库实例教程
  • .NET学习全景图
  • @Autowired多个相同类型bean装配问题
  • @property @synthesize @dynamic 及相关属性作用探究
  • @RequestBody的使用
  • [ vulhub漏洞复现篇 ] AppWeb认证绕过漏洞(CVE-2018-8715)
  • [ vulhub漏洞复现篇 ] ECShop 2.x / 3.x SQL注入/远程执行代码漏洞 xianzhi-2017-02-82239600
  • []常用AT命令解释()
  • [AI StoryDiffusion] 创造神奇故事,AI漫画大乱斗!
  • [ai笔记3] ai春晚观后感-谈谈ai与艺术
  • [Android Studio] 开发Java 程序
  • [bzoj1901]: Zju2112 Dynamic Rankings