当前位置: 首页 > news >正文

数据库不停机迁移方案

在业务发展过程中,可能会有需要进行数据迁移的场景。

一般来说可以分为两种

(1)停机迁移

(2)不停机迁移

停机迁移比较简单,步骤如下

(1)根据业务流量数据低峰时间,制定迁移计划。

(2)发布停业公告

(3)届时先停机,保证老库数据不会再变动,然后使用迁移工具进行数据的全量迁移

(4)迁移完成后进行新老数据库数据的对比校验

(5)数据校验没问题,流程切换到新库,完成

停机迁移的问题在于

(1)有的业务压根就不能容忍停机。还有就是数据全量迁移的耗时可能也比较久,长时间停机更是不可能接受。

(2)一把切,万一新库、新应用有什么问题,由于新库中新增的数据在老库中并没有,所有也没法切回老库,有问题也不能回滚。

但是停机迁移最大的好处是:简单!

所以实际业务中一些数据量没那么大,或者一些内部系统,非关键系统,采用这种方式其实是主流。再重复一遍,没有最好的方案,只有最适合的方案,有利就有弊,都是权衡取舍罢了。

不停机迁移步骤

(1)对业务代码进行改造,数据库修改操作改为双写,即同时写入新库和老库

insert:两边同时成功

delete:有的数据新库中没有,也没关系

update:有的数据新库中没有,也没关系

老库的写入不受影响,必须成功。新库的如果不成功也没关系,记录一下日志进行排查即可。

为了不影响系统的响应时间等,写入新库可以弄成异步操作

(2)将旧库所有数据迁移到新表

从老库中查询数据,更新到新库,伪代码

select 所有字段 from 旧表 where id in (select id from 旧表 order by id asc limit #{start},#{batchSize})

如果数据为空就结束

 否则对于里面的每条数据

开启事务

select 所有字段 from 旧表 where id = xxx for update;

插入新库(注意需要先delete再insert)

提交事务

这里要注意,一定要加for update锁定数据。

为什么?因为业务代码里面双写还在继续,比如业务代码中更新

update 表xx set monney = 100,然后旧表写入了,但迁移数据数据的读取代码在这之前执行的,所以读到的事旧数据。迁移代码正要把数据写入新库,双写代码已经把新库更新为最新数据,然后迁移代码又把旧数据覆盖上去了。这样就出现了丢失更新的问题。

如果加上for update,则能保证这一条数据在迁移过程中不发生改变,保证新老数据的一致性。

(3)校验两边数据的一致性。数据量太大的时候可以采用一般数据抽查、关键数据全量检查结合的方式

(4)将流量逐步切换到新表。灰度切换。

切换到新表,也就是主要写新的表,旧表也要写,这样如果新库有啥问题可以随时切换回旧库。

(5)平稳运行一段时间后,确保都没问题了,再全部转到新库上。

相关文章:

  • 北京网站建设多少钱?
  • 辽宁网页制作哪家好_网站建设
  • 高端品牌网站建设_汉中网站制作
  • 【计算机组成原理】2.2.3_2 无符号数的加减运算
  • 制造业企业如何选择适合自己的MES系统
  • 【Midjourney】Midjourney全面开放网站版,所有用户每天可免费生成25次
  • 【虚拟机安装与部署系列(二)】:文件传输工具WinSCP安装并连通VMware虚拟机
  • 关于计算机“如何从键盘输入,实现各种功能”的猜想,或者说是01代码的自己的理解,胡诌
  • EmguCV学习笔记 VB.Net 6.4 霍夫变换
  • 2024 实训室建设:1+X 老年生活照护实训室
  • 实用工具:[TrafficMonitor]任务栏电脑性能监控安装指南
  • x-cmd mod | x scoop - Windows 开源包管理工具
  • 【自动驾驶】控制算法(三)轮胎侧偏与车辆动力学模型
  • Prettier+Vscode setting提高前端开发效率
  • 单片机使用cJSON的坑
  • Spring的bean的生命周期
  • 深度学习100问6-什么是向量降维
  • 游戏开发设计模式之命令模式
  • [数据结构]链表的实现在PHP中
  • 【node学习】协程
  • 【每日笔记】【Go学习笔记】2019-01-10 codis proxy处理流程
  • 2019年如何成为全栈工程师?
  • Angular 响应式表单之下拉框
  • CSS实用技巧干货
  •  D - 粉碎叛乱F - 其他起义
  • es的写入过程
  • Java 内存分配及垃圾回收机制初探
  • JavaScript设计模式系列一:工厂模式
  • jdbc就是这么简单
  • Leetcode 27 Remove Element
  • Linux编程学习笔记 | Linux多线程学习[2] - 线程的同步
  • Mac转Windows的拯救指南
  • mysql 5.6 原生Online DDL解析
  • node和express搭建代理服务器(源码)
  • Python进阶细节
  • React-redux的原理以及使用
  • Terraform入门 - 1. 安装Terraform
  • 关于使用markdown的方法(引自CSDN教程)
  • 扑朔迷离的属性和特性【彻底弄清】
  • 深入 Nginx 之配置篇
  • 使用 QuickBI 搭建酷炫可视化分析
  • 详解移动APP与web APP的区别
  • 第二十章:异步和文件I/O.(二十三)
  • #!/usr/bin/python与#!/usr/bin/env python的区别
  • #565. 查找之大编号
  • #Linux(make工具和makefile文件以及makefile语法)
  • #我与Java虚拟机的故事#连载14:挑战高薪面试必看
  • (26)4.7 字符函数和字符串函数
  • (苍穹外卖)day03菜品管理
  • (初研) Sentence-embedding fine-tune notebook
  • (附源码)流浪动物保护平台的设计与实现 毕业设计 161154
  • (每日持续更新)jdk api之FileFilter基础、应用、实战
  • (一)【Jmeter】JDK及Jmeter的安装部署及简单配置
  • (原創) 如何將struct塞進vector? (C/C++) (STL)
  • (原創) 物件導向與老子思想 (OO)
  • (转)LINQ之路
  • (转)负载均衡,回话保持,cookie
  • * 论文笔记 【Wide Deep Learning for Recommender Systems】