当前位置: 首页 > news >正文

insert into select简单数据迁移-postgresql

简单记录下去年11月的小数据迁移

前提

有个表customer_info里边大概有1千多万数据,分了四个店铺,其中三个店铺的数据是已经不再变动了,只有一个店铺的数据还在更新,所以当时就想把其他三个店铺的数据迁移出去,只留变动的数据(变动的数据大概有三百多万),要迁移的数据大概有七百多万,1个G多的数据,使用的数据库postgresql,当时还考虑到迁移这些数据的时候会不会造成迁移那一段时间的数据更新有问题啥的,后来发现用命令分店铺迁移很快就迁移成功了,另外就是变动的数据更新频率没那么高,大概并发只有10-20左右

过程

1.先复制出一张新表(该表用于要迁移出的数据存储,把索引啥的也要建好)

2.使用命令按店铺分三次迁移(大致命令如下)

insert into isv_customer_info_20231129 SELECT * FROM isv_customer_info where seller_nick = 'xx旗舰店1'insert into isv_customer_info_20231129 SELECT * FROM isv_customer_info where seller_nick = 'xx旗舰店2'insert into isv_customer_info_20231129 SELECT * FROM isv_customer_info where seller_nick = 'xx旗舰店3'

三个店铺数据分别是6554064,1466921,595631  所用时间分别是117011ms,28354ms,8613ms,即600万数据用时大概2分钟,100多万数据用时大概28s

3.可以抽一些数据大概看一下

建议:

1.也建议在操作低峰时进行迁移避免出现问题

2.如果有其他业务场景,建议先了解一下insert into select用法避免发生问题

我同事那会儿也在进行迁移,他那边是mysql数据库,大概好像4G的数据,几分钟就迁移完了。

相关文章:

  • springboot中引入AOP切面编程
  • 万界星空科技云MES,助力客户快速构建数字工厂
  • 在k8s集群中部署多nginx-ingress
  • Centos7.9或Deebian12安装K3s和k9s详细流程
  • C# OpenCvSharp DNN Gaze Estimation
  • centos7安装docker(包含yum配置阿里云镜像源)
  • ubuntu下编译obs-studio遇到的问题记录
  • 淘宝以图搜商品API调用详细步骤(apiKeysecret)
  • 农业银行RPA实践 3大典型案例分析
  • 嵌入式Linux之MX6ULL裸机开发学习笔记(IMX启动方式-启动设备的选择)
  • Redis布隆过滤器
  • 新年福利|这款价值数万的报表工具永久免费了
  • Linux 服务器安全策略技巧:使用 Bcrypt 或 Argon2 进行密码哈希
  • 网络安全试题进阶——附答案
  • MySQL 数值函数,字符串函数与多表查询
  • Flex布局到底解决了什么问题
  • java B2B2C 源码多租户电子商城系统-Kafka基本使用介绍
  • Java程序员幽默爆笑锦集
  • passportjs 源码分析
  • Python_网络编程
  • Redux系列x:源码分析
  • 不用申请服务号就可以开发微信支付/支付宝/QQ钱包支付!附:直接可用的代码+demo...
  • 仿天猫超市收藏抛物线动画工具库
  • 记录:CentOS7.2配置LNMP环境记录
  • 深度解析利用ES6进行Promise封装总结
  • 适配mpvue平台的的微信小程序日历组件mpvue-calendar
  • 7行Python代码的人脸识别
  • MyCAT水平分库
  • !!java web学习笔记(一到五)
  • # 数据结构
  • #if和#ifdef区别
  • #Linux(make工具和makefile文件以及makefile语法)
  • $().each和$.each的区别
  • (1)Nginx简介和安装教程
  • (1)STL算法之遍历容器
  • (二)fiber的基本认识
  • (四)搭建容器云管理平台笔记—安装ETCD(不使用证书)
  • (一)插入排序
  • (转)chrome浏览器收藏夹(书签)的导出与导入
  • .NET CORE Aws S3 使用
  • .NET Core 成都线下面基会拉开序幕
  • .NET Core工程编译事件$(TargetDir)变量为空引发的思考
  • .net FrameWork简介,数组,枚举
  • .NET 跨平台图形库 SkiaSharp 基础应用
  • .Net 知识杂记
  • .NET/C# 在代码中测量代码执行耗时的建议(比较系统性能计数器和系统时间)
  • .netcore 如何获取系统中所有session_ASP.NET Core如何解决分布式Session一致性问题
  • .net遍历html中全部的中文,ASP.NET中遍历页面的所有button控件
  • .NET与 java通用的3DES加密解密方法
  • // an array of int
  • @AutoConfigurationPackage的使用
  • @RequestBody与@ResponseBody的使用
  • [ CTF ] WriteUp-2022年春秋杯网络安全联赛-冬季赛
  • [2023-年度总结]凡是过往,皆为序章
  • [3D基础]理解计算机3D图形学中的坐标系变换