当前位置: 首页 > news >正文

mysql 跨库数据清洗方案

需求

database1.order 关键字段:user_id,network,p,product_id

database2.xxx_info 关键字段:owner_id,network,p

bug:表 database2.product_info 维护的userId出现问题,导致查询用户的信息不正确。

解决:数据清洗。 将 database1.product 的 userId 与 database2.product_info 的 userId进行清洗。

大致执行的sql语句如下:

use database1;

SELECT user_id,network,p FROM order WHERE product_id = 1 AND product_type = 1 AND ctime > "2022-09-15 14:05:51";

加上 ctime 的时间范围减少数据条数。

结果:

user_id 1
network r
p 0xaf

use database2;

UPDATE `xxx_info` SET `owner_id` = 1 WHERE `network` = 'r' AND p = '0xaf';

因为进行了跨库操作,无法直接执行一条sql进行数据的清洗。

思考

如果按照上述的方式实现,在少量的数据情况下,可以进行手动构造。但是数据量大的情况下就不适用了。

比较可行的两种的方式是:

  1. 通过excel的单元格,进行sql的拼接组合(可搜索得到具体做法,重点说方案2)
  2. mysql concat() 函数

mysql concat() 函数

mysql concat() 函数用于将多个字符串连接成一个字符串。

mysql CONCAT(str1,str2,…)

示例:查询时要在一个字段中 stu_id、stu_name,中间用 '# ’ 连接,mysql 语句:

SELECT CONCAT(stu_id, '# ', stu_name) FROM student;

x.jpeg

最终实现

SELECT CONCAT('UPDATE database2.xxx_info SET `owner_id` = ',user_id, ' WHERE `network` = \'' ,network ,'\' AND `p` =\'',p ,'\';') FROM database1.order WHERE  product_id = 1 ;

执行上述语句会直接拼接出如下语句,直接执行即可,避免手动构造

UPDATE `xxx_info` SET `owner_id` = 1 WHERE `network` = 'r' AND p = '0xaf';

相关文章:

  • pandas数据映射,更改列名,批量映射替换某列数据replace、map、apply、rename对比
  • 未婚妻晚安之后依然在线,于是我用20行代码写了个小工具
  • MySQL进阶第二天——索引
  • 低代码 low-code
  • 数字经济增长下,数据共享对于企业而言意味着什么?
  • 浙大MEM网上报名关键信息点提醒,选错一个,回头重来
  • 基于Spring Boot的动物救助中心系统
  • 6.HTML标签/元素学习
  • 没前端项目经验很难找实习吗?
  • C#基础--委托、lambda表达式和事件
  • LeetCode 0316. 去除重复字母:单调栈
  • 算法-二叉树
  • 基于统计自适应线性回归的目标尺寸预测
  • springboot-鑫源停车场管理系统 毕业设计 -附源码 290915
  • java题
  • 《Javascript高级程序设计 (第三版)》第五章 引用类型
  • 11111111
  • express + mock 让前后台并行开发
  • Git学习与使用心得(1)—— 初始化
  • IE报vuex requires a Promise polyfill in this browser问题解决
  • JavaScript函数式编程(一)
  • Java应用性能调优
  • python学习笔记 - ThreadLocal
  • Quartz初级教程
  • React-flux杂记
  • ReactNative开发常用的三方模块
  • Spark RDD学习: aggregate函数
  • supervisor 永不挂掉的进程 安装以及使用
  • Vim 折腾记
  • VUE es6技巧写法(持续更新中~~~)
  • Vue学习第二天
  • 吴恩达Deep Learning课程练习题参考答案——R语言版
  • 延迟脚本的方式
  • elasticsearch-head插件安装
  • 扩展资源服务器解决oauth2 性能瓶颈
  • ​香农与信息论三大定律
  • ​一、什么是射频识别?二、射频识别系统组成及工作原理三、射频识别系统分类四、RFID与物联网​
  • (1)(1.19) TeraRanger One/EVO测距仪
  • (1综述)从零开始的嵌入式图像图像处理(PI+QT+OpenCV)实战演练
  • (分布式缓存)Redis分片集群
  • (三分钟了解debug)SLAM研究方向-Debug总结
  • (一)Spring Cloud 直击微服务作用、架构应用、hystrix降级
  • (转)Oracle存储过程编写经验和优化措施
  • (转)Sql Server 保留几位小数的两种做法
  • .【机器学习】隐马尔可夫模型(Hidden Markov Model,HMM)
  • .dwp和.webpart的区别
  • .Family_物联网
  • .naturalWidth 和naturalHeight属性,
  • .net core 源码_ASP.NET Core之Identity源码学习
  • .NET MVC第五章、模型绑定获取表单数据
  • .NET 发展历程
  • .Net 应用中使用dot trace进行性能诊断
  • @ 代码随想录算法训练营第8周(C语言)|Day57(动态规划)
  • @Autowired和@Resource装配
  • @FeignClient 调用另一个服务的test环境,实际上却调用了另一个环境testone的接口,这其中牵扯到k8s容器外容器内的问题,注册到eureka上的是容器外的旧版本...