当前位置: 首页 > news >正文

数据持久化层--冷热分离

业务场景

有一个系统的主要功能是这样的:它会对接客户的邮件服务器,自动收取发到几个特定客服邮箱的邮件,每收到一封客服邮件,就自动生成一个工单。之后系统就会根据一些规则将工单分派给不同的客服专员处理。

这家媒体集团客户两年多产生了近2000万的工单,工单的操作记录近1亿。平时客服在工单页面操作时,打开或者刷新工单列表需要10秒钟左右。要求进行优化:
当时的数据情况如下:
1)工单表已经达到3000万条数据。
2)工单表的处理记录表达到1.5亿条数据。
3)工单表每日以10万的数据量在增长。

在客户提出需求之前,项目组已经通过优化表结构、业务代码、索引、SQL语句等办法来提高系统响应速度,系统最终支撑起了3000万数据的表查询。这次只能尝试其他方案。

冷热分离一期实现思路:冷热数据都用MySQL

在这里插入图片描述

当决定用冷热分离之后,项目组就开始考虑使用一个性价比最高的冷热分离方案。因为资源有限、工期又短,冷热分离一期有一个主导原则,即热数据跟冷数据使用一样的存储(MySQL)和数据结构,这样工作量最少,等到以后有时间再做冷热分离二期。

需要考虑的问题
1)如何判断一个数据是冷数据还是热数据?
2)如何触发冷热数据分离?
3)如何实现冷热数据分离?
4)如何使用冷热数据?

相关文章:

  • 【跟着ChatGPT学深度学习】ChatGPT教我文本分类
  • JAVA进阶 —— Steam流
  • 分享几个常用的运维 shell 脚本
  • 模拟实现strstr函数
  • 现在的00后,实在是太卷了
  • 我一个普通程序员,光靠GitHub打赏就年入70万,
  • tcpdump网络抓包工具
  • 一文搞定!postman接口自动化测试【附项目实战详解】
  • 人生又有几个四年
  • Linux- 系统随你玩之--网络上的黑客帝国
  • 成本降低90%,OpenAI正式开放ChαtGΡΤ
  • PDF文件怎么删除密码?两个方法帮你搞定
  • 02 深度学习环境搭建
  • 利用Mysql存储过程造百万级数据
  • 1.认识网络爬虫
  • 时间复杂度分析经典问题——最大子序列和
  • Android系统模拟器绘制实现概述
  • Java 23种设计模式 之单例模式 7种实现方式
  • JavaScript创建对象的四种方式
  • MySQL-事务管理(基础)
  • nginx(二):进阶配置介绍--rewrite用法,压缩,https虚拟主机等
  • node学习系列之简单文件上传
  • Terraform入门 - 3. 变更基础设施
  • 从@property说起(二)当我们写下@property (nonatomic, weak) id obj时,我们究竟写了什么...
  • 基于Mobx的多页面小程序的全局共享状态管理实践
  • 基于OpenResty的Lua Web框架lor0.0.2预览版发布
  • 什么是Javascript函数节流?
  • 译有关态射的一切
  • 因为阿里,他们成了“杭漂”
  • 用mpvue开发微信小程序
  • ​​​​​​​​​​​​​​汽车网络信息安全分析方法论
  • ​​​​​​​sokit v1.3抓手机应用socket数据包: Socket是传输控制层协议,WebSocket是应用层协议。
  • !!Dom4j 学习笔记
  • # Java NIO(一)FileChannel
  • # Python csv、xlsx、json、二进制(MP3) 文件读写基本使用
  • #if #elif #endif
  • #include
  • #Java第九次作业--输入输出流和文件操作
  • #LLM入门|Prompt#3.3_存储_Memory
  • #NOIP 2014# day.2 T2 寻找道路
  • (14)学习笔记:动手深度学习(Pytorch神经网络基础)
  • (2)Java 简介
  • (阿里云万网)-域名注册购买实名流程
  • (七)c52学习之旅-中断
  • (四)Controller接口控制器详解(三)
  • (一)Mocha源码阅读: 项目结构及命令行启动
  • (一)RocketMQ初步认识
  • (转)Spring4.2.5+Hibernate4.3.11+Struts1.3.8集成方案一
  • (转)德国人的记事本
  • ../depcomp: line 571: exec: g++: not found
  • .bat文件调用java类的main方法
  • .NET框架设计—常被忽视的C#设计技巧
  • @SuppressLint(NewApi)和@TargetApi()的区别
  • [ vulhub漏洞复现篇 ] struts2远程代码执行漏洞 S2-005 (CVE-2010-1870)
  • [ 蓝桥杯Web真题 ]-布局切换