当前位置: 首页 > news >正文

数据库读写分离和分库分表

1、读写分离

读写分离可以将对数据库的读写操作分别作用在不同的数据库节点上,可以小幅提升写的性能,大幅提升读的性能。
一般情况下,读多写少,会选择一台服务作为主库,多台服务作为从库。

1.1、读写分离的问题

主库和从库的数据同步存在延迟,会在延迟的时间段中存在数据不一致问题。主从同步延迟。
可能的解决办法:

  1. 将写入之后需要立即读取的请求,放到主库处理
  2. 延迟读取

1.2、实现读写分离

1.2.1、步骤

  1. 部署多台数据库服务,选择一台作为主库,其它为从库
  2. 保证主库和从库的数据实时同步,即主从复制
  3. 将写的请求交给主库处理,读的请求交给从库处理

1.2.2、实现方式

  1. 代理方式
    在应用和数据之间使用代理层,将数据请求提交给代理层,由代理曾负责读写的请求转发。
  2. 组件方式
    通过引入第三方组件来实现。如:sharding-jdbc

1.3、主从复制原理

在MySQL中,有MySQL binlog二进制日志文件,记录了数据的所有变化,包括执行的DDL和DML语句。可以通过MySQL的二进制日志文件进行主从数据同步。

  1. 主库将数据库中数据的变化写入到 binlog
  2. 从库连接主库
  3. 从库会创建一个 I/O 线程向主库请求更新的 binlog
  4. 主库会创建一个 binlog dump 线程来发送 binlog ,从库中的 I/O 线程负责接收
  5. 从库的 I/O 线程将接收的 binlog 写入到 relay log 中。
  6. 从库的 SQL 线程读取 relay log 同步数据本地(也就是再执行一遍 SQL )。

2、分库分表

读写分离主要应对高并发。分库分表主要应对数据库存储压力。
分库:将数据库的数据分散到不同数据库上。如:1、将两张表分别放到不同数据库上;2、将一张表水平拆分成两张表,分别放到不同数据库上。
分表:对单表的数据进行拆分,可以垂直,可以水平拆分。
垂直拆分,对表的列拆分。
水平拆分,对表的数据行拆分。

3、分库分表的场景

分表,单表的数据达到千万级别以上,数据库读写速度慢。
分库,1、数据库的数据占用空间大,备份时间长;2、应用并发量大。

4、分库分表的挑战

  1. join操作
  2. 事务问题
  3. 分布式id

相关文章:

  • 长江中下游先民最早驯化野生稻 国稻种芯:全球35亿人口主食
  • 数字逻辑设计(4)
  • Netty笔记
  • 【300+精选大厂面试题持续分享】大数据运维尖刀面试题专栏(十五)
  • 【毕业设计】基于机器学习的跌倒检测系统 - 图像识别
  • paddlepaddle
  • 视频怎么转音频?推荐使用这几种方法
  • 欧洲玩具EN 71-3:2019的安全性某些元素的迁移
  • 【学习教程】遥感数据与DSSAT作物生长模型同化及在作物长势监测与估产中的应用
  • 海量机器类通信场景终端安全问题研究
  • Element el-table 等表格组件超出隐藏(show-overflow-tooltip)按需展示且可鼠标移入
  • 在线健康信息替代搜寻过程实验研究:特征分析及阶段识别
  • 中国精炼铜行业发展监测及投资战略研究报告
  • nr_micro_shell在STM32+FreeRTOS平台的移植和使用
  • 一种基于区块链的物联网架构设计
  • [译] 怎样写一个基础的编译器
  • HashMap剖析之内部结构
  • Javascript设计模式学习之Observer(观察者)模式
  • PhantomJS 安装
  • TypeScript实现数据结构(一)栈,队列,链表
  • 给新手的新浪微博 SDK 集成教程【一】
  • 机器学习中为什么要做归一化normalization
  • 七牛云 DV OV EV SSL 证书上线,限时折扣低至 6.75 折!
  • 三栏布局总结
  • 微信公众号开发小记——5.python微信红包
  • 在Docker Swarm上部署Apache Storm:第1部分
  • 智能网联汽车信息安全
  • No resource identifier found for attribute,RxJava之zip操作符
  • 带你开发类似Pokemon Go的AR游戏
  • 关于Android全面屏虚拟导航栏的适配总结
  • ​​快速排序(四)——挖坑法,前后指针法与非递归
  • ​学习一下,什么是预包装食品?​
  • (06)Hive——正则表达式
  • (1)Map集合 (2)异常机制 (3)File类 (4)I/O流
  • (10)STL算法之搜索(二) 二分查找
  • (Pytorch框架)神经网络输出维度调试,做出我们自己的网络来!!(详细教程~)
  • (附源码)spring boot校园拼车微信小程序 毕业设计 091617
  • .NET 5.0正式发布,有什么功能特性(翻译)
  • .NET Core SkiaSharp 替代 System.Drawing.Common 的一些用法
  • .NET Core工程编译事件$(TargetDir)变量为空引发的思考
  • .net程序集学习心得
  • .NET国产化改造探索(三)、银河麒麟安装.NET 8环境
  • .net专家(张羿专栏)
  • .php结尾的域名,【php】php正则截取url中域名后的内容
  • @ 代码随想录算法训练营第8周(C语言)|Day53(动态规划)
  • @ComponentScan比较
  • @staticmethod和@classmethod的作用与区别
  • [8-27]正则表达式、扩展表达式以及相关实战
  • [BJDCTF2020]The mystery of ip1
  • [flask]http请求//获取请求体数据
  • [FTP]pureftp部署和优化
  • [GDOUCTF 2023]<ez_ze> SSTI 过滤数字 大括号{等
  • [Java基础] Java中List.remove报错UnsupportedOperationException
  • [jobdu]不用加减乘除做加法
  • [MySQL]SQL优化之索引的使用规则