当前位置: 首页 > news >正文

数据库表分割技术浅析

一.水平分割

  什么是水平分割?打个比较形象的比喻,在 食堂吃饭的时候,只有一个窗口,排队打饭的队伍太长了,都排成S型了,这时容易让排队的人产生焦虑情绪,容易产生混乱,这时一个管理者站出来,增加多个打 饭窗口,把那条长长的队伍拦腰截断成几队。更形象一点的理解,你拿一把“手术刀”,把一个大表猛的切了几刀,结果这个大表,变成了几个小表.

  水平分割根据某些条件将数据放到两个或多 个独立的表中。即按记录进分分割,不同的记录可以分开保存,每个子表的列数相同。水平切割将表分为多个表。每个表包含的列数相同,但是数据行更少。例如, 可以将一个包含十亿行的表水平分区成 12 个表,每个小表表示特定年份内一个月的数据。任何需要特定月份数据的查询只需引用相应月份的表。

通常用来水平分割表的条件有:日期时间维度、地区维度等,当然还有更多的业务维度。下面我举几个例子来解说一下

案例1:某个公司销售记录数据量太大了,我们可以对它按月进行水平分割,每个月的销售记录单独成一张表。

案例2:某个集团在各个地区都有分公司,该集团的订单数据表太大了,我们可以按分公司所在的地区进行水平切割。

案例3:某电信公司的话单按日期、地市水平切割后,发现数据量太大,然后他们又按品牌、号码段进行水平切割
 
水平分割通常在下面的情况下使用:
  (1)    表数据量很大,分割后可以降低在查询时需要读的数据和索引的页数,同时也降低了索引的层数,加快了查询速度。
  (2)    表中的数据本来就有独立性,例如表中分别记录各个地区的数据或不同时期的数据,特别是有些数据常用,而另外一些数据不常用。
  (3)    需要把数据存放到多个介质上。
  (4)    需要把历史数据和当前的数据拆分开。
 
优点:

  1:降低在查询时需要读的数据和索引的页数,同时也降低了索引的层数,加快了查询速度。


缺点:

  1:水平分割会给应用增加复杂度,它通常在查询时需要多个表名,查询所有数据需要union操作。在许多数据库应用中,这种复杂性会超过它带来的优点,因为只要索引关键字不大,则在索引用于查询时,表中增加两到三倍数据量,查询时也就增加读一个索引层的磁盘次数。
 
 
二.垂直分割

  什么是垂直分割呢?打个形象的比喻,一个 小公司通过短短几年发展变成了一个跨国大企业,以前的部门架构明显不能满足现在的业务发展,CEO噼里啪啦的把公司分成了财务部、人事部、生产部、销售部 门.....,一下子成立了多个部门,各司其职。这个还算比较形象吧,有木有?呵呵

你垂直分割表(不破坏第三范式),把主码(主键)和一些列放到一个表,然后把主码(主键)和另外的一些列放到另一个表中。将原始表分成多个只包含较少列的表。如果一个表中某些列常用,而另外一些列不常用,则可以采用垂直分割。

优点:

  1:垂直分割可以使得行数据变小,一个数据块(Block)就能存放更多的数据,在查询时就会减少I/O次数(每次查询时读取的Block 就少)。

  2:垂直分割表可以达到最大化利用Cache的目的。

缺点:

  1:表垂直分割后,主码(主键)出现冗余,需要管理冗余列

  2:会引起表连接JOIN操作(增加CPU开销)需要从业务上规避
 
 
 
 
三. 库表散列

  表散列与水平分割相似,但没有水平分割那样的明显分割界限,采用Hash算法把数据分散到各个分表中, 这样IO更加均衡。一般来说,我们会按照业务或者功能模块将数据库进行分离,不同的模块对应不同的数据库或者表,再按照一定的策略对某个页面或者功能进行 更小的数据库散列,比如用户表,按照用户ID进行表散列,散列128张表,则应就能够低成本的提升系统的性能并且有很好的扩展性

相关文章:

  • number 90分的暴力
  • Hybrid App是如何实现网页语言与程序语言的混合?谁占主体?
  • 推荐一个linux下的web压力测试工具神器webbench
  • Jquery(四)——动态篇
  • 怎么解决numpy和matplotlib无法安装问题
  • node.js入门篇
  • UIBezierPath画圆弧的记录
  • $translatePartialLoader加载失败及解决方式
  • shell与if相关参数
  • Java threadpool机制深入分析
  • GC — 垃圾收集算法
  • Bloglines手机伴侣支持走cmwap代理了
  • 页面每两秒刷新一次时间(java web)
  • 搭建LNMP中遇到PHP只能下载无法打开的处理
  • 为什么要用深度学习来做个性化推荐 CTR 预估
  • 【跃迁之路】【444天】程序员高效学习方法论探索系列(实验阶段201-2018.04.25)...
  • centos安装java运行环境jdk+tomcat
  • jdbc就是这么简单
  • JS数组方法汇总
  • JS题目及答案整理
  • js写一个简单的选项卡
  • MySQL的数据类型
  • Mysql数据库的条件查询语句
  • QQ浏览器x5内核的兼容性问题
  • Spark学习笔记之相关记录
  • SpringCloud集成分布式事务LCN (一)
  • swift基础之_对象 实例方法 对象方法。
  • 前端学习笔记之原型——一张图说明`prototype`和`__proto__`的区别
  • 入门级的git使用指北
  • 详解移动APP与web APP的区别
  • 一份游戏开发学习路线
  • LIGO、Virgo第三轮探测告捷,同时探测到一对黑洞合并产生的引力波事件 ...
  • #define用法
  • #define与typedef区别
  • #Z2294. 打印树的直径
  • (09)Hive——CTE 公共表达式
  • (Java)【深基9.例1】选举学生会
  • (Python第六天)文件处理
  • (ResultSet.TYPE_SCROLL_INSENSITIVE,ResultSet.CONCUR_READ_ONLY)讲解
  • (二开)Flink 修改源码拓展 SQL 语法
  • (转)EXC_BREAKPOINT僵尸错误
  • (转)JAVA中的堆栈
  • (转)菜鸟学数据库(三)——存储过程
  • (转)负载均衡,回话保持,cookie
  • (转)我也是一只IT小小鸟
  • (转)用.Net的File控件上传文件的解决方案
  • ***测试-HTTP方法
  • .net core webapi 大文件上传到wwwroot文件夹
  • .Net Core缓存组件(MemoryCache)源码解析
  • .net 获取url的方法
  • .NET 中什么样的类是可使用 await 异步等待的?
  • .NET/C# 避免调试器不小心提前计算本应延迟计算的值
  • .NET/C# 使用 SpanT 为字符串处理提升性能
  • .net中的Queue和Stack
  • ::什么意思