数据库分区表的写法 (数据库分区的基本方法)

数据库分区、分表、分库

一、数据库分区

1. 定义

-数据库分区是将数据量大的表的数据均摊到不同的硬盘、系统或不同服务器存储介质中(将数据从物理上分成若干个小表存储),实际上还是一张表。

-将表的数据均衡到不同的地方,为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。提升查询效率。

2. 优点

1、相对于单个文件系统或是硬盘,分区可以存储更多的数据;

2、数据管理比较方便,比如要清理或废弃某年的数据,就可以直接删除该日期的分区数据即可;

3、精准定位分区查询数据,不需要全表扫描查询,大大提高数据检索效率;

4、可跨多个分区磁盘查询,来提高查询的吞吐量;

5、在涉及聚合函数查询时,可以很容易进行数据的合并;

3. 分类

3.1水平分区

-背景:数据量庞大

-介绍:对表的行进行分区,不同物理不同分组里面的物理分割数据集得以组合,从而进行个体分割或集体分割。所有在表中定义的列在每个数据中都能找到。所以表的特性依然得以保持。(每行数据的字段不减少)

3.2垂直分区

-背景:每行数据字段多,但有些字段包含大text且不经常被访问,这些字段就需要被切割出去。

-介绍:对表的垂直划分来减少目标表的宽度,使某些特定的列被划分到特定的分区,每个列都包含了其中的列所对应的行。

4. 使用场景

* 一张表的查询速度已经慢到影响使用;

* SQL经过优化还是很慢;

* 数据量大;

* 表中的数据是分段的;

* 对数据的操作往往只涉及一部分,而不是所有的数据。

二、分表

1. 定义

就是把一张表按一定的规则分解成N个具有独立存储空间的实体表。系统读写时需要根据定义好的规则得到对应的字表明,然后操作它。

1

2. 作用

* 减少查询时间

* 磁盘I/O性能提高(数据分布在不同的文件)

* 读写锁影响的数据量小

* 插入数据库需要建立索引的数据减少

3. 使用场景

* 一张表的查询速度慢到影响使用时;

* SQL经过优化;

* 数据量大;

* 当插入数据或联合查询速度变慢时。

4. 分区和分表的区别

* 目的都是减少数据库的负担,提高表的增删改查效率。

* 分区只是一张表中的数据的存储位置发生改变,分表是将一张表分成多张表。

* 当访问量大且表数据比较大时,两种方式可以互相配合使用。

* 当访问量不大,但表数据比较多时,可以只进行分区。

5. 常见分区分表的规则策略

* Range(区域、距离等)

* Hash

* 按照时间拆分

* Hash之后按照分表个数取模

三、分库

——一旦分表,一个库中的表就会越来越多。

1. 目的

为突破单节点数据库服务器的I/O能力限制,解决数据库扩展性问题。

2. 水平拆分

-将一张表分成多张表并存放在不同的数据库中。

-问题:

1.影响主键自增;

2.单表查询会变成多表(如count函数操作)

3. 垂直拆分

-将系统中不存在关联关系或需要join的表可以放在不同数据库不同的服务器中。

-问题:

1.ACID被打破;

2.Join操作困难;

3.外键约束受到影响。

4. 应用背景

* 单台DB的存储空间不够

* 随着查询量的增加,单台数据库服务器已经没法支撑

垂直分库-->水平分库-->读写分离

总结:优先考虑分区,当分区不能满足需求时,开始考虑分表,合理的分表对效率的提升会优于分区。