msyql分区与分库分表

分区

• 工作原理

  对用户而言，分区表是一个独立的逻辑表，但是底层MySQL将其分成多个物理子表，这对用户来说是透明的，每一个分区表都会使用一个独立的表文件。

  如果数据量比较大，可以进行分区。分区对PHP层面是无感知的，对代码没有改变。但是需要对mysql的表来做一个物理层面的拆分。将数据通过一些策略进行拆分，客户也是无感知的，对业务逻辑也没有什么影响。

  创建表时使用partition by 子句定义每个分区存放的数据，比如年龄，地区等等。执行查询时，优化器会根据分区定义过滤那些没有我们需要数据的分区，这样查询只需要查询所需数据存在的分区即可。

• 目的

  将数据按照一个较粗的力度分在不同的表中，这样可以将相关的数据存放在一起。而且如果想一次性删除整个分区的数据也很方便。

• 使用场景

  • 表非常大或者只在表的最后有热点数据，其它都是历史数据。可以分区

  • 分区表的数据更容易维护，可以对独立的分区进行独立的操作，就相当于独立的表，不过用户感知不到

  • 分区表的数据可以分布在不同的机器上，从而高效利用资源。

  • 可以使用分区表来避免某些特殊的瓶颈。比如数据库的特殊查询等等。

  • 可以备份和恢复独立的分区。

• 限制

  • 一个表最多只能有1024个分区

  • 最好用mysql5.5以上的，可以使用列分区。否则mysql中含有null会使分区过滤无效。

  • 分区字段中如果有主键 和唯一索引列，那么主键列和唯一列都必须包含进来。

  • 分区表中不能有外键索引

  • 分区需要对现有表的结构进行修改

  • 所有分区必须使用相同的存储引擎

  • 选择分区的成本可能很高，因为服务器需要扫描所有分区定义的列表来找到匹配的值，分区越多，成本越高。哈希分区和键分区没有这样的问题。

  • 分区函数中可以使用的函数和引擎也有一些限制。某些引擎不支持分区，如MERGE存储引擎 。

  • 对于MyISAM的分区表，不能使用load index into cache ，因为不能把索引再缓存到内存当中

  • 对于MyISAM 表，使用分区表时需要打开更多的文件描述符，相对来说会降低查询的效率

    详细

分表

• 工作原理

  通过一些hash算法或者工具实现将一张数据表垂直或者水平进行物理切分。

• 使用场景

  • 单表记录条数达到百万甚至千万级别

  • 解决表锁的问题

• 分表方式

  • 水平分割：

    • 表很大，分割后可以降低查询时需要读的数据和索引的页数 ，同时也降低了索引的层数，提高了查询的速度。行变列不变

    • 使用场景：

      • 表中的数据本身就有独立性，例如表中分别记录各个地区的数据，有些数据活跃，有些不活跃

      • 需要把数据存放在多个介质上，比如说把最新的数据放在缓存里边，或者放在不同服务器里利用服务器的资源

    • 缺点

      • 给应用增加复杂度，查询时需要查询多个表名，查询所有数据需要union操作

      • 在许多数据库应用中，这种复杂度会超过它所带来的优点，查询时会增加一个索引层的的磁盘次数

  • 垂直分表

    • 把主键和一些列放在一个表，然后把主键和另外的列放在另一个表中。列变行不变

    • 适用场景

      • 某些列常用，某些列不常用

      • 可以使数据行变小，一个数据页能存储更多数据，查询时减少i/o次数，对于i/o来说有一定优化

        数据页存储与磁盘之间的关系

    • 缺点

      • 会有冗余列，查询所有数据时需要join操作

  • 分库分表的缺点

    • 有些分表的策略基于应用层的逻辑算法，一旦逻辑算法改变，那么整个分表逻辑就会改变，扩展性较差

    • 对于应用层来说，逻辑算法会增加开发成本