14 count(*)

count(*)实现方式

首先要声明,在不同的mysql引擎中,count(*)有不同的实现方式。

--myisam引擎把一个表的总行数存在了磁盘,因此执行count(*)的时候会直接返回这个树,效率很高。

--而innodb引擎就麻烦了,执行count(*)的时候,需要把数据一行一行的从引擎里面读出来,然后累计计数。

这里需要注意的是,这篇文章里讨论的是没有过滤条件的count,如果加了where条件的话,myisam表也不是能返回这么快的。

为什么innodb不跟myisam一样,也把数字存起来呢?

这是因为即使是在同一时刻的多个查询,由于多版本并发控制MVCC的原因,innodb表”应该返回多少行”也是不确定。这里,举一个例子

假设表t中现在有10000条记录,设计了三个用户并行的会话

--会话a先启动一个事务并查询一次表的总数

--会话b启动事务,插入一行记录后,查询表的总数

--会话c先启动一个单独的语句,插入一行,查询表的总行数。

Session a

Session b

Session c

begin;

select count(*) from t;

insert into t(插入一行)

begin;

insert into t(插入一行)

select count(*) from t;

返回10000

select count(*) from t;

返回10002

select count(*) from t;

返回10001

你会看到,在最后一个时刻,三个会话a、b、c会同时查询表t的总数,但拿到的结果却不一样。

对于innodb来说,count(*)请求,innodb会把数据一行一行地读出来依次判断,可见的行才能够被统计。

Innodb是索引组织表,主键索引树的叶子节点是数据,而普通索引树的叶子节点是主键值,所以,普通索引树比主键索引树小很多,对于count(*)这样的操作,

遍历那个索引树得到的结果逻辑上都是一样的,因此,mysql优化器会找最小的那棵树来遍历,在保证逻辑正确的前提下,尽量减少扫描的数据量,是数据库系统设计的通用法则之一

用过show table status的话,发现这个命令输出结果里面也有table_rows用于显示这个表有多少行,这个命令执行挺快的,但是能用table_rows代替count(*)吗?

索引统计的值是通过采样估计计算的,实际上,table_rows就是从这个采样估算得来的,所以,table_rows不能直接使用。

--myisam表虽然count(*)很快,但不支持事务

--show table status命令返回虽然快,但是不准确

--innodb表直接count(*)会遍历全表,虽然结果准确,但会导致性能问题。

用缓存系统保存计数

对于更新频繁的库来说,你可能第一时间会想到,用缓存系统来支持计数

你可以用一个redis服务来保存这个表的总行数,这个表每被插入一行redis计数就加1,每被删除一行redis计数就减1,这种方式下,读和更新操作都很快,但是,这种方式会存在缓存系统可能会丢失更新。

Redis的数据不能永远留在内存里,所以会找个地方把这个值持久化的存储起来,即使这样,仍然可能丢失更新,redis异常重启,到数据库单独执行一次count(*)来保证计数的正确性。

在并发系统里面,无法精确控制不同线程的执行时刻的,计数在逻辑上可能不精确。

在数据库保存计数

如果把计数直接放到数据库里单独的一张计数表中,又会怎么样呢?

首先,这解决了崩溃丢失的问题,innodb是支持崩溃恢复不丢失数据的。

然后,看能不能解决计数不精确的问题

利用事务特性来保证逻辑上的一致

begin;

计数表数值加1

插入一行数据

commit;

不同的count用法

在select count(?) from t,这样的查询里面count(*),count(pk id),count(col),count(1)等不同用法的性能有那些差别

基于innodb引擎,count()语义是一个聚合函数,对于返回的结果集,一行行的判断,如果count函数的参数不是null,累计值加1,否则不加,最后返回累计值。

所以,count(*),count(pk id),count(1)都表示返回满足条件的结果集的总行数,而count(col)则表示返回满足条件的数据行里面,参数字段不为null的总个数。

至于分析性能差别的时候,可以记住这几个原则

--server层要什么就给什么

--innodb只给必要的值

--现在的优化器只优化了count(*)的语义为取行数,其他的优化并没有做

对于count(pk id)来说,innodb引擎会遍历整张表,把每一行的id值都取出来,返回给server层,server层拿到id后,判断是不可能为null的,就按行累加

对于count(1)来说,innodb引擎遍历整张表,但不取值,server层对于返回的每一行,放一个数字”1进去,判断是不可能为null的,按行累加

单看这两个用法的差别的话,能对比出来,count(1)执行要比count(pk id)快,因为从引擎返回id会涉及到解析数据行,以及拷贝字段值的操作。

对于count(col)来说

--如果这个字段定义为not null,一行行地从记录里面读出这个字段,判断不能为null,按行累加

--如果这个字段定义允许为null,那么执行的时候,判断到有可能是null,还要把值取出来再判断一下,不是null才累加

但是count(*)是例外,并不会把全部字段取出来,而是专门做了优化,不取值,count(*)肯定不是null,按行累加。

所以结论是:按照效率排序的话,count(col)<count(pk id)<count(1)<count(*),所以,建议尽量用count(*).

14 count(*)的更多相关文章

  1. 14 | count(*)这么慢,我该怎么办?

    在开发系统的时候,你可能经常需要计算一个表的行数,比如一个交易系统的所有变更记录总数.这时候你可能会想,一条select count(*) from t 语句不就解决了吗? 但是,你会发现随着系统中记 ...

  2. Mongodb学习笔记四(Mongodb聚合函数)

    第四章 Mongodb聚合函数 插入 测试数据 ;j<;j++){ for(var i=1;i<3;i++){ var person={ Name:"jack"+i, ...

  3. [转载]Java数组扩容算法及Java对它的应用

    原文链接:http://www.cnblogs.com/gw811/archive/2012/10/07/2714252.html Java数组扩容的原理 1)Java数组对象的大小是固定不变的,数组 ...

  4. Linq中关键字的作用及用法

    Linq中关键字的作用及用法 1.All:确定序列中的所有元素是否都满足条件.如果源序列中的每个元素都通过指定谓词中的测试,或者序列为空,则为 true:否则为 false. Demo: 此示例使用 ...

  5. 各种demo——CI框架学习

    各种demo——CI框架学习   寒假学习一下CI框架,请各位多多指教! 一.CI的HelloWorld! 注意:CI禁止直接通过文件目录来访问控制器. ./application/controlle ...

  6. server-pc--------------->lspci,lsusb,meminfo等配置信息

    安装yum install pciutils usbutils [root@server09 ~]# [root@server09 ~]# lspci00:00.0 Host bridge: Inte ...

  7. iOS上文本绘制的几种方法

    文本绘制在开发客户端程序中是一个比较常用的功能,可分为采用控件和直接绘制两种方式. 采用控件的方式比较简便,添加一个比如UILabel对象,然后设置相关属性就好了.但这种方式局限性也比较大. 直接绘制 ...

  8. 生成N个不重复的随机数(转)

    有25幅作品拿去投票,一次投票需要选16幅,单个作品一次投票只能选择一次.前面有个程序员捅了漏子,忘了把投票入库,有200个用户产生的投票序列为空.那么你会如何填补这个漏子? 当然向上级反映情况.但是 ...

  9. PYTHON-进阶-ITERTOOLS模块

    PYTHON-进阶-ITERTOOLS模块小结 这货很强大, 必须掌握 文档 链接 pymotw 链接 基本是基于文档的翻译和补充,相当于翻译了 itertools用于高效循环的迭代函数集合 组成 总 ...

随机推荐

  1. P2634 树上路径长度为3的倍数的点对数 点分治

    在计算答案的时候维护一个数组num num[i]为当前所有点距离根距离%3的数量 则当前块的答案为num[0]*num[0]+2*num[1]*num[2] #include<bits/stdc ...

  2. tbdr+mrt

    有关mrt的在tbdr的架构下的内存排布 system memory肯定是dither 我对这里把握比较大 rt0 rgba8 rt1 r8 这样像素排列是rgba8r8rgba8r8rgba8r8. ...

  3. Java-JsonUtil工具类

    import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; i ...

  4. 题解 【POJ1014】 Dividing

    题目意思 有六种不同的石子,权值为\(1\)~\(6\),给出六种石子的数量,求能否将石子分成权值相等的两份. 解析 这题可以直接用多重背包写, 因为仔细想想, 能够平均分成两份, 也就是能将一部分石 ...

  5. PHP回顾(4)文件相关函数

    touch()          创建文件 (修改时间,不存在时创建) copy()            复制文件,复制过程中可以修改文件名 rename()        重命名 或  移动文件  ...

  6. 【Python网络】子网划分

    ip地址的结构和分类 根据 TCP/IP 协议,连接在internet上的每个设备都必须有一个ip地址 他是一个32位二进制数,也可以用点分十进制表示,每八位一组,用一个十进制表示即0-255,每组用 ...

  7. canvas小实验

    <!doctype html> <html lang="en"> <head> <meta charset="UTF-8&quo ...

  8. MySQL_(Java)【事物操作】使用JDBC模拟银行转账向数据库发起修改请求

    MySQL_(Java)使用JDBC向数据库发起查询请求 传送门 MySQL_(Java)使用JDBC向数据库中插入(insert)数据 传送门 MySQL_(Java)使用JDBC向数据库中删除(d ...

  9. Xpath中text(),string(),data()的区别

    摘要: 在XPath中,经常使用text()和string(),而我一般都是想到哪个用哪个,究竟他们之间有什么不同,没有在意过. 本质区别 text()是一个node test,而string()是一 ...

  10. BeanFactory和ApplicationContext的区别+部分Spring的使用

    BeanFactory和ApplicationContext的区别 ApplicationContext 方式加载:创建容器的同时 容器初始化,容器所有的bean创建完毕   Spring容器中获取一 ...