【Mysql】mysql使用触发器创建hash索引
概述
若设计的数据表中,包含较长的字段,比如URL(通常都会比较长),查询时需要根据该字段进行过滤:
select * from table_xxx where url = 'xxxxxxx';
为了提高查询性能,通常需要对字段做索引,在Innodb中,如果使用URL做索引,将会导致:
- 索引存储占用空间大;
- 索引查询比较性能差;
为了解决上面的问题,有如下解决方案:
- 对URL做hash,hash作为记录的一个字段,查询时,使用该hash值做过滤;
- 使用触发器对更新和插入的数据做hash,不需要手动计算hash;
- hash碰撞:如果表中记录条数很多,则应该选择合适的hash,避免大量的hash碰撞;
- hash碰撞: 查询时,除了使用hash进行过滤,还需要使用url进行过滤;
创建数据表 + 触发器进行hash运算
假设需要使用如下查询:
select id from table where url='http://xxx.xxx.com/xxxxxxxxxxxxxxxxxxxx';
分析:
- URL通常比较长,如果在URL上创建索引,无论是存储和检索,效率都会非常低;
- 可以对URL做Hash,在该HASH值进行索引,这样的查询性能会非常高;
** 使用触发器创建表和hash索引**
CREATE TABLE `url_hash` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`url` varchar(255) COLLATE utf8_bin NOT NULL,
`url_crc` int(10) unsigned NOT NULL DEFAULT '0',
PRIMARY KEY (`id`),
KEY `url_crc_idx` (`url_crc`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 COLLATE=utf8_bin;
DELIMITER //
CREATE TRIGGER `urlhash_crc_insert` BEFORE INSERT ON `url_hash` FOR EACH ROW
set NEW.url_crc=crc32(NEW.url);
END;
//
CREATE TRIGGER `urlhash_crc_update` BEFORE UPDATE ON `url_hash` FOR EACH ROW
set NEW.url_crc=crc32(NEW.url);
END;
//
DELIMITER ;
说明:
- DELIMITER :先修改一下语句分隔符,这样就可以在触发器中使用分号;
- 在insert和update前设置触发器,对每一条记录的URL做crc32 Hash运算;
验证
插入数据
insert into url_hash(url) values('http://www.baidu.com');
insert into url_hash(url) values('http://www.cnblogs.com/ssslinppp');
*结果
select * from url_hash;
+----+----------------------------------+------------+
| id | url | url_crc |
+----+----------------------------------+------------+
| 1 | http://www.baidu.com | 3500265894 |
| 2 | http://www.cnblogs.com/ssslinppp | 3363624100 |
+----+----------------------------------+------------+
如何查询
select * from url_hash where url='http://www.baidu.com' and url_crc=crc32('http://www.baidu.com');
+----+----------------------+------------+
| id | url | url_crc |
+----+----------------------+------------+
| 1 | http://www.baidu.com | 3500265894 |
+----+----------------------+------------+
注意点:
- 查询时,必须将url作为过滤条件,因为可以产生hash碰撞;
选择合适的Hash计算方式
不要使用sha1()和md5作为hash函数
因为上面两个计算的hash值通常都会特别长,浪费空间,比较时也会更慢;
数据表非常大,不建议使用crc32()进行hash计算
crc32()返回的是32位的整数,因为所谓的生日悖论
,当数据表非常大时,将会产生大量的hash碰撞;
当条数>9.3w时,碰撞的概率:1%;
自定义hash函数
返回一个64位的整数(不是字符串
)就可以;
比如:fnv64()函数作为hash函数(改函数默认不包含,可以移植进来);
【Mysql】mysql使用触发器创建hash索引的更多相关文章
- 【转载】Mysql中的Btree与Hash索引比较
转载地址:http://www.jb51.net/article/62533.htm 这篇文章主要介绍了Mysql中的Btree与Hash索引比较,本文起讲解了B-Tree 索引特征.Hash 索引特 ...
- 警惕 InnoDB 和 MyISAM 创建 Hash 索引陷阱
MySql 最经常使用存储引擎 InnoDB 和 MyISAM 都不支持 Hash 索引,它们默认的索引都是 B-Tree.可是假设你在创建索引的时候定义其类型为 Hash,MySql 并不会报错,并 ...
- mysql触发器与hash索引
url查询哈希值的维护 触发器 2.1 创建表 pseudohash. 2.2 创建触发器,当对表进行插入和更新时,触发 触发器 delimiter |create trigger pseudohas ...
- mysql InnoDB引擎是否支持hash索引
看一下mysql官方文档:https://dev.mysql.com/doc/refman/5.7/en/create-index.html , 从上面的图中可以得知,mysql 是支持hash索引的 ...
- Mysql中的Btree与Hash索引
B-Tree 索引特征 B-Tree索引可以被用在像=,>,>=,<,<=和BETWEEN这些比较操作符上.而且还可以用于LIKE操作符,只要它的查询条件是一个不以通配符开头的 ...
- MySQL的btree索引和hash索引的区别
Hash 索引结构的特殊性,其检索效率非常高,索引的检索可以一次定位,不像B-Tree 索引需要从根节点到枝节点,最后才能访问到页节点这样多次的IO访问,所以 Hash 索引的查询效率要远高于 B-T ...
- MySQL索引类型 btree索引和hash索引的区别
来源一 Hash 索引结构的特殊性,其检索效率非常高,索引的检索可以一次定位,不像B-Tree 索引需要从根节点到枝节点,最后才能访问到页节点这样多次的IO访问,所以 Hash 索引的查询效率要远高于 ...
- mysql索引hash索引和b-tree索引的区别
Hash 索引结构的特殊性,其检索效率非常高,索引的检索可以一次定位,不像B-Tree 索引需要从根节点到枝节点,最后才能访问到页节点这样多次的IO访问,所以 Hash 索引的查询效率要远高于 B-T ...
- MySQL的btree索引和hash索引的区别 (转)
Hash 索引结构的特殊性,其检索效率非常高,索引的检索可以一次定位,不像B-Tree 索引需要从根节点到枝节点,最后才能访问到页节点这样多次的IO访问,所以 Hash 索引的查询效率要远高于 B-T ...
随机推荐
- http解析过程
HTTP协议定义Web客户端如何从Web服务器请求Web页面,以及服务器如何把Web页面传送给客户端.HTTP协议采用了请求/响应模型.客户端向服务器发送一个请求报文,请求报文包含请求的方法.URL. ...
- SFM学习记录(二)
分析生成文件 在.nvm.cmvs/00/下有:(也可能是其他数字) models/option-0000.ply:是生成的密集点云模型 txt:文件夹下(还没弄明白ν_v) visualize:保存 ...
- 2016 ACM-ICPC EC-Final
题目链接:Uva传送门 CFGym传送门 UVALive7897 Number Theory Problem (找规律签到) 思路: 8的幂次都是可以的,因为an-1一定能分解成a-1乘上一个多项式. ...
- java sftp 报错 Permission denied (没有权限;拒绝访问)
解决办法: 1.检查账号密码是否错误 2.检查freeSSHD是否是以管理员身份运行的 3.检查sftp路劲有没有配置错误,java通过sftp将图片文件传输到指定文件夹,如果这个文件夹在配置的当前目 ...
- NYOJ 85:有趣的数(打表,规律)
85-有趣的数 内存限制:64MB 时间限制:3000ms 特判: No 通过数:8 提交数:12 难度:2 题目描述: 把分数按下面的办法排成一个数表. 1/1 1/2 1/3 1/4- 2/1 2 ...
- 51Nod 1084:矩阵取数问题 V2(多维DP)
1084 矩阵取数问题 V2 基准时间限制:2 秒 空间限制:131072 KB 分值: 80 难度:5级算法题 收藏 关注 一个M*N矩阵中有不同的正整数,经过这个格子,就能获得相应价值的奖励 ...
- 实验吧—Web——WP之 what a fuck!这是什么鬼东西?
打开链接——> 发现是一大堆符号,可能有些人见过这些样子的,这是一种编码方式,叫:jother编码 jother编码是一种运用于javasscript语言中利用少量字符构造精简的匿名函数方法,对 ...
- 【BZOJ4300】 绝世好题
傻逼题都不能一眼看出思路…… 原题: 给定一个长度为n的数列ai,求ai的子序列bi的最长长度,满足bi&bi-1!=0(2<=i<=len). n<=100000,ai&l ...
- spring事务中出现oracle游标溢出的解决方案
本例事务中大量查询SQL语句,会导致oracle游标溢出:对于数据库游标出现解决方案:1.大量查询SQL语句取消事务,只针对插入/更新 做事务处理2.用临时表代替大量查询SQL语句推荐使用第二种方案
- oracle完全恢复数据库
完全恢复数据文件 rman target/ list backup summary; 查看是否有备份,如果没有备份,先进行全备份(应该是backup database吧) 现在模拟删除oracle数据 ...