MySQL 大数据量修改表结构问题
前言:
在系统正常运作一定时间后,随着市场、产品汪的需求不断变更,比较大的一些表结构面临不得不增加字段的方式来扩充满足业务需求;
而 MySQL 在体量上了千万、亿级别数据的时候,Alter Table 的操作,可以让你等一天,而且在高峰期执行这种 SQL 让你的数据库也承担着压力。
第一时间想到的解决方案就是新建一张表,去掉索引等关联关系,然后加上需要修改的字段,接着写上 insert select 语句进行导数据,
后面发现加上重建索引的操作,时间上几乎没有出入;
针对这种问题,赶紧翻翻 《高性能 MySQL》 ,里面有写出一种解决方案,与大家分享一下。
一、工具
// “影子拷贝”,针对不同的场景而言的方式,在一台不提供服务的机器上执行 Alter Table 操作,然后和提供服务器的机器进行切换;
Facebook 数据库运维团队的“online scherma change”工具:
https://launchpad.net/mysqlatfacebook
Shlomi Noach 的 openrak toolkit 工具:
https://launchpad.net/mysqlatfacebook
// 不是所有的 Alter Table 操作都会引起表重建。
二、修改 .frm 文件
// .frm MySQL 数据库表结构定义文件;(.myd 数据文件、.myi 索引文件、.idb 数据&索引文件 [前者 MyISAM 后者 InnoDB])
修改 .frm 文件非官方支持的,也没有文档记录,并且也有可能无法正常工作了,采用这些技术自己承担风险,做好备份!
下面这些操作有可能不需要重建表的:
1、移除(不是增加)一个列的 AUTO_INCREMENT 属性。
2、增加、移除,或更改 ENUM 和 SET 常量。如果移除的是已有行数据用到其值的常量,查询将会返回一个空字符串。
基本的技术是为想要的表结构创建一个新的 .frm 文件,然后用它替换掉已经存在的那张表的 .frm 文件,如下:
1、创建一张有相同结构的空表,并进行所需要的修改(例如增加 ENUM 常量);
2、执行 FLUSH TABLES WITH READ LOCK。这将会关闭所有正在使用的表,并且禁止任何表被打开;
3、交换 .frm 文件;
4、执行 UNLOCK TABLE 来释放第 2 步的读锁;
假如我们需要为那些对电影更加谨慎的父母们增加一个 PG-14 的电影分级:
注意,我们是在常量列表的末尾增加一个新的值。如果把新增的值放在中间,
例如 PG-13 之后,则会导致已存在的数据的含义被改变:已经存在的 R 值将变成 PG-14,
而已经存在的 NC-17 将成为 R,等等。
接下来用操作系统的命令替换 .frm 文件:
/var/lib/mysql/sakial# mv film.frm film_tmp.frm
/var/lib/mysql/sakial# mv film_new.frm film.frm
/var/lib/mysql/sakial# mv film_tmp.frm film_new.frm
再回到 MySQL 命令行,现在可以解锁并查看变更后的效果了:
UNLOCK TABLES;
SHOW COLUMNS FROM sakila.film LIKE 'rating'\G
最后需要做的就是删除这个临时的辅助表了。
MySQL 大数据量修改表结构问题的更多相关文章
- mysql5.5大数据量下表结构升级
升级一张4万多行(增加一个字段),且包含blob字段的表(blob字段包含100KB左右的数据),运行alter语句:ALTER TABLE `imgdetail` ADD COLUMN `uplo ...
- 【1】MySQL大数据量分页查询方法及其优化
---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适应场景: 适用于数据量较少的情况(元组百/千 ...
- MySQL大数据量分页查询
mysql大数据量使用limit分页,随着页码的增大,查询效率越低下. 测试实验 1. 直接用limit start, count分页语句, 也是我程序中用的方法: select * from p ...
- MySQL 大数据量快速插入方法和语句优化
MySQL大数据量快速插入方法和语句优化是本文我们主要要介绍的内容,接下来我们就来一一介绍,希望能够让您有所收获! INSERT语句的速度 插入一个记录需要的时间由下列因素组成,其中的数字表示大约比例 ...
- mysql大数据量下的分页
mysql大数据量使用limit分页,随着页码的增大,查询效率越低下. 测试实验 1. 直接用limit start, count分页语句, 也是我程序中用的方法: select * from p ...
- MySQL大数据量分页查询方法及其优化
MySQL大数据量分页查询方法及其优化 ---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适 ...
- MySQL大数据量分页性能优化
mysql大数据量使用limit分页,随着页码的增大,查询效率越低下. 测试实验 1. 直接用limit start, count分页语句, 也是我程序中用的方法: select * from p ...
- Mysql 大数据量导入程序
Mysql 大数据量导入程序<?xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" ...
- MySQL大数据量快速分页实现(转载)
在mysql中如果是小数据量分页我们直接使用limit x,y即可,但是如果千万数据使用这样你无法正常使用分页功能了,那么大数据量要如何构造sql查询分页呢? 般刚开始学SQL语句的时候,会这 ...
随机推荐
- Jmeter关联技术
JMeter:关联步骤 <1>录制成功,回放失败了: <2>录制两个业务相同的脚本,比对差别,找到动态数据,AptDiff_1.6.zip工具 <3>找到相应请求: ...
- 免费 SSL 安全证书
为了保证网上传输信息的安全而在自己的 Linode VPS 上部署 SSL 加密服务.商业 CA 较贵,所以使用了自己签发的 CA.网友神爱的留言提到了 StartSSL 的免费 CA,稍做了一些调查 ...
- Nginx -HTTP和反向代理服务器简单配置
from:http://blog.sina.com.cn/s/blog_6b64b6a701011feh.html Nginx官方测试能够支持5万并发连接,实际生产环境中可支持2-4万并发连接数. 在 ...
- Loadrunder常见问题汇总(持续更新)
1.LR 脚本为空的解决方法: 1)如果安装了IE以外的浏览器,并且IE不是默认浏览器,则无法生成录制脚本 2)如果录制脚本时IE不能打开,则需要将浏览器的IE工具高级选项中,将“启用第三方浏览器扩展 ...
- C#中往数据库插入空值报错解决方法
C#中的NUll于SQL中的null是不一样的, SQL中的null用C#表示出来就是DBNull.Value 在用C#往数据库里面插入记录的时候, 可能有的字段你不赋值,那么这个字段的值就为null ...
- 【leetcode刷提笔记】Search Insert Position
Given a sorted array and a target value, return the index if the target is found. If not, return the ...
- start、run、join
首先得了解什么是主线程,当Java程序启动时,一个线程立刻运行,该线程通常叫做程序的主线程(main thread).主线程的重要性体现在两方面:1. 它是产生其他子线程的线程:2. 通常它必须最后完 ...
- 记录python面试题
闲来无事,记录一下曾经以及深刻的面试题 记录一下我记忆比较深的面试题,以后若用到python相关还能细细把玩 搜狐面试题: 一.写一个缓存优化策略 解答:这个题主要考察对lru_cache的理解,所以 ...
- Kubernetes Ingress
Kubernetes关于服务的暴露主要是通过NodePort方式,通过绑定node主机的某个端口,然后进行pod的请求转发和负载均衡,但这种方式下缺陷是 Service可能有很多个,如果每个都绑定一个 ...
- 异常:没有找到本地方法库,java.lang.UnsatisfiedLinkError: no trsbean in java.library.path
1.问题描述 迁移环境中遇到这个问题 : Fri Apr 20 15:22:31 CST 2018, Exception:500004___-500004,没有找到本地方法库,java.lang.Un ...