MySQL 数据库中删除重复数据的方法
演示数据,仅供参考
查询表结构:
mysql> desc test;
+-------+------------------+------+-----+---------+----------------+
| Field | Type | Null | Key | Default | Extra |
+-------+------------------+------+-----+---------+----------------+
| id | int(11) unsigned | NO | PRI | NULL | auto_increment |
| site | varchar(100) | NO | MUL | | |
+-------+------------------+------+-----+---------+----------------+
2 rows in set (0.00 sec)
查询数据:
mysql> select * from test order by id;
+----+------------------------+
| id | site |
+----+------------------------+| 1 | http://www.baidu.com |
| 2 | http://www.hao123.com |
| 3 | http://www.huwei.com |
| 4 | http://www.baidu.com |
| 5 | http://www.huwei.com |
+----+------------------------+
5 rows in set (0.00 sec)
当没有创建表或创建索引权限的时候,如果你要删除较旧的重复记录,可以使用下面的语句:
mysql> delete from a
-> using test as a, test as b
-> where (a.id > b.id)
-> and (a.site = b.site);
Query OK, 2 rows affected (0.12 sec) mysql> select * from test order by id;
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.baidu.com |
| 2 | http://www.hao123.com |
| 3 | http://www.huwei.com |
+----+------------------------+
3 rows in set (0.00 sec)
如果你要删除较新的重复记录,可以使用下面的语句:
mysql> delete from a
-> using test as a, test as b
-> where (a.id < b.id)
-> and (a.site = b.site);
Query OK, 2 rows affected (0.12 sec) mysql> select * from test order by id;
+----+------------------------+
| id | site |
+----+------------------------+
| 2 | http://www.hao123.com |
| 4 | http://www.baidu.com |
| 5 | http://www.huwei.com |
+----+------------------------+
3 rows in set (0.00 sec)
你可以用下面的语句先确认将被删除的重复记录:
mysql> SELECT a.*
-> FROM test a, test b
-> WHERE a.id > b.id
-> AND (a.site = b.site);
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.baidu.com |
| 3 | http://www.huwei.com |
+----+------------------------+
2 rows in set (0.00 sec)
如果有创建索引的权限,在表上创建唯一键索引,可以用下面的方法:
mysql> alter ignore table test add unique index ukey (site);
Query OK, 5 rows affected (0.46 sec)
Records: 5 Duplicates: 2 Warnings: 0 mysql> select * from test order by id;
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.baidu.com |
| 2 | http://www.hao123.com |
| 3 | http://www.huwei.com |
+----+------------------------+
3 rows in set (0.00 sec)
重复记录被删除后,如果需要,可以删除索引:
mysql> alter table test drop index ukey;
Query OK, 3 rows affected (0.37 sec)
Records: 3 Duplicates: 0 Warnings: 0
如果有创建表的权限,创建一个新表,然后将原表中不重复的数据插入新表:
mysql> create table test_new as select * from test group by site;
Query OK, 3 rows affected (0.19 sec)
Records: 3 Duplicates: 0 Warnings: 0 mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| test |
| test_new |
+----------------+
2 rows in set (0.00 sec) mysql> select * from test order by id;
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.baidu.com |
| 2 | http://www.hao123.com |
| 3 | http://www.huwei.com |
| 4 | http://www.baidu.com |
| 5 | http://www.huwei.com |
+----+------------------------+
5 rows in set (0.00 sec) mysql> select * from test_new order by id;
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.baidu.com |
| 2 | http://www.hao123.com |
| 3 | http://www.huwei.com |
+----+------------------------+
3 rows in set (0.00 sec)
然后将原表备份,将新表重命名为当前表:
mysql> rename table test to test_old, test_new to test;
Query OK, 0 rows affected (0.04 sec) mysql> show tables;
+----------------+
| Tables_in_test |
+----------------+
| test |
| test_old |
+----------------+
2 rows in set (0.00 sec) mysql> select * from test order by id;
+----+------------------------+
| id | site |
+----+------------------------+
| 1 | http://www.baidu.com |
| 2 | http://www.hao123.com |
| 3 | http://www.huwei.com |
+----+------------------------+
3 rows in set (0.00 sec)
注意:使用这种方式创建的表会丢失原表的索引信息!
mysql> desc test;
+-------+------------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------+------------------+------+-----+---------+-------+
| id | int(11) unsigned | NO | | 0 | |
| site | varchar(100) | NO | | | |
+-------+------------------+------+-----+---------+-------+
2 rows in set (0.00 sec)
MySQL 数据库中删除重复数据的方法的更多相关文章
- 清空SQL Server数据库中所有表数据的方法(转)
清空SQL Server数据库中所有表数据的方法 其实删除数据库中数据的方法并不复杂,为什么我还要多此一举呢,一是我这里介绍的是删除数据库的所有数据,因为数据之间可能形成相互约束关系,删除操作可能陷入 ...
- 清空SQL Server数据库中所有表数据的方法
原文:清空SQL Server数据库中所有表数据的方法 其实删除数据库中数据的方法并不复杂,为什么我还要多此一举呢,一是我这里介绍的是删除数据库的所有数据,因为数据之间可能形成相互约束关系,删除操作可 ...
- MySQL_(Java)使用JDBC向数据库中删除(delete)数据
MySQL_(Java)使用JDBC向数据库发起查询请求 传送门 MySQL_(Java)使用JDBC向数据库中插入(insert)数据 传送门 MySQL_(Java)使用JDBC向数据库中删除(d ...
- C#实现MySQL数据库中的blob数据存储
在MySQL数据库中,有一种blob数据类型,用来存储文件.C#编程语言操作MySQL数据库需要使用MySQL官方组件MySQL.Data.dll. Mysql.Data.dll(6.9.6)组件下载 ...
- MySQL中删除重复数据的简单方法,mysql删除重复数据
MYSQL里有五百万数据,但大多是重复的,真实的就180万,于是想怎样把这些重复的数据搞出来,在网上找了一圈,好多是用NOT IN这样的代码,这样效率很低,自己琢磨组合了一下,找到一个高效的处理方式, ...
- MSSQL如何在没有主键的表中删除重复数据
为了对重复数据进行实验,下面建一个设计不太好(没有主键)表并插入了一些重复数据: create database testdb use testdb ; go create table DupsNoP ...
- MySQL查询及删除重复记录的方法
查询及删除重复记录的方法(一)1.查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断select * from peoplewhere peopleId in (select p ...
- mysql 存储过程批量删除重复数据
表结构: LOAD DATA INFILE '/usr/local/phone_imsi_12' replace INTO TABLE tbl_imsi2number_new FIELDS TERMI ...
- Oracle 数据库表删除重复数据
删除重复数据并保留一条 方法一 1.建立临时表,记录重复的数据 create table 临时表 as select a.字段1,a.字段2,max(a.rowid) as dataid from 原 ...
随机推荐
- Python 学习 第16篇:数据类型(字典和Json)
字典是键/值对构成的集合,字典通过大括号来创建,字典的键是字符串,而值可以是任何数据对象. 字典有两个重要的特征: 字典是无序的,字典项没有特定的顺序,只能通过键来获取值: 字典是可变的,支持原处修改 ...
- 测试工程师技术tree(“自言自语”)
理论部分 1.测试分为哪几个阶段 2.测试的流程是什么 3.如何做好测试计划 4.常见的测试用例设计方法有哪些 5.一条bug记录包含哪些内容 5.如何分层自动化测试 6.如何保证脚本的有效性 7.如 ...
- python基础—条件语句
一.Python基础 1.第一句python print('hello,world') Q: 后缀名可以任意? A: 导入模块时,如果不是.py后缀,会出错. 2.两种执行的方式: -python解 ...
- DevExpress的TreeList实现自定义右键菜单打开文件选择对话框
场景 DevExpress的TreeList实现节点上添加自定义右键菜单并实现删除节点功能: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/det ...
- CSS3 过渡---transition
过渡(transition)是CSS3中具有颠覆性的特征之一,我们可以在不使用 Flash 动画或 JavaScript 的情况下,当元素从一种样式变换为另一种样式时为元素添加效果. 过渡动画: 是从 ...
- 专访腾讯方亮:WeTest品牌全面升级,“好的产品一定深谙人性”
工欲善其事,必先利其器.在当下竞争激烈的市场环境中,精品,已经成为所有游戏厂商安身立命之本.但如何提升品质,使产品成为精品,行业内却长期缺乏公开.透明,以及具备实际参考.实操价值的标准. 制定一项标准 ...
- Mybatis书写
Mybatis设置主键和自增 方法1: <insert id="insert" parameterType="Person" useGeneratedKe ...
- docker安装执行问题
ubuntu14.04上安装docker问题: sudo apt-get update curl -fsSL https://get.docker.com -o get-docker.sh sh ge ...
- Wireshark抓包笔录--之指定IP地址筛选捕获结果
Wireshark安装 1.去官网下载相应的安装包 地址如下:https://www.wireshark.org/ 2.安装步骤,一路next,需要同意的地方点同意 3.安装完成后打开软件,如下: W ...
- 201271050130-滕江南-《面向对象程序设计(java)》第十六周学习总结
201271050130-滕江南-<面向对象程序设计(java)>第十六周学习总结 博文正文开头格式:(2分) 项目 内容 这个作业属于哪个课程 https://www.cnblogs.c ...