删除MySQL重复数据 项目背景 在最近做的一个linux性能采集项目中,发现线程的程序入库很慢,再仔细定位,发现数据库里面很多冗余数据.因为在采集中,对于同一台设备,同一个时间点应该只有一个数据,然而,数据库中存入了多个数据.对于如何造成了这个结果,一时没有想清楚,但为了解决入库慢的问题,首先要删除冗余数据. 问题描述 数据库的表结构很简单,如下: +----------------+--------------+------+-----+---------+-------+ | Field…

假设有表test mysql> select * from test; +----+------+------+ | id | name | sex | +----+------+------+ | | a | f | | | b | f | | | a | e | | | b | e | | | c | e | | | d | e | +----+------+------+ rows in set (0.00 sec) 现在要找出name列有重复的数据 mysql> ; +------+…

对于一个表,有时可能里面有很多重复的条,比如: +-----------+---------+| coupon_id | user_id |+-----------+---------+| 8 | 15 || 5 | 15 || 8 | 15 || 6 | 15 || 5 | 15 || 8 | 15 || 6 | 15 || 10 | 15 || 10 | 15 || 10 | 15 || 11 | 15 || 12 | 15 || 13 | 15 |+-----------+--------…

用SQL语句,删除掉重复项只保留一条 在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢 .查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断 select * from people ) .删除表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断,只留有rowid最小的记录 delete from people ) ) .查找表中多余的重复记录(多个字段) select * from vitae a ) .删除表中多余的重复记录(多个字…

删除数据库中重复的记录,只保留一条 DELETE FROM tb_gps_records WHERE id NOT IN (SELECT bid FROM (SELECT min(id) as bid FROM tb_gps_records GROUP BY busNo,longitude,latitude)as b); //cityId=287 DELETE FROM tb_gps_records WHERE cityId=287 and id NOT IN (SELECT bid FROM…

CREATE TABLE tmp AS (SELECT DISTINCT * FROM oa_organization);--将不重复的数据存入新建临时表tmp DELETE FROM oa_organization;--删除对应的表 INSERT INTO oa_organization SELECT * FROM tmp;--把临时表里的数据存入对应的表 DROP TABLE tmp;--删除临时表…

delete from information where id in (select id from (select max(id) as id,count(*) as ccc from information GROUP BY encoding HAVING ccc>1 ) as tab)…

需求场景: 有一业务数据库,使用MySQL 5.5版本,每天会写入大量数据,需要不定期将多表中“指定时期前“的数据进行删除,在SQL SERVER中很容易实现,写几个WHILE循环就搞定,虽然MySQL中也存在类似功能,怎奈自己不精通,于是采用Python来实现 话不多少,上脚本: # coding: utf-8 import MySQLdb import time import os # delete config # 如果VIEW_OR_RUN = "VIEW",仅生成小批量删除的…

insert into table (id, name, age) values(1, "A", 19) on duplicate key update name=values(name), age=values(age) /* 插入数据:如果有重复的则选择更新; */ insert ignore into `testtable` (`mpass`,`pass`) select mpass,pass from rr_pass_0 limit 0,1000000 replace into…

使用这个方法前,强烈建议先备份整个数据库.至于怎么备份?你不会么?在本文下方留言吧. 具体方法:复制下面的php执行语句,保存为sql.php文件(注意配置数据库名称.密码.数据表头),通过ftp上传到网站跟目录,运行. <?php //设置数据库连接信息.数据库服务器地址,数据库用户名,数据密码 mysql_connect('localhost','root','123456'); //设置查询的数据库名称,比如CMSYOU当前设置的是phpcms mysql_select_db('phpcm…