189 8069 5689
mysql数据表中有多条重复数据记录，现在想删除删除部分重复数据，保留最后一条更新或者插入的数据。
八公山ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为创新互联的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：028-86922220（备注：SSL证书合作）期待与您的合作！
以学生表为例，我们创建一个简单的数据表来做实验：
往表里面插入一些实验数据：
我们可以根据分组查询先将重复数据查询出来，同时也可以获取到最后的更新时间，然后再与原表联表查询小于最大时间的数据，将查询出来的数据删除。
------先来慢慢消化-------
在做删除前，我们可以先看看有哪些数据是有重复的：
可以看到张三，李四，王五的数据是有重复的，赵六没有重复，下面我们查找最后更新的记录。
可以看到，最后更新的数据为15:57:46的记录没有在结果中。
可以看到重复记录已经被清理掉。
假如有两行记录是完全一样的，这个方法就不可行了，往表里面在跑一次数据插入：
执行删除计划：
创建一个临时表存放最后插入的一条数据（包含重复与没有重复的），然后清空原表，再将临时表的数据复制到原表中，最后把临时表删除。
这个很好理解，相当于ctrl+c，ctrl+v的操作，数据表如下：
这样数据去重就完成了，需要注意的是， 如果表数据量很大，注意在group by 里面的字段建立索引，同时，生产环境注意好先进行数据备份操作 。
假如我有一张表，
数据在某一个字段有重复（比如我现在的ID重复了）
那么我使用：
SELECT id,COUNT(*) FROM table
GROUP BY id
HAVING COUNT(*) 1;
语句 意思：
从读下来是 查询id，并且统计行数
数据来自 table表
按照id列进行分组（如果我们按照性别分组，那么现出来的数据只有"男 女")
当统计完成后，count的结果大于1才予以显示
简单的来说就是根据id列进行分组统计，大于1的所有数据显示出来：
使用DELETE 配合 IN 进行删除（IN 如果里面是SQL语句，请尽量不要用于线上程序）：
DELETE FROM table WHERE
id IN (
SELECT id FROM (
SELECT id,COUNT(*) FROM table
GROUP BY id
HAVING COUNT(*) 1
) AS a
) LIMIT 1;
MYSQL里有五百万数据，但大多是重复的，真实的就180万，于是想怎样把这些重复的数据搞出来，在网上找了一圈，好多是用NOT IN这样的代码，这样效率很低，自己琢磨组合了一下，找到一个高效的处理方式，用这个方式，五百万数据，十来分钟就全部去除重复了，请各位参考。
第一步：从500万数据表data_content_152里提取出不重复的字段SFZHM对应的ID字段到TMP3表
1 create table tmp3 as select min(id) as col1 from data_content_152 group by SFZHM;
第二步：创建新表RES
1234 CREATE TABLE `res` (`id` int(11),`sfz` char(20)) ENGINE=MyISAM;
第三步：把TMP3表ID对应到data_content_152里需要提取的数据添加到RES表的SFZ字段
1 INSERT INTO res (sfz) SELECT sfzhm FROM data_content_152,tmp3 where data_content_152.id=tmp3.col1
至此，就在MYSQL里实现了，给数据表data_content_152完全删除重复数据，把去重复后的数据导入到RES表。