SQL中删除重复数据问题

运维 数据库运维
我们数据库中最后要保留的结果就是第二步中查询出来的数据,我们把其他的数据删除即可。怎么删除呢?我们使用ID来排除。

[[437524]]

本文转载自微信公众号「SQL数据库开发」,作者丶平凡世界  。转载本文请联系SQL数据库开发公众号。

需求分析

数据库中存在重复记录,删除保留其中一条(是否重复判断基准为多个字段)

解决方案

碰到这样的问题我们先分解步骤来看

  • 创建测试数据
  • 找到重复的数据
  • 删除重复的数据并且保留一行

创建测试数据

我们创建一个人员信息表并在里面插入一些重复的数据。

  1. CREATE TABLE [dbo].[Person]( 
  2.  [ID] [INT] IDENTITY(1,1) NOT NULL
  3.  [Name] [VARCHAR](20) NULL
  4.  [Age] [INTNULL
  5.  [Address] [VARCHAR](20) NULL
  6.  [Sex] [CHAR](2) NULL 
  7. ); 
  8.  
  9. SET IDENTITY_INSERT [dbo].[Person] ON
  10. INSERT INTO [dbo].[Person] (ID,Name,Age,Address,Sex) 
  11. VALUES 
  12. ( 1, '张三', 18, '北京路18号''男' ), 
  13. ( 2, '李四', 19, '北京路29号''男' ), 
  14. ( 3, '王五', 19, '南京路11号''女' ), 
  15. ( 4, '张三', 18, '北京路18号''男' ), 
  16. ( 5, '李四', 19, '北京路29号''男' ), 
  17. ( 6, '张三', 18, '北京路18号''男' ), 
  18. ( 7, '王五', 19, '南京路11号''女' ), 
  19. ( 8, '马六', 18, '南京路19号''女' ); 
  20. SET IDENTITY_INSERT [dbo].[Person]  OFF

(提示:可以左右滑动代码)

建立好测试数据如下:

我们发现除了自增长ID不同以为,有几条其他字段都重复的数据出现,符合我们的需求。

找出重复的数据

  1. SELECT MAX(ID) ID  , 
  2. Name,Age,Address,Sex 
  3. FROM dbo.Person 
  4. GROUP BY Name,Age,Address,Sex 
  5. HAVING COUNT(1)>1 

HAVING将分组后统计出来的数量大于1的数据行,就是我们要找的重复数据:

上面用Max函数或者Min函数均可,只是为了保证取出来的数据的唯一性。

删除重复的数据

其实我们数据库中最后要保留的结果就是第二步中查询出来的数据,我们把其他的数据删除即可。怎么删除呢?我们使用ID来排除。

  1. DELETE  FROM Person 
  2. WHERE  EXISTS 
  3. SELECT * FROM ( 
  4. SELECT  
  5. MAX(ID) ID, 
  6. Name,Age,Address,Sex 
  7. FROM dbo.Person 
  8. GROUP BY Name,Age,Address,Sex 
  9. HAVING COUNT(1)>1) T 
  10. WHERE Person.Name=T.Name 
  11. AND Person.Age=T.Age 
  12. AND Person.Address=T.Address 
  13. AND Person.Sex=T.Sex 
  14. AND Person.ID<T.ID--如果上面使用MIN函数,这里就要改成> 

执行完后重新查询Person表结果如下:

马六因为只有一条记录,所以没有参与去重,直接显示。

今天的案例分享结束,小伙伴们可以自己动手尝试一下,兴许工作中也会遇到类似问题。如果你在公众中遇到一些有趣的问题也可以发送给我。

 

责任编辑:武晓燕 来源: SQL数据库开发
相关推荐

2010-07-07 16:53:54

SQL Server重

2010-09-02 10:36:51

SQL删除

2010-07-26 09:55:55

SQL Server重

2011-04-13 13:05:14

重复数据删除

2010-07-21 11:38:59

SQL Server重

2010-07-08 13:06:05

SQL Server删

2010-07-26 14:58:26

SQL Server删

2010-07-01 12:29:27

SQL Server重

2010-07-23 16:21:37

SQL Server重

2010-07-23 15:09:42

SQL Server删

2011-03-14 15:47:33

Oracle数据库

2023-02-26 23:31:01

SQL数据库

2009-01-11 17:32:03

Oracle数据库重复数据

2011-04-13 13:13:09

重复数据删除

2010-07-08 13:20:05

SQL Server删

2010-11-03 13:50:49

DB2删除重复数据

2011-03-10 15:06:02

重复数据删除技术

2015-10-23 16:40:21

DB2删除数据

2024-10-16 17:04:13

2009-02-27 10:18:41

重复数据删除In-linePost-Proces
点赞
收藏

51CTO技术栈公众号