博主做过比较多项目的archive脚本编写,对于这种删除数据的脚本开发,肯定是一开始的话用最简单的一个delete语句,然后由于部分表数据量比较大啊,索引比较多啊,会发现删除数据很慢而且影响系统的正常使用。然后就对delete语句进行按均匀数据量分批delete的改写,这样的话,原来的删除一个表用一个语句,就可能变成几十行,如果archive的表有十几个甚至几十个,那我们的脚本篇幅就非常大了,增加了开发和维护的成本,不利于经验比较少的新入职同事去开发archive脚本,也容易把注意力分散到所谓分批逻辑中。

  根据这种情况,本周博主(zhang502219048)刚好在工作过程中,总结并编写了一个自动分批删除数据的模板,模板固定不变,只需要把注意力集中放在delete语句中,并且可以在delete语句中控制每批删除的数据量,比较方便,通过变量组装模板sql,避免每个表就单独写一个分批逻辑的重复代码,化简为繁,增加分批删除一个表指定数据的话只需要增加几行代码就可以(如下所示中的demo1和demo2)。

  demo1:带参数,根据Date字段是否过期删除表B对应数据。

  demo2:不带参数,根据表tmp_Del删除表A对应ID的数据。

  具体请参考下面的脚本和相关说明,如有不懂的地方欢迎评论或私信咨询博主。

-- ===== 1 分批archive模板 =======================================================
--【请不要修改本模板内容】
/*
说明:
1. 组装的archive语句为:@sql = @sql_Part1 + @sql_Del + @sql_Part2
2. 组装的参数@parameters为:@parameters = @parameters_Base + 自定义参数
3. 输入参数:@strStepInfo 需要print的step信息
4. 输出参数:@iDeleteCount 总删除行数
5. archive逻辑专注于@sql_Del,而非分散于分批
*/
declare @sql nvarchar(max),
@sql_Part1 nvarchar(max),
@sql_Del nvarchar(max),
@sql_Part2 nvarchar(max),
@parameters nvarchar(max),
@parameters_Base nvarchar(max) = N'@strStepInfo nvarchar(100), @ArchiveDate datetime, @iDeleteCount int out',
@iDeleteCount int = 0 --作为输出参数来返回单表删除总行数 select @sql_Part1 = N'
declare @iBatch int = 1, --批次
@iRowCount int = -1 --删除行数,初始为-1,后面取每批删除行数@@ROWCOUNT
select @iDeleteCount = 0 --初始化总删除行数,输出参数
print convert(varchar(50), getdate(), 121) + @strStepInfo while @iRowCount <> 0
begin
print ''begin batch:''
print @iBatch
print convert(varchar(50), getdate(), 121) begin try
begin tran
'
, @sql_Del = '
--delete top (50000)
--from 表A
--where Date < @ArchiveDate
' --@sql_Del的demo脚本是注释掉的,需要根据实际情况在后续脚本中自行编写
, @sql_Part2 = N'
select @iRowCount = @@rowcount, @iDeleteCount = @iDeleteCount + @@rowcount
commit tran
end try
begin catch
rollback tran
print ''-- Error Message:'' + convert(varchar, error_line()) + '' | '' + error_message()
end catch waitfor delay ''0:00:01'' --延时 print convert(varchar(50), getdate(), 121)
print ''end batch'' select @iBatch = @iBatch + 1
end' -- ===== 2 demo1(delete语句含参数):archive 表A =======================================================
select @parameters = @parameters_Base --如果有需要增加自定义参数,在这里加,例如【 + ', @xx datetime'】
, @sql_Del = '
delete top (50000)
from 表A
where Date < @ArchiveDate
'
select @sql = @sql_Part1 + @sql_Del + @sql_Part2
--print @sql
exec sp_executesql @sql, @parameters, N' 2 archive 表A', @ArchiveDate, @iDeleteCount out --如果有需要增加自定义参数,在这里加,例如【, @xx】 -- ===== 3 demo2(delete语句不含参数):archive 表B =======================================================
select @parameters = @parameters_Base --如果有需要增加自定义参数,在这里加,例如【 + ', @xx datetime'】
, @sql_Del = '
delete top (50000) t_Del
from 表B t_Del
inner join tmp_Del td on td.ID = t_Del.ID
'
select @sql = @sql_Part1 + @sql_Del + @sql_Part2
--print @sql
exec sp_executesql @sql, @parameters, N' 3 archive 表B', @ArchiveDate, @iDeleteCount out --如果有需要增加自定义参数,在这里加,例如【, @xx】

sql server编写archive通用模板脚本实现自动分批删除数据的更多相关文章

  1. sql server编写简洁四则运算表达式脚本实现计算批次功能(C#等其它编程语言也能直接用此通用表达式)

    问题: 在数据库编程开发中,有时会遇到数据量比较大的情况,如果直接大批量进行添加数据.修改数据.删除数据,就会是比较大的事务,事务日志也比较大,耗时久的话会对正常操作造成一定的阻塞.虽不至于达到删库跑 ...

  2. Sql Server有主外键关系时添加、删除数据

    当表之间有主外键关系时删除数据会被约束,添加.删除失败 解决办法,我们可以先把主外键关系的检查约束给关掉 → 然后删除数据 → 之后再把约束打开 查询出关掉所有外键约束的语句 SELECT 'ALTE ...

  3. sql server编写通用脚本自动统计各表数据量心得

    工作过程中,如果一个数据库的表比较多,手工编写统计脚本就会比较繁琐,于是摸索出自动生成各表统计数据量脚本的通用方法,直接上代码: /* 脚本来源:https://www.cnblogs.com/zha ...

  4. CodeSmith生成SQL Server视图的实体类脚本/对应的生成模板

    C#生成sql视图的实体类 using System;using System.Text;using CodeSmith.Engine;using SchemaExplorer;using Syste ...

  5. SQL Server中的CLR编程——用.NET为SQL Server编写存储过程和函数

    原文:SQL Server中的CLR编程--用.NET为SQL Server编写存储过程和函数 很早就知道可以用.NET为SQL Server2005及以上版本编写存储过程.触发器和存储过程的,不过之 ...

  6. SQL Server Management Studio 执行超大脚本文件

    SQL Server Management Studio 执行超大脚本文件 启动cmd.exe , cd 到C:\Program Files (x86)\Microsoft SQL Server\11 ...

  7. sql server的数据库个数、表个数及表的数据量统计

    sql server的数据库个数.表个数及表的数据量统计   --由于今天要监控数据,急需统计实例中1有多少库2库里有多少表3每个表有多少数据 --将写好的代码贴出来,用到如下的: --sysobje ...

  8. SQL Server 2008空间数据应用系列十一:提取MapInfo地图数据中的空间数据解决方案

    原文:SQL Server 2008空间数据应用系列十一:提取MapInfo地图数据中的空间数据解决方案 友情提示,您阅读本篇博文的先决条件如下: 1.本文示例基于Microsoft SQL Serv ...

  9. Sql server中如何将表A和表B的数据合并(乘积方式)

    sql server中如何将表A 和表B的数据合并成乘积方式,也就是说表A有2条数据,表B有3条数据,乘积后有6条数据, 这就要用到sql中的笛卡尔积方式了 1.什么是笛卡尔积 笛卡尔积在SQL中的实 ...

随机推荐

  1. YARN底层基础库

      YARN基础库是其他一切模块的基础,它的设计直接决定了YARN的稳定性和扩展性,YARN借用了MRV1的一些底层基础库,比如RPC库等,但因为引入了很多新的软件设计方式,所以它的基础库更多,包括直 ...

  2. Oracle数据库之六 单行函数

    六.单行函数 6.1.认识单行函数 ​ 函数就是和 Java 语言之中的方法的功能是一样的,都是为了完成某些特定操作的功能支持,而在 Oracle 数据库里面也包含了大量的单行函数,这些函数掌握了以后 ...

  3. 微擎 人人商城 对接京东vop 对接京东商品,同步商品 地址,库存,价格,上下架等。(二) 设置后台管理界面

    昨天提到了,由于vop商品池未开通,故对接工作只能暂缓,现在要做一个专门针对vop商品的后台管理, 老规矩,先上设计链路图 因为后台本来就是有比较完善的商品管理系统, 所以我们只是针对vop 进行简单 ...

  4. HDU 4607 Park Visit 树的最大直径

    题意: 莱克尔和她的朋友到公园玩,公园很大也很漂亮.公园包含n个景点通过n-1条边相连.克莱尔太累了,所以不能去参观所有点景点. 经过深思熟虑,她决定只访问其中的k个景点.她拿出地图发现所有景点的入口 ...

  5. 【百度之星】【思维】hdu 6724Totori's Switching Game

    思维题,最后只要判断每个点的度数>=k即可. #pragma comment(linker, "/STACK:1024000000,1024000000") #pragma ...

  6. 左偏树 P3377【模板】左偏树(可并堆)

    题目传送门 代码: /* code by: zstu wxk time: 2019/03/01 */ #include<bits/stdc++.h> using namespace std ...

  7. codeforces 799 D. Field expansion(dfs+思维剪枝)

    题目链接:http://codeforces.com/contest/799/problem/D 题意:给出h*w的矩阵,要求经过操作使得h*w的矩阵能够放下a*b的矩阵,操作为:将长或者宽*z[i] ...

  8. 2015 省赛 简单的图论问题? bfs

    [E] 简单的图论问题? 时间限制: 5000 ms 内存限制: 65535 K 问题描述 给一个 n 行 m 列的迷宫,每个格子要么是障碍物要么是空地.每个空地里都有一个权值.你的 任务是从找一条( ...

  9. poj1037 [CEOI 2002]A decorative fence 题解

    ---恢复内容开始--- 题意: t组数据,每组数据给出n个木棒,长度由1到n,除了两端的木棒外,每一根木棒,要么比它左右的两根都长,要么比它左右的两根都短.即要求构成的排列为波浪型.对符合要求的排列 ...

  10. 基于单细胞测序数据构建细胞状态转换轨迹(cell trajectory)方法总结

    细胞状态转换轨迹构建示意图(Trapnell et al. Nature Biotechnology, 2014) 在各种生物系统中,细胞都会展现出一系列的不同状态(如基因表达的动态变化等),这些状态 ...