SQL大数据查询分页存储过程
最后一页分页一卡死,整个网站的性能都会非常明显的下降,不知道为啥,微软有这个BUG一直没处理好。希望SQL2012里不要有这个问题就好了。
参考代码如下:
-- =============================================
-- Author: 吉日嘎拉
-- Create date: 2012年02月23日
-- Description: 2012年02月23日编码规范化
-- =============================================
ALTER PROCEDURE [dbo].[GetRecordByPage]
@TableName VARCHAR(4000), -- 表名
@SelectField VARCHAR(4000), -- 要显示的字段名(不要加select)
@WhereConditional VARCHAR(4000), -- 查询条件(注意: 不要加 where)
@SortExpression VARCHAR(255), -- 排序索引字段名
@PageSize INT = 20, -- 页大小
@PageIndex INT = 1, -- 页码
@RecordCount INT OUTPUT, -- 返回记录总数
@SortDire VARCHAR(5) = 'DESC' -- 设置排序类型, 非 0 值则降序
AS
BEGIN
DECLARE @commandText VARCHAR(8000) -- 主语句
DECLARE @TopN INT -- 获取前几条记录
DECLARE @PageCount INT -- 总共会是几页
DECLARE @TopLimit INT -- 获取多少条记录
DECLARE @SQLRowCount NVARCHAR(4000) -- 用于查询记录总数的语句
DECLARE @SQLOrder VARCHAR(400) -- 排序类型
DECLARE @SQLTemp VARCHAR(4000) -- 临时变量
SET @SortExpression = LTRIM(RTRIM(@SortExpression))
SET @SortDire = UPPER(LTRIM(RTRIM(@SortDire)))
-- 这里是计算整体记录行数
IF @RecordCount IS NULL
BEGIN
IF @WhereConditional != ''
BEGIN
SET @SQLRowCount = 'SELECT @RecordCount=COUNT(1) FROM ' + @TableName + ' WHERE ' + @WhereConditional
END
ELSE
BEGIN
SET @SQLRowCount = 'SELECT @RecordCount=COUNT(1) FROM ' + @TableName
END
END
-- SELECT @RecordCount=@@ROWCOUNT
EXEC sp_executesql @SQLRowCount, N'@RecordCount INT OUT', @RecordCount out
IF @RecordCount IS NULL
BEGIN
SET @RecordCount = 0
END
-- 这里是控制页数最多少
SET @PageCount = @RecordCount / @PageSize + 1
-- 这里检查当前页的有效性
IF (@PageIndex < 1)
BEGIN
SET @PageIndex = 1
END
-- 这里限制最后一页的有效性
IF (@PageIndex > @PageCount)
BEGIN
SET @PageIndex = @PageCount
END
IF @SortDire != 'ASC'
BEGIN
SET @SQLTemp = '<(SELECT MIN'
SET @SQLOrder = ' ORDER BY ' + @SortExpression + ' DESC'
END
ELSE
BEGIN
set @SQLTemp = '>(SELECT MAX'
set @SQLOrder = ' ORDER BY ' + @SortExpression + ' ASC'
END
-- 这里是调试信息
-- SELECT @SQLOrder
-- 获取几条数据? 吉日嘎拉 2010-11-02 更新
SET @TopN = @RecordCount - @PageSize * (@PageIndex - 1)
IF @TopN > @PageSize
BEGIN
SET @TopN = @PageSize
END
SET @TopLimit = @PageSize * (@PageIndex - 1)
IF @TopLimit > @RecordCount
BEGIN
SET @TopLimit = @RecordCount
END
SET @commandText = 'SELECT TOP ' + STR(@TopN) + ' ' + @SelectField + ' FROM '
+ @TableName + ' WHERE ' + @SortExpression + @SQLTemp + '('
+ RIGHT(@SortExpression, LEN(@SortExpression) - CHARINDEX('.', @SortExpression)) + ') FROM (SELECT TOP ' + STR(@TopLimit)
+ ' ' + @SortExpression + ' FROM ' + @TableName + @SQLOrder + ') AS TableTemp)'
+ @SQLOrder
IF @WhereConditional != ''
SET @commandText = 'SELECT TOP ' + STR(@TopN) + ' ' + @SelectField + ' FROM '
+ @TableName + ' WHERE ' + @SortExpression + @SQLTemp + '('
+ RIGHT(@SortExpression, LEN(@SortExpression) - CHARINDEX('.',@SortExpression)) + ') FROM (SELECT TOP ' + STR(@TopLimit)
+ ' ' + @SortExpression + ' FROM ' + @TableName + ' WHERE ' + @WhereConditional + ' '
+ @SQLOrder + ') AS TableTemp) AND ' + @WhereConditional + ' ' + @SQLOrder
IF @PageIndex = 1
BEGIN
-- 第一页的显示效率提高
SET @SQLTemp = ''
IF @WhereConditional != ''
SET @SQLTemp = ' WHERE ' + @WhereConditional
SET @commandText = 'SELECT TOP ' + STR(@TopN) + ' ' + @SelectField
+ ' FROM ' + @TableName + @SQLTemp + ' ' + @SQLOrder
END
ELSE
BEGIN
-- 解决大数据最有一页卡死的问题
IF @PageIndex = @PageCount
BEGIN
IF @SortDire = 'ASC'
BEGIN
SET @SQLOrder = ' ORDER BY ' + @SortExpression + ' DESC'
END
ELSE
BEGIN
SET @SQLOrder = ' ORDER BY ' + @SortExpression + ' ASC'
END
SET @SQLTemp = ''
IF @WhereConditional != ''
SET @SQLTemp = ' WHERE ' + @WhereConditional
SET @commandText = 'SELECT TOP ' + STR(@TopN) + ' ' + @SelectField
+ ' FROM ' + @TableName + @SQLTemp + ' ' + @SQLOrder
SET @commandText = 'SELECT ' + @SelectField
+ ' FROM (' + @commandText + ') AS TableTemp ORDER BY ' + @SortExpression + ' ' + @SortDire
END
END
EXEC (@commandText)
-- 这个是调试程序用的
-- SELECT @commandText
END
SQL大数据查询分页存储过程的更多相关文章
- [转]Sql server 大数据量分页存储过程效率测试附代码
本文转自:http://www.cnblogs.com/lli0077/archive/2008/09/03/1282862.html 在项目中,我们经常遇到或用到分页,那么在大数据量(百万级以上)下 ...
- SQL 大数据查询如何进行优化?
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而 ...
- SQL命令语句进行大数据查询如何进行优化
SQL 大数据查询如何进行优化? 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索 2.应尽量避免在 where 子句中对字段进行 null 值 ...
- MySQL大数据量分页查询方法及其优化
MySQL大数据量分页查询方法及其优化 ---方法1: 直接使用数据库提供的SQL语句---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N---适 ...
- Access大数据高效分页语句
Access大数据高效分页语句 oracle的分页查询可以利用rowid伪列. db2的分页查询可以利用row_number() over()聚合函数. mysql有limit. access仿佛先天 ...
- Facebook 正式开源其大数据查询引擎 Presto
Facebook 正式宣布开源 Presto —— 数据查询引擎,可对250PB以上的数据进行快速地交互式分析.该项目始于 2012 年秋季开始开发,目前该项目已经在超过 1000 名 Faceboo ...
- 比hive快10倍的大数据查询利器presto部署
目前最流行的大数据查询引擎非hive莫属,它是基于MR的类SQL查询工具,会把输入的查询SQL解释为MapReduce,能极大的降低使用大数据查询的门槛, 让一般的业务人员也可以直接对大数据进行查询. ...
- 海胜专访--MaxCompute 与大数据查询引擎的技术和故事
摘要:在2019大数据技术公开课第一季<技术人生专访>中,阿里巴巴云计算平台高级技术专家苑海胜为大家分享了<MaxCompute 与大数据查询引擎的技术和故事>,主要介绍了Ma ...
- SQL大数据操作统计
SQL大数据操作统计 1:select count(*) from table的区别SELECT object_name(id) as TableName,indid,rows,rowcnt FROM ...
随机推荐
- 大流量IIS负载均衡NLB解决方案
说白了就是 用多台WEB服务器 同时处理大量的http请求! 机器越多力量越大呵呵!!! 在现行的许多网络应用中,有时一台服务器往往不能满足客户端的要求,此时只能通过增加服务器来解决问题. 那么 ...
- Discuz 5.x/6.x/7.x投票SQL注入分析
看乌云有人爆了这个漏洞:http://www.wooyun.org/bugs/wooyun-2014-071516感觉应该是editpost.inc.php里投票的漏洞.因为dz已经确定不会再修补7. ...
- UVa 524 Prime Ring Problem【回溯】
题意:给出n,把从1到n排成一个环,输出相邻两个数的和为素数的序列 照着紫书敲的, 大概就是这个地方需要注意下,初始化的时候a[0]=1,然后dfs(1),从第1个位置开始搜 #include< ...
- IIS6配置Asp.net MVC运行环境
Windows server 2003 + IIS6 搭建Asp.net MVC运行环境 1.安装.Net Framework4.0. 下载地址: http://www.microsoft.com/z ...
- sql server2005内存过高释放方法
最近做了一个网站qq.115sou.com,在服务器中SQL Server占用内存非常高,加内存后,SQL Server又吃掉新加的内存,好像内存永远不够用一样,怎么办? 其实这并不一定是由于SQL ...
- crtbegin_dynamic.o: No such file: No such file or directory
/homesec/android2/zhangbin/053work3/hi050src/HiSTBAndroidV400R001C00SPC050B012/prebuilt/linux-x86/to ...
- 【JSP】<meta>标签用法
转载自:http://blog.sina.com.cn/s/blog_65c74cce0102v39z.html 非常感谢这位博主,急着用,改日再细细品味重新整理这篇博文. http-equiv M ...
- Centos6.5下编译安装ACE6.0
ACE在Linux下的编译安装步骤(CentOS6.5 64Bit) Linux平台安装(CentOS6.5 64bit) 1, 下载ACE软件包,上传至Linux服务器(假设目录为/opt/ace, ...
- [转] C#实现自动化Log日志
qing2005原文地址 C#实现自动化Log日志 在开发项目的时候,我们不免要使用Log记录日志,使用最多的是Log4Net和EntLib Log,在需要记录日志的代码处加入log.Write(日志 ...
- JTA事务管理--配置剖析
概述 [IT168 专稿]Spring 通过AOP技术可以让我们在脱离EJB的情况下享受声明式事务的丰盛大餐,脱离Java EE应用服务器使用声明式事务的道路已经畅通无阻.但是很大部分人都还认为 ...