基线介绍

基线为历史数据统计而成的数据，具有参考价值，并利用基线数据与当前值的对比，通过一定的报警机制，形成实时监控架构。SQL Server计数器采用同比和环比两种方式。

同比：可以计算未来一周的基线数据，取近八周同一天同一时刻的均值。

 /****************************** 功能描述：<同比基线算法>

 *   创建者：<HuangCH〉

 *   创建日期：<2014-11-05>

 *   备注说明：<每天执行一次>

 ##########

 Change Log

 ##########

 Date                 Changer             Description

 --------------------------------------------------

 <2014-11-05>        <HuangCH>            <新建>

 说明：

 1、同比算法取近八周数据可以统计一周后的数据

 2、考虑当天前一周0点之前的数据已经归档SQLPerfDataStat_Histroy.dbo.CounterData_OneMinute_Bak，因此要计算前一天之前的数据。

 2、计数器新建要超过一周才能开始计算

 3、开始时间当天0点与结束时间不能超过一周--CONVERT(VARCHAR(26),DATEADD(WEEK,1,@LastCBaseEnd),23)<=@LastOneMinute

 --------------------------------------------------

 ***************************/

 ALTER PROC [dbo].[spb_CBaseCounterData]

 AS

 SET NOCOUNT ON

 DECLARE @LastOneMinute DATETIME

 DECLARE @LastCBaseEnd DATETIME --计算一周之后的数据

 DECLARE @RunCBaseEnd DATETIME

 DECLARE @RunCBaseEtart DATETIME

 DECLARE @CounterID INT

 DECLARE @MachineName VARCHAR(128)

 --若时间未超过一周，则取当前时间

 UPDATE SQLPerfDataStat.dbo.CounterDetails_Dts

 SET LastCBaseEnd=DATEADD(D,-1,LastOneMinute)

 WHERE DATEADD(WEEK,-1,DATEADD(D,-1,LastOneMinute))<CreateTime

 DECLARE CBaseCur CURSOR FOR

 --计数器新建超过一周；

 --只能计算当天0点之前的数据：CONVERT(DATETIME,CONVERT(VARCHAR(16),LastOneMinute,23))

 --计算当前的时间的前天之前

 SELECT DISTINCT MachineName,DATEADD(D,-1,LastOneMinute) LastOneMinute,CONVERT(DATETIME,CONVERT(VARCHAR(16),LastCBaseEnd,120))  LastCBaseEnd

 FROM SQLPerfDataStat.dbo.CounterDetails_Dts WITH(NOLOCK)

 WHERE  DATEDIFF(MI,CONVERT(DATETIME,CONVERT(VARCHAR(16),LastCBaseEnd,120)),DATEADD(D,-1,LastOneMinute))>=1 and DATEADD(WEEK,-1,DATEADD(D,-1,LastOneMinute))>=CreateTime

 OPEN CBaseCur

 FETCH NEXT FROM CBaseCur INTO @MachineName,@LastOneMinute,@LastCBaseEnd

 WHILE @@FETCH_STATUS=0

 BEGIN

 IF CONVERT(VARCHAR(26),DATEADD(WEEK,1,@LastCBaseEnd),23)<=@LastOneMinute--超过一周未收集则时间为上次收集时间推迟一周

 BEGIN

   SET  @RunCBaseEnd=CONVERT(VARCHAR(26),DATEADD(WEEK,1,@LastCBaseEnd),23)

   SET  @RunCBaseEtart=@LastCBaseEnd

 END

 ELSE

 BEGIN

   SET  @RunCBaseEnd=@LastOneMinute

   SET  @RunCBaseEtart=@LastCBaseEnd

 END

 UPDATE SQLPerfDataStat.dbo.CounterDetails_Dts

 SET LastCBaseEnd=@RunCBaseEnd

 WHERE MachineName=@MachineName

 BEGIN TRY

 INSERT INTO dbo.CBaseCounterData_OneMinute(CounterID, CounterDateTime, CounterValue,MaxCounterValue)

 SELECT CounterID

         ,DATEADD(MI,-DATEDIFF(MI,CounterDateTime,Dateadd(week,1,@RunCBaseEnd))%(7*24*60),Dateadd(week,1,@RunCBaseEnd)) CounterDateTime

         ,AVG(CounterValue) CounterValue,MAX(CounterValue) MaxCounterValue

 FROM (

 SELECT CounterID,CounterDateTime,CounterValue

 FROM SQLPerfDataStat_Histroy.dbo.CounterData_OneMinute_Bak a (NOLOCK)

 WHERE

 (

 (CounterDateTime>=Dateadd(week,-7,@RunCBaseEtart)

 AND CounterDateTime<Dateadd(week,-7,@RunCBaseEnd))

 OR

 (CounterDateTime>=Dateadd(week,-6,@RunCBaseEtart)

 AND CounterDateTime<Dateadd(week,-6,@RunCBaseEnd))

 OR

 (CounterDateTime>=Dateadd(week,-5,@RunCBaseEtart)

 AND CounterDateTime<Dateadd(week,-5,@RunCBaseEnd))

 OR

 (CounterDateTime>=Dateadd(week,-4,@RunCBaseEtart)

 AND CounterDateTime<Dateadd(week,-4,@RunCBaseEnd))

 OR

 (CounterDateTime>=Dateadd(week,-3,@RunCBaseEtart) --取近四周

 AND CounterDateTime<Dateadd(week,-3,@RunCBaseEnd))

 OR

 (CounterDateTime>=Dateadd(week,-2,@RunCBaseEtart)

 AND CounterDateTime<Dateadd(week,-2,@RunCBaseEnd))

 OR

 (CounterDateTime>=Dateadd(week,-1,@RunCBaseEtart)

 AND CounterDateTime<Dateadd(week,-1,@RunCBaseEnd))

 ) AND  EXISTS (SELECT TOP 1 1 FROM CounterDetails_Collect WITH(NOLOCK) WHERE CounterID = a.CounterID AND MachineName=@MachineName)

 UNION ALL

 SELECT CounterID,CounterDateTime,CounterValue

 FROM dbo.CounterData_OneMinute a (NOLOCK)

 WHERE (CounterDateTime>=@RunCBaseEtart

         AND CounterDateTime<@RunCBaseEnd)

 AND  EXISTS (SELECT TOP 1 1 FROM CounterDetails_Collect WITH(NOLOCK) WHERE CounterID = a.CounterID AND MachineName=@MachineName)

 ) AA

 GROUP BY CounterID,DATEADD(MI,-DATEDIFF(MI,CounterDateTime,Dateadd(week,1,@RunCBaseEnd))%(7*24*60),Dateadd(week,1,@RunCBaseEnd))

 END TRY

 BEGIN CATCH

   IF @@TRANCOUNT >0

   BEGIN

     Rollback;

   END;

   THROW

 END CATCH

 FETCH NEXT FROM CBaseCur INTO @MachineName,@LastOneMinute,@RunCBaseEnd

 END

 CLOSE CBaseCur

 DEALLOCATE  CBaseCur

spb_CBaseCounterData

同比可以消除由于业务变动带来的波动，具有报警对比价值。下图红线同比数据，表示历史上该时段存在异常升高。

环比：可以计算未来一天的基线数据，取近两周每天同一时刻的均值。

 /****************************** 功能描述：<环比基线算法>

 *   创建者：<HuangCH〉

 *   创建日期：<2014-11-05>

 *   备注说明：<每小时执行一次>

 ##########

 Change Log

 ##########

 Date                 Changer             Description

 --------------------------------------------------

 <2014-11-05>        <HuangCH>            <新建>

 说明：

 1、环比算法可以统计一天后的数据

 2、如果开始时间与当前时间对比超过一天，则只取开始时间当天的数据进行计算--CONVERT(VARCHAR(26),DATEADD(D,1,@LastRBaseEnd),23)< = @LastOneMinute

 3、如果时间分别为两天的0点，则需要单独处理当天0点的数据--DATEDIFF(MI,@RunRBaseStart,@RunRBaseEnd)=1440

 4、环比算法，分离工作日和周末，本别计算，统计两周内的数据--DATEPART(WEEKDAY,@RunRBaseStart) IN(2,3,4,5,6)--非周末

 --------------------------------------------------

 ***************************/

 ALTER PROC [dbo].[spb_RBaseCounterData]

 AS

 SET NOCOUNT ON

 SET DATEFIRST 7--由于需要考虑工作日与周末，因此需要确认默认设置是以周日开始

 DECLARE @LastOneMinute DATETIME

 DECLARE @LastRBaseEnd DATETIME --计算一周之后的数据

 DECLARE @RunRBaseEnd DATETIME

 DECLARE @RunRBaseStart DATETIME

 DECLARE @SqlCmd   VARCHAR(MAX)

 DECLARE @WHERE VARCHAR(2000)

 DECLARE @GROUPBY VARCHAR(MAX)

 DECLARE @CYLE INT

 DECLARE @MachineName VARCHAR(128)

 DECLARE @ERRORMSG VARCHAR(MAX)

 SET @ERRORMSG=''

 --更新未超过一周的数据

 UPDATE SQLPerfDataStat.dbo.CounterDetails_Dts

 SET LastRBaseEnd=CONVERT(DATETIME,CONVERT(VARCHAR(16),GETDATE(),120))

 WHERE DATEADD(WEEK,-1,LastOneMinute)<CreateTime

 --取最后计算小于当前统计时间的数据

 DECLARE RBaseCur CURSOR FOR

 SELECT MachineName,LastOneMinute,CONVERT(DATETIME,CONVERT(VARCHAR(16),LastRBaseEnd,120))  LastRBaseEnd

 FROM SQLPerfDataStat.dbo.CounterDetails_Dts WITH(NOLOCK)

 WHERE  DATEDIFF(MI,LastRBaseEnd,LastOneMinute)>1  AND DATEADD(WEEK,-1,LastOneMinute)>=CreateTime--不超过新建时间一周，则不处理

 OPEN RBaseCur

 FETCH NEXT FROM RBaseCur INTO @MachineName,@LastOneMinute,@LastRBaseEnd

 WHILE @@FETCH_STATUS=0

 BEGIN

 IF CONVERT(VARCHAR(26),DATEADD(D,1,@LastRBaseEnd),23)< = @LastOneMinute--如果第二天0点小于当前时间；即不能跨天处理

 BEGIN

   SET  @RunRBaseEnd=CONVERT(VARCHAR(26),DATEADD(D,1,@LastRBaseEnd),23)

   SET  @RunRBaseStart=@LastRBaseEnd

 END

 ELSE

 BEGIN--在同一天

   SET  @RunRBaseEnd=@LastOneMinute

   SET  @RunRBaseStart=@LastRBaseEnd

 END

 IF DATEPART(WEEKDAY,@RunRBaseStart) IN(2,3,4,5,6)--非周末

 BEGIN

   SET @WHERE='WHERE ((CounterDateTime>'+CASE WHEN CONVERT(VARCHAR(24),@RunRBaseStart,120)=CONVERT(VARCHAR(24),@RunRBaseStart,23)+' 00:00:00' THEN ''ELSE '=' END +''''+CONVERT(VARCHAR(24),@RunRBaseStart,120)+''' AND CounterDateTime<'''+CONVERT(VARCHAR(24),@RunRBaseEnd,120)+''')'

   SET @CYLE =1

   WHILE(@CYLE<14)

     BEGIN

       IF DATEPART(WEEKDAY,DATEADD(D,-@CYLE,@RunRBaseStart)) IN(2,3,4,5,6)

       BEGIN

         SET @WHERE=@WHERE+CHAR(10)+'OR (CounterDateTime>'++CASE WHEN CONVERT(VARCHAR(24),@RunRBaseStart,120)=CONVERT(VARCHAR(24),@RunRBaseStart,23)+' 00:00:00' THEN ''ELSE '=' END ++''''+CONVERT(VARCHAR(24),DATEADD(D,-@CYLE,@RunRBaseStart),120)+''' AND CounterDateTime<'''+CONVERT(VARCHAR(24),DATEADD(D,-@CYLE,@RunRBaseEnd),120)+''')'

       END

       SET @CYLE = @CYLE + 1

     END

   SET @GROUPBY='DATEADD(MI,-DATEDIFF(MI,CounterDateTime,'''+CONVERT(VARCHAR(24),@RunRBaseEnd,120)+''')%(24*60),'''+CASE WHEN DATEPART(WEEKDAY,@RunRBaseStart) =6 THEN CONVERT(VARCHAR(24),DATEADD(D,3,@RunRBaseEnd),120) ELSE CONVERT(VARCHAR(24),DATEADD(D,1,@RunRBaseEnd),120) END+''')'--周五要计算周一的数据

 END

 ELSE--周末数据，取近两周周末数据库

 BEGIN

   SET @WHERE='WHERE ((CounterDateTime>'+CASE WHEN CONVERT(VARCHAR(24),@RunRBaseStart,120)=CONVERT(VARCHAR(24),@RunRBaseStart,23)+' 00:00:00' THEN ''ELSE '=' END +''''+CONVERT(VARCHAR(24),@RunRBaseStart,120)+''' AND CounterDateTime<'''+CONVERT(VARCHAR(24),@RunRBaseEnd,120) +''')'

               +CHAR(10)+'OR (CounterDateTime>'+CASE WHEN CONVERT(VARCHAR(24),@RunRBaseStart,120)=CONVERT(VARCHAR(24),@RunRBaseStart,23)+' 00:00:00' THEN ''ELSE '=' END +''''+CONVERT(VARCHAR(24),DATEADD(WEEK,-1,@RunRBaseStart),120)+''' AND CounterDateTime<'''+CONVERT(VARCHAR(24),DATEADD(WEEK,-1,@RunRBaseEnd),120)+''')'

   SET @GROUPBY='DATEADD(MI,-DATEDIFF(MI,CounterDateTime,'''+CONVERT(VARCHAR(24),@RunRBaseEnd,120)+''')%(24*60),'''+CONVERT(VARCHAR(24),DATEADD(WEEK,1,@RunRBaseEnd),120)+''')'

 END

 UPDATE SQLPerfDataStat.dbo.CounterDetails_Dts

 SET LastRBaseEnd=@RunRBaseEnd

 WHERE MachineName=@MachineName

 BEGIN TRY

 --插入数据

   SET @SqlCmd='INSERT INTO dbo.RBaseCounterData_OneMinute(CounterID, CounterDateTime, CounterValue,MaxCounterValue)'

     +CHAR(10)+'SELECT CounterID,'+@GROUPBY+',AVG(CounterValue),MAX(CounterValue) FROM'

     +CHAR(10)+'(SELECT CounterID,CounterDateTime,CounterValue'

     +CHAR(10)+'FROM CounterData_OneMinute a (NOLOCK)'

     +CHAR(10)+@WHERE+') '

     +CHAR(10)+'AND EXISTS (SELECT TOP 1 1 FROM CounterDetails_Collect WITH(NOLOCK) WHERE CounterID = a.CounterID AND MachineName='''+@MachineName+''')'

     +CHAR(10)+'Union all'

     +CHAR(10)+'SELECT CounterID,CounterDateTime,CounterValue'

     +CHAR(10)+'FROM SQLPerfDataStat_Histroy.dbo.CounterData_OneMinute_bak a (NOLOCK)'

     +CHAR(10)+@WHERE+') '

     +CHAR(10)+'AND EXISTS (SELECT TOP 1 1 FROM CounterDetails_Collect WITH(NOLOCK) WHERE CounterID = a.CounterID AND MachineName='''+@MachineName+''')'

     +CHAR(10)+')AA'

     +CHAR(10)+ 'GROUP BY CounterID,'+@GROUPBY

   exec (@SqlCmd)

   --0点数据处理

   IF CONVERT(VARCHAR(24),@RunRBaseStart,120)=CONVERT(VARCHAR(24),@RunRBaseStart,23)+' 00:00:00'

   BEGIN

     IF DATEPART(WEEKDAY,@RunRBaseStart) IN(2,3,4,5,6)--非周末

     BEGIN

       SET @WHERE='WHERE ((CounterDateTime='''+CONVERT(VARCHAR(24),@RunRBaseStart,120)+''')'

       SET @CYLE =1

       WHILE(@CYLE<14)

         BEGIN

           IF DATEPART(WEEKDAY,DATEADD(D,-@CYLE,@RunRBaseStart)) IN(2,3,4,5,6)

           BEGIN

             SET @WHERE=@WHERE+CHAR(10)+'OR (CounterDateTime='''+CONVERT(VARCHAR(24),DATEADD(D,-@CYLE,@RunRBaseStart),120)+''')'

           END

           SET @CYLE = @CYLE + 1

         END

       SET @GROUPBY='DATEADD(MI,-DATEDIFF(MI,CounterDateTime,'''+CONVERT(VARCHAR(24),@RunRBaseEnd,120)+''')%(24*60),'''+CASE WHEN DATEPART(WEEKDAY,@RunRBaseStart) =6 THEN CONVERT(VARCHAR(24),DATEADD(D,3,@RunRBaseEnd),120) ELSE CONVERT(VARCHAR(24),DATEADD(D,1,@RunRBaseEnd),120) END+''')'

     END

     ELSE--周末数据，取近两周周末数据库

     BEGIN

       SET @WHERE='WHERE ((CounterDateTime='''+CONVERT(VARCHAR(24),@RunRBaseStart,120)+''')'

                   +CHAR(10)+'OR (CounterDateTime='''+CONVERT(VARCHAR(24),DATEADD(WEEK,-1,@RunRBaseStart),120)+''')'

       SET @GROUPBY='DATEADD(MI,-DATEDIFF(MI,CounterDateTime,'''+CONVERT(VARCHAR(24),@RunRBaseEnd,120)+''')%(24*60),'''+CONVERT(VARCHAR(24),DATEADD(D,-1,DATEADD(WEEK,1,@RunRBaseEnd)),120)+''')'

     END

     SET @SqlCmd='INSERT INTO dbo.RBaseCounterData_OneMinute(CounterID, CounterDateTime, CounterValue,MaxCounterValue)'

     +CHAR(10)+'SELECT CounterID,'+@GROUPBY+',AVG(CounterValue),MAX(CounterValue) FROM'

     +CHAR(10)+'(SELECT CounterID,CounterDateTime,CounterValue'

     +CHAR(10)+'FROM CounterData_OneMinute a (NOLOCK)'

     +CHAR(10)+@WHERE+') '

     +CHAR(10)+'AND EXISTS (SELECT TOP 1 1 FROM CounterDetails_Collect WITH(NOLOCK) WHERE CounterID = a.CounterID AND MachineName='''+@MachineName+''')'

     +CHAR(10)+'Union all'

     +CHAR(10)+'SELECT CounterID,CounterDateTime,CounterValue'

     +CHAR(10)+'FROM SQLPerfDataStat_Histroy.dbo.CounterData_OneMinute_bak a (NOLOCK)'

     +CHAR(10)+@WHERE+') '

     +CHAR(10)+'AND EXISTS (SELECT TOP 1 1 FROM CounterDetails_Collect WITH(NOLOCK) WHERE CounterID = a.CounterID AND MachineName='''+@MachineName+''')'

     +CHAR(10)+')AA'

     +CHAR(10)+ 'GROUP BY CounterID,'+@GROUPBY

     exec (@SqlCmd)

   END

 END TRY

 BEGIN CATCH

   SET @ERRORMSG=@ERRORMSG+ERROR_MESSAGE()

   IF @@TRANCOUNT >0

   BEGIN

     ROLLBACK;

   END

 END CATCH

 FETCH NEXT FROM RBaseCur INTO @MachineName,@LastOneMinute,@LastRBaseEnd

 END

 CLOSE RBaseCur

 DEALLOCATE  RBaseCur

 IF @ERRORMSG<>''

 BEGIN

 ;THROW 50000,@ERRORMSG,1

 END

spb_RBaseCounterData

环比数据可以说明数据近期走势。具有优化对比价值。从上同比图可以看出117-27-139-238服务器cpu在历史上存在异常升高，下图红线环比比数据，却与蓝线同步，说明此异常在近期已经正常。

SQL Server基线算法（同比和环比）的更多相关文章

  1. mysql SQL SERVER 的算法

    Filesort Probes http://dev.mysql.com/doc/refman/5.7/en/dba-dtrace-ref-filesort.html http://dev.mysql ...

  2. SQL Server性能计数器收集汇总方案（Reporting Service）

    通过收集计数器信息,并将计数器信息汇总为不同粒度存储,以Reporting Service报表服务器显示.以下是计数器收集汇总的基本架构. 笔者需要收集的SQL Server计数器包括:SQL Ser ...

  3. SQL Server 2012：SQL Server体系结构——一个查询的生命周期（第2部分）

    计划缓存(Plan Cache) 如果SQL Server已经找到一个好的方式去执行一段代码时,应该把它作为随后的请求重用,因为生成执行计划是耗费时间且资源密集的,这样做是有有意义的. 如果没找到被缓 ...

  4. SQL Server中timestamp（时间戳）

    SQL Server timestamp 数据类型与时间和日期无关.SQL Server timestamp 是二进制数字,它表明数据库中数据修改发生的相对顺序.实现 timestamp 数据类型最初 ...

  5. SQL Server数据库（时间戳timestamp）类型 （转载）

    timestamp介绍 公开数据库中自动生成的唯一二进制数字的数据类型. timestamp 通常用作给表行加版本戳的机制. 存储大小为 8 个字节. 不可为空的 timestamp 列在语义上等价于 ...

  6. SQL Server数据库（时间戳timestamp）类型

    1.公开数据库中自动生成的唯一二进制数字的数据类型. 2.timestamp 通常用作给表行加版本戳的机制. 3.存储大小为 8 个字节. 不可为空的 timestamp 列在语义上等价于 binar ...

  7. sql server时间戳timestamp

    sql server时间戳timestamp 在SQL Server中联机丛书是这样说的: SQL Server timestamp 数据类型与时间和日期无关.SQL Server timestamp ...

  8. sql server中的TimeStamp时间戳与UniqueIdentifier数据类型

    TimeStamp SQL Server timestamp 数据类型与时间和日期无关.SQL Server timestamp 是二进制数字,它表明数据库中数据修改发生的相对顺序.实现 timest ...

  9. SQL Server 聚合函数算法优化技巧

    Sql server聚合函数在实际工作中应对各种需求使用的还是很广泛的,对于聚合函数的优化自然也就成为了一个重点,一个程序优化的好不好直接决定了这个程序的声明周期.Sql server聚合函数对一组值 ...

随机推荐

  1. [原创]最近使用React-Native的适配问题和警告搜集

    主要记录一下最近使用RN 0.29.2版本遇到的适配的坑以及部分警告的解法. 适配类: 安卓输入框圆角.边框颜色.粗细等无法设置成功,需要在TextInput外面新增一个View设置圆角,TextIn ...

  2. node 异步回调解决方法之yield

    先看如何使用 使用的npm包为genny,npm 安装genny,使用 node -harmony 文件(-harmony 为使用es6属性启动参数) 启动项目 var genny= require( ...

  3. 用字体在网页中画Icon图标

    第一步,下载.IcoMoon网站选择字体图标并下载,解压后将fonts文件夹放在工程目录下.fonts文件夹内有四种格式的字体文件: 注:由于浏览器对每种字体的支持程度不一致,要想在所有浏览器中都显示 ...

  4. [No00008C]图解SQL的各种连接join让你对SQL的连接一目了然

    对于SQL的Join,在学习起来可能是比较乱的.我们知道,SQL的Join语法有很多inner的,有outer的,有left的,有时候,对于Select出来的结果集是什么样子有点不是很清楚.Codin ...

  5. JDBC中的Statement和PreparedStatement的区别

    JDBC中的Statement和PreparedStatement的区别  

  6. C#/ASP.NET定时任务执行管理器组件–FluentScheduler定时器

    必须JobManager初始化 方式1: public void Start()         {             JobManager.AddJob(() => FetchingDa ...

  7. Hibernate 缓存机制浅析

    1. 为什么要用 Hibernate 缓存? Hibernate是一个持久层框架,经常访问物理数据库. 为了降低应用程序对物理数据源访问的频次,从而提高应用程序的运行性能. 缓存内的数据是对物理数据源 ...

  8. 动态规划 Dynamic Programming

    March 26, 2013 作者:Hawstein 出处:http://hawstein.com/posts/dp-novice-to-advanced.html 声明:本文采用以下协议进行授权: ...

  9. IOS实现自动循环滚动广告--ScrollView的优化和封装

    一.问题分析 在许多App中,我们都会见到循环滚动的视图,比如广告,其实想实现这个功能并不难,用ScrollView就可以轻松完成,但是在制作的过程中还存在几个小问题,如果能够正确的处理好这些小问题, ...

  10. 前端必备的js知识点（转载）

    1.本文主体源自:http://www.cnblogs.com/coco1s/p/4029708.html,有兴趣的可以直接去那里看,也可以看看我整理加拓展的.2.js是一门什么样的语言及特点?    ...