企业核心业务系统oltp的数据需要通过ETL同步到数据仓库,原始的ETL流程通过定制化从SQL Server中进行数据抽取,经过生产环境的监控,发现ETL过程的query会对生产系统造成额外负载.于是制定了通过cdc进行增量数据同步的方案: 方案选型中比对了SQL server的trigger,CT,CDC, temporary table各种方式,选型对比如下:   Trigger CT CDC Temporal table Sync way Synchronous Synchronous A

写在前面 好久没更新Blog了,从CRUD Boy转型大数据开发,拉宽了不少的知识面,从今年年初开始筹备.组建.招兵买马,到现在稳定开搞中,期间踏过无数的火坑,也许除了这篇还很写上三四篇. 进入主题,通常企业为了实现数据统计.数据分析.数据挖掘.解决信息孤岛等全局数据的系统化运作管理 ,为BI.经营分析.决策支持系统等深度开发应用奠定基础,挖掘数据价值 ,企业会开始着手建立数据仓库,数据中台.而这些数据来源则来自于企业的各个业务系统的数据或爬取外部的数据,从业务系统数据到数据仓库的过程就是一个E

  [译注:此文为翻译,由于本人水平所限,疏漏在所难免,欢迎探讨指正]  原文链接:http://www.sqlservercentral.com/articles/Stairway+Series/72284/ 对于数据库设计来说,索引是至关重要的,它告诉了那些大量使用数据库的开发者其所使用的数据库的设计意图.然而不幸的是,在实际开发过程中,索引常常是作为一个性能问题发生时候的解决方案被添加上的.这一些列关于索引的介绍可以让你与专业的数据库设计人员保持思想及设计上的一致. 第一节介绍SQL SE

概述 全文引擎使用全文索引中的信息来编译可快速搜索表中的特定词或词组的全文查询.全文索引将有关重要的词及其位置的信息存储在数据库表的一列或多列中.全文索引是一种特殊类型的基于标记的功能性索引,它是由 SQL Server 全文引擎生成和维护的.生成全文索引的过程不同于生成其他类型的索引.全文引擎并非基于特定行中存储的值来构造 B 树结构,而是基于要编制索引的文本中的各个标记来生成倒排.堆积且压缩的索引结构.在 SQL Server 2008 中,全文索引大小仅受运行 SQL Server 实例的

  摘要:在企业客户里, SQL Server 在传统的制造业依然散发着持久的生命力,SQL Server 的 CDC 复杂度相比 Oracle 较低, 因此标准的官方派做法就是直接使用这个 CDC 接口进行同步,但江湖上也有通过裸解析 ldf 文件来直接读取数据库变更,本文将就这两大门派展开探讨.   前言 上次发的关于Oracle CDC 的文章反响不错, 而像这种类型的数据库还有好几个, 这里把三大闭源数据库先讲一遍: Oracle, SQL Server 和 DB2.   在企业客户里,

前言 本文旨在帮助SQL Server数据库的使用人员了解常见的问题,及快速解决这些问题.这些问题是数据库的常规管理问题,对于很多对数据库没有深入了解的朋友提供一个大概的常见问题框架. 下面一些问题是在近千家数据库用户诊断时发现的常规问题,本文分为[常见问题诊断流程]-[常见问题]-[常见问题快速解决的建议] 常见问题诊断流程 概览模块—[汇总]了解系统 了解系统性能(语句执行时间.会话等待) 语句执行时间:横坐标为时间范围,纵坐标为在执行时间在范围内分布的语句数量. (本例:收集时间内语句执行

数据库索引是对数据表中一个或多个列的值进行排序的结构,就像一本书的目录一样,索引提供了在行中快速查询特定行的能力 详细出处参考:http://www.jb51.net/article/30950.htm 一.索引的概述 1.概念: 数据库索引是对数据表中一个或多个列的值进行排序的结构,就像一本书的目录一样,索引提供了在行中快速查询特定行的能力. 2.优缺点: 2.1 优点: 1.大大加快搜索数据的速度,这是引入索引的主要原因. 2.创建唯一性索引,保证数据库表中每一行数据的唯一性. 3.加速表与

一.本文所涉及的内容(Contents) 本文所涉及的内容(Contents) 前言(Introduction) 复制逻辑结构图(Construction) 系列文章索引(Catalog) 总结&待续...(Summary & To Be Continued…) 二.前言(Introduction) SQL Server的复制.日志传送.镜像等几个高级功能中,个人感觉复制是比较符合我的生产环境的要求的,其实搭建复制并不难,但是在网上关于:通过备份文件初始化复制.跨网段(跨机房)复制的文章会

前言 本文旨在帮助SQL Server数据库的使用人员了解常见的问题.及高速解决这些问题.这些问题是数据库的常规管理问题,对于非常多对数据库没有深入了解的朋友提供一个大概的常见问题框架. 以下一些问题是在近千家数据库用户诊断时发现的常规问题.本文分为[常见问题诊断流程]-[常见问题]-[常见问题高速解决的建议] 常见问题诊断流程 概览模块-[汇总]了解系统 了解系统性能(语句运行时间.会话等待) 语句运行时间:横坐标为时间范围,纵坐标为在运行时间在范围内分布的语句数量. (本例:收集时间内语句运

什么是触发器 触发器对表进行插入.更新.删除的时候会自动执行的特殊存储过程.触发器一般用在check约束更加复杂的约束上面.触发器和普通的存储过程的区别是:触发器是当对某一个表进行操作.诸如:update.insert.delete这些操作的时候,系统会自动调用执行该表上对应的触发器.SQL Server 2005中触发器可以分为两类:DML触发器和DDL触发器,其中DDL触发器它们会影响多种数据定义语言语句而激发,这些语句有create.alter.drop语句. DML触发器分为: 1. a

事务(Transaction)事务是一种机制,一个操作序列,包含一组操作指令,并且把所有的命令作为一个整体一起向系统提交或撤销操作请求(即要么全部执行,要么全部不执行)---------------------------------------事务的4个属性原子性(Atomiciy)事务中的所有元素必须作为一个整体提交或回滚,其元素是不可分的(原子性),如果事务中的任何元素出现失败则全部失败.一致性(Consistency)数据必须处于一致状态,也就是说事务开始与结束数据要一致,不能损坏其中的

介绍Inner Join(可以省略Inner,平常经常inner,就是inner join), Full Out Join,Cross Join,Left Join, Right Join区别. )) , 'Craig') , 'John Doe') , 'Jane Doe') )) , 'Camera') , 'Computer') , 'Monitor') , 'Printer') Customers 表数据: Sales 表数据:1.inner join 两边都有的才筛选出来(Inner

execute相信大家都用的用熟了,简写为exec,除了用来执行存储过程,一般都用来执行动态Sql sp_executesql,sql2005中引入的新的系统存储过程,也是用来处理动态sql的, 如:  exec sp_executesql @sql, N'@count int out,@id varchar(20)', @cou out ,@id @sql为拼成的动态sql N'@count int out,@id varchar(20)'为拼成的动态sql内的参数列表 @cou out,@i

 sys.sp_MScdc_capture_job   RAISERROR(22801, 10, -1)      --原本 go sys.sp_MScdc_capture_job; go --修改后 go sys.sp_cdc_scan ,,, go

一.本文所涉及的内容(Contents) 本文所涉及的内容(Contents) 前言(Introduction) 复制逻辑结构图(Construction) 系列文章索引(Catalog) 总结&待续...(Summary & To Be Continued…) 二.前言(Introduction) SQL Server的复制.日志传送.镜像等几个高级功能中,个人感觉复制是比较符合我的生产环境的要求的,其实搭建复制并不难,但是在网上关于:通过备份文件初始化复制.跨网段(跨机房)复制的文章会

一.SQL Server分区介绍 在SQL Server中,数据库的所有表和索引都视为已分区表和索引,默认这些表和索引值包含一个分区:也就是说表或索引至少包含一个分区.SQL Server中数据是按水平方式分区,是多行数据映射到单个分区.已经分区的表或者索引,在执行查询或者更新时,将被看作为单个逻辑实体:简单说来利用分区将一个表数据分多个表来存储,对于大数据量的表,将表分成多块查询,若只查询某个分区数据将降低消耗提高效率.需要注意的是单个索引或者表的分区必须位于一个数据库中.在使用大量数据管理时

转自win7 安装SQL Server 2005 开发版 图文教程 ----------------------------写在安装前------------------------------ 一.SQL server 版本介绍 (1) SQL Server 2005 Express Edition(快速开发版) 微软的免费,但比企业版的少了很多功能.因为我需要analysis server,而该版本没有该组件,因此没有使用这个.但该版本能满足一般的学习和开发功能,且安装包小,安装容易. (2

原文:SQL Server审计功能入门:SQL Server审核 (SQL Server Audit) 介绍 Audit是SQL Server 2008之后才有的功能,它能告诉你"谁什么时候做了什么事情".具体是指审核SQL Server 数据库引擎实例或单独的数据库涉及到跟踪和记录数据库引擎中发生的事件.它的底层是基于扩展事件(Extented Event),所以其性能和灵活性相对较好.审核数据可以输出到审核文件.Windows安全日志和应用程序日志. Audit都需要创建一个实例级

使用SQL Server Profiler 进行sql监控需要一些设置: 其他的就是进行分析了~ 清除SQL SERVER缓存 常用的方法: DBCC DROPCLEANBUFFERS 从缓冲池中删除所有清除缓冲区. DBCC FREEPROCCACHE 从过程缓存中删除所有元素. DBCC FREESYSTEMCACHE 参考:http://www.cnblogs.com/TivonStone/archive/2010/10/10/1847345.html 0.简介 SQL Server 提供

<Pro SQL Server Internals, 2nd edition> 作者:Dmitri Korotkevitch 翻译:赖慧芳 译文: 55-58页 第三章 统计 SQL Server查询优化器在为查询选择执行计划时使用基于成本的模型.它估计不同执行计划的成本,并选择成本最低的一个.但是,请记住,SQL Server并不搜索可用于查询的最佳执行计划,因为评估所有可能的替代方案在CPU方面既费时又昂贵.查询优化器的目标是找到一个足够好的执行计划,足够快. 基数估计(在查询执行的每个步