本文转载自:http://www.cnblogs.com/evencao/archive/2013/06/14/3135589.html 联机处理分析(OLAP):介绍 首先要理解的概念: 1.维度:人们观察事物的角度,例如地区维度.时间维度.产品维度. 2.层:根据维度细节程度的不同,划分数据在逻辑上的等级关系,用来描述维度的各个方面.时间维度包括年.月.日.读取维度包括国家.省等. 3.维度的成员:维度的取值.即地区维度中的中国,美国. 4.钻取:通过变换维度的层次,改变粒度的大小. 5.旋

OLTP和OLAP 传统的数据库系统都是OLTP,只能提供数据原始的操作.不支持分析工作. OLTP系统::执行联机事务和查询处理.一般超市进销存系统,功能:注册,记账,库存和销售记录等等, OLAP系统:数据分析与决策服务,组织不同格式数据,满足不同用户需求. 区别: 面向性.OLTP面向顾客,就是操作员,如超市收银员,银行柜台人员.OLAP面向市场,用于数据分析,分析人员包括数据分析员,做出决策的业务经理,或者策略制定部分. 数据内容:OLTP当前数据.OLAP历史数据的汇总与聚集. 数据库

@ 目录 数据流向 何为数仓DW 主要特点 与数据库的对比 为何要分层 数据分层 数据运营层ODS 数据仓库层 数据细节层DWD 数据中间层DWM 数据服务层DWS(DWT) 数据应用层ADS 事实表 Fact Table 维表层Dimension(DIM) 临时表TMP 数据集市 区别数据仓库 问题总结 ODS与DWD区别? APP层干什么的? 附录 ETL 宽表 主题(Subject) 数据流向 应用示例 何为数仓DW Data warehouse(可简写为DW或者DWH)数据仓库,是在数据

本文目录: 一.数据流向 二.应用示例 三.何为数仓DW 四.为何要分层 五.数据分层 六.数据集市 七.问题总结 导读 数仓在建设过程中,对数据的组织管理上,不仅要根据业务进行纵向的主题域划分,还需要横向的数仓分层规范.本文作者围绕企业数仓分层展开分析,希望对你有帮助. 因文章太长,本文不是完结版,文末可获取完整PDF版 从事数仓相关工作的人员都知道数仓模型设计的首要工作之一就是进行模型分层,可见模型分层在模型设计过程中的重要性,确实优秀的分层设计是一个数仓项目能否建设成功的核心要素,让数据易

从本篇文章开始,笔者打算写一个系列的<clickhouse专栏>,其全称是Click Stream,Data WareHouse,简称ClickHouse.从其全称中的"Data WareHouse",我们可以看出clickhouse的定位是数据仓库.那么"数据仓库"和"数据库"有什么区别呢?理解这点这很重要,理解了二者的区别,你就可以正确的将clickhouse用到其合适的应用场景. 一.OLTP与OLAP 在理解"数据仓

1. 数据仓库的相关概念 OLAP 大部分数据库系统的主要任务是执行联机事务处理和查询处理,这种处理被称为OLTP(Online Transaction Processing, OLTP),面向的是顾客,诸如:办事员.DBA等.而数据仓库主要面向知识工人(如经理.主管等)提供数据分析处理,这种处理被称为OLAP(Online Analysis Processing).OLTP管理的是当前数据,比较琐碎,很难用于做决策.而OLAP管理的是大量历史数据,提供汇总与聚集机制,并在不同的维度.不同的粒度

转自:http://www.cnblogs.com/en-heng/p/5239311.html 1. 数据仓库的相关概念 OLAP 大部分数据库系统的主要任务是执行联机事务处理和查询处理,这种处理被称为OLTP(Online Transaction Processing, OLTP),面向的是顾客,诸如:办事员.DBA等.而数据仓库主要面向知识工人(如经理.主管等)提供数据分析处理,这种处理被称为OLAP(Online Analysis Processing).OLTP管理的是当前数据,比较琐

业务需求 某家位列国内五大电信运营商之列的通信公司(以下简称“通信公司”)在多年的运营过程中,积累了大量的业务数据,分散在各个运营系统中(计费系统.九七工程.网管系统等).这些系统主要是面向公司的日常运行和维护,虽拥有最全面详细的内容,但是却无法满足公司如市场分析.客户分析的需求.也就是说,这些数据库系统像一个个孤岛,很难得到综合利用.而这些数据分析对于公司的发展来说却是至关重要的. 互联网技术的发展,为电信的企业信息.客户信息.服务信息在企业内部.企业和客户间畅通传递奠定了技术基础.在数据库应

总结来说: 数据仓库提供了一个分析的数据源 数据挖掘能分析出未知的信息,提出假设 OLAP能通过分析,验证假设 从技术角度看,商务智能的过程是企业的决策人员以企业中的数据仓库为基础,经由数据挖掘工具.联机分析处理工具加上决策规划人员的专业知识,从数据中获得有用的信息和知识,帮助企业获取更多的利润. 数据仓库是一个用以更好地支持企业或组织的决策分析处理的的数据集合,它有面向主题.集成.相对稳定.随时间不断变化四个特性,将数据仓库与传统的面向事务处理的数据库区分开来.数据仓库的关键技术包括数据的抽取

什么是数据仓库 数据仓库,英文名称为Data Warehouse,可简写为DW或DWH.数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合.它出于分析性报告和决策支持目的而创建. 为需要业务智能的企业,提供指导业务流程改进.监视时间.成本.质量以及控制. 数据仓库的特点 1．数据仓库的数据是面向主题的 与传统数据库面向应用进行数据组织的特点相对应,数据仓库中的数据是面向主题进行组织的.什么是主题呢?首先,主题是一个抽象的概念,是较高层次上企业信息系统中的数据综合.归类并进行

1. 什么是OLAP •定义1 :OLAP(联机分析处理)是针对特定问题的联机数据访问和分析.通过对信息(维数据)的多种可能的观察形式进行快速.稳定一致和交互性的存取,允许管理决策人员对数据进行深入观察. •定义2 :OLAP(联机分析处理) 是使分析人员.管理人员或执行人员能够从多种角度对从原始数据中转化出来的.能够真正为用户所理解的.并真实反映企业维特性的信息进行快速.一致.交互地存取,从而获得对数据的更深入了解的一类软件技术.(OLAP委员会的定义) •OLAP的目标是满足决策支持或多维环

联机操作数据库系统的主要任务是执行联机事务和查询处理.这种系统称为联机事务处理(OnLine Transaction Processing,OLTP) 系统.它们涵盖了单位的大部分日常操作,如购物,库存,制造,银行,工资,注册,记帐等.另一方面,数据仓库系统在数据分析和决策方面为用户或者“知识工人”提供服务.这种系统可以用不同的格式组织和提供数据,以便满足不同用户的形形色色的需求.这种系统称为联机分析处理(OnLine Analytical Processing,OLAP)系统 OLTP与OLA

设计和实现OLAP解决方案   第一讲 简介首先,啥叫数据仓库? 数据仓库就是数据的仓库!用外文说叫Data Warehouse,简称DW. 是不是哐当倒下一片啊,要不咱换个专业点的说法? 数据仓库是一个面向主题的.集成的.相对稳定的.反映历史变化的.包含商业信息的数据集合,用于支持管理决策. 看得懂不?谅你也不懂. 算了,别叫这真了. 等你明白了舍生取义,你自然会明白什么是数据仓库的. 数据仓库里面有大量包含商业信息的数据,但是我们很难从中捕获信息,因为数据仓库一般有很大的数据量,要整理这些数

DB.ETL.DW.OLAP.DM.BI关系结构图 在此大概用口水话简单叙述一下他们几个概念: (1)DB/Database/数据库——这里一般指的就是OLTP数据库,在线事物数据库,用来支持生产的,比如超市的买卖系统.DB保留的是数据信息的最新状态,只有一个状态!比如,每天早上起床洗脸照镜子,看到的就是当时的状态,至于之前的每天的状态,不会出现的你的眼前,这个眼前就是db. (2)DW/Data Warehouse/数据仓库——这里保存的是DB中的不同时间点的状态,比如,每天早上洗完照镜子时,

OLAP.OLTP的介绍和比较 数据处理大致可以分成两大类: OLTP(On-Line Transaction Processing)联机事务处理 也称为面向交易的处理系统,其基本特征是顾客的原始数据可以立即传送到计算中心进行处理,并在很短的时间内给出处理结果. 传统的关系型数据库的主要应用,主要是基本的.日常的事务处理,例如银行交易. OLAP(On-Line Analytical Processing)联机分析处理 是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂

前言 上一篇重点讲解了数据仓库建模,它是数据仓库开发中最核心的部分.然而完整的数据仓库系统还会涉及其他一些组件的开发,其中最主要的是ETL工程,在线分析处理工具(OLAP)和商务智能(BI)应用等. 本文将对这些方面做一个总体性的介绍(尤其是OLAP),旨在让读者对数据仓库的认识提升到一个全局性的高度. 创建数据仓库 数据仓库的创建方法和数据库类似,也是通过编写DDL语句来实现.在过去,数据仓库系统大都建立在RDBMS上,因为维度建模其实也可以看做是关系建模的一种.但如今随着开源分布式数据仓库工

联机事务处理(OLTP) OLTP也称实时系统(Real Time System),支持事务快速响应和大并发,这类系统典型的有ATM机(Automated Teller Machine)系统.自动售票系统等,但有些银行转账并不是实时到账的.OLTP反映企业当前的运行状态,完成企业管理所包含的日常任务的数据库应用,一般没有复杂的查询和分析处理. 联机分析处理(OLAP) OLAP也称决策支持系统(Decision Support System,DSS),是数据仓库系统的主要应用形式,使分析人员.管

由于第三章的内容比较多,这里我们拆分成两篇读书笔记来记录.上一章我们聊了聊如何数据库是如何实现存储和检索的,今天这篇我们继续来看看OLTP与OLAP存储引擎的区别与联系. 1.OLTP与OLAP 联机事务处理过程(On-Line Transaction Processing)也就是我们通常称之的OLTP. 联机分析处理过程(On-Line Analysis Processing)则被称为OLAP. 在文中,作者列出了两类处理过程的区别,我们来一一梳理一下: OLTP的应用通常读写较少的数据,处理

数据仓库建设--OLAP和数据立方体概念 http://student-lp.iteye.com/blog/2263154 OLAP(On-LineAnalysis Processing)在线分析处理是一种共享多维信息的快速分析技术:利用多维数据库技术使用户从不同角度观察数据:用于支持复杂的分析操作,侧重于对管理人员的决策支持,可以满足分析人员快速.灵活地进行大数据复量的复杂查询的要求,并且以一种直观.易懂的形式呈现查询结果,辅助决策. 2.相关概念 (1)维 是人们观察数据的特定角度,是考虑问

在此大概用口水话简单叙述一下他们几个概念: (1)DB/Database/数据库——这里一般指的就是OLTP数据库,在线事物数据库,用来支持生产的,比如超市的买卖系统.DB保留的是数据信息的最新状态,只有一个状态!比如,每天早上起床洗脸照镜子,看到的就是当时的状态,至于之前的每天的状态,不会出现的你的眼前,这个眼前就是db. (2)DW/Data Warehouse/数据仓库——这里保存的是DB中的不同时间点的状态,比如,每天早上洗完照镜子时,都拍一张照片,天天这样,这些照片放入到一个相册中,之