(讀書筆記)許多公司,儘管想導入 Big Data,仍必須繼續用 Data Warehouse 來管理結構化的營運數據.系統記錄.而 Big Data 的出現,為 Data Warehouse 提供了一個互補的機會,而不是取代後者. 高度結構化的營運資料 (data,數據),仍然可保留在 Data Warehouse 中:而分散式 (distributed) 的資料,以及會即時改變的資料,則可交由基於 Hadoop 的架構來控制. 圖 1 傳統的 Data Warehouse 和 Data Ma…

Database https://en.wikipedia.org/wiki/Database A database is an organized collection of data.[1] A relational database, more restrictively, is a collection of schemas, tables, queries, reports, views, and other elements. Database designers typically…

Building the Unstructured Data Warehouse: Architecture, Analysis, and Design earn essential techniques from data warehouse legend Bill Inmon on how to build the reporting environment your business needs now! Answers for many valuable business questio…

前言 这篇笔记的主要内容来至于The Data Warehouse Toolkit,该书可以称为数仓建模的圣经 什么是星型模型 以一个业务实时为主表.比如一笔订单就是一个业务事实.订单有商品的SKU信息,销售市场信息,日期信息 ,这些基本属性,叫做维度. 雪花 一个产品维度,本身还有分类.包装等信息,也独立做成表,围绕在事实表身边,就像一片雪花. 为什么要用星型模型 OLTP是增对的事务,写的场景,所以粒度要细.数仓模型的应用场景是数据分析,涉及大量查询,所以要少关联,多整合 降低业务理解难度和…

Azure SQL Data Warehouse & AWS Redshift Amazon Redshift Amazon Redshift 是一种快速.完全托管的 PB 级数据仓库,可方便您使用现有的商业智能工具以一种经济的方式轻松分析您的所有数据.从最低 0.25 USD 每小时(不承担任何义务)直到每年每 TB 1,000 USD(PB 级),成本不到传统解决方案的十分之一.客户通常进行 3 倍压缩,也就是将其成本降低到每年每 TB(未压缩)333 USD. Azure SQL Data…

场景4 Data Warehouse Management 数据仓库 parallel 4 100% —> 必须获得指定的4个并行度,如果获得的进程个数小于设置的并行度个数,则操作失败 parallel_min_percent : 若设为100,则如上 ILM :信息生命周期管理 将休眠的数据高压缩放在低成本通道上(如磁带机) 将低访问量的数据低压缩放在访问效率低的设备上 将高访问数据不作压缩放在访问效率高的设备上 分区 (官方文档VLDB and Partioning Guide) 单张表容量…

作者 王枫发布于2014年2月19日 综述 随着越来越多的组织的数据从GB.TB级迈向PB级,标志着整个社会的信息化水平正在迈入新的时代 – 大数据时代.对海量数据的处理.分析能力,日益成为组织在这个时代决胜未来的关键因素,而基于大数据的应用,也在潜移默化地渗透到社会的方方面面,影响到每一个人的日常生活,人们日常生活中看到的电视节目.浏览的网页.接收到的广告,都将是基于大数据分析之后提供的有针对性的内容. 微软在大数据领域的战略重点,在于更好地帮助客户"消费"大数据,让所有的用户都能够…

综述 随着越来越多的组织的数据从GB.TB级迈向PB级,标志着整个社会的信息化水平正在迈入新的时代 – 大数据时代.对海量数据的处理.分析能力,日益成为组织在这个时代决胜未来的关键因素,而基于大数据的应用,也在潜移默化地渗透到社会的方方面面,影响到每一个人的日常生活,人们日常生活中看到的电视节目.浏览的网页.接收到的广告,都将是基于大数据分析之后提供的有针对性的内容. 微软在大数据领域的战略重点,在于更好地帮助客户“消费”大数据,让所有的用户都能够从几乎任何规模任何类型的任何数据当中获得可以转化…

Knowledge Discovery Process OLTP & OLAP 联机事务处理(OLTP, online transactional processing)系统:涵盖组织机构大部分的日常操作,purchasing, inventory, banking,manufacturing, payroll, registration, accounting 联机分析处理(OLAP, online analytical processing)系统:以不同的格式组织和提供数据,以满足不同用户的…

data warehouse 1.01. EDW goal, separate data marts reqlity2. batch oriented etl3. IT driven BI - dashboards & reports4. Human-based incites data warehouse 2.01. Integrated, consolidated architecture2. batch + real-time ELT3. IT + LoB driven BI + disc…