[云计算&大数据]概念辨析：数据仓库 | 数据湖 | 数据中心 | 数据中台 | 数据平台 【待续】

今日客户对这些个概念不清楚，让我解释解释。

说实在的，虽然对各概念都有印象和理解，但我也不能完完全全地辨析得很清晰。

作为从业者，还是有必要拎清一点。

让一切业务数据化，一切数据业务化。

• 业务数据化
• 数据资产化
• 资产服务化

1 数据仓库

定义

数据仓库(Data Warehouse):
  1. 由比尔·恩门于1990年提出，可简写为 DW 或 DWH。
  2. 是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建，为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。

主要特点

• 【面向主题】指数据仓库内的信息是按主题进行组织的，而不是像业务系统那样按照功能组织。
• 【面向集成】指数据仓库中的信息不是从各个业务系统中简单抽取出来的，而是经过一系列加工、整理和汇总的过程，因此数据仓库中的信息是关于整个企业的一致的全局信息。
• 【基于历史】数据是基于历史的，指数据仓库内的信息并不只是反映企业当前的状态，而是记录了从过去某一时点到当前各个阶段的信息。通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。
• 【数据仓库的类别: ROLAP / MOLAP】

MOLAP，数据以多维方式存储以减少存储空间并提高查询效率，代表厂商为微软；
ROLAP，数据以关系数据库方式存储，代表厂商为SAP BO。

存在的问题

• 数据实时性难以保障

数据实时性问题：由于数据仓库是基于历史数据的，无法满足现代企业管理需求，原来数据仓库基于历史数据设计主要是为了提高查询效率，但是现代的硬件技术与分布式计算早已提供了更好的解决方法。

• 数据共享问题

数据共享问题：
    数据仓库以主题方式组织数据，比如 财务数据、销售数据、采购数据，就使得在解决数据孤岛的问题上又形成了一棵棵“数据烟囱”，
    各部门在使用数据时，仍然会面临数据不一致问题，
    且数据仓库与业务之间高度耦合，也使得数据仓库维护工作量很大，修改起来工作量巨大，难以跟上管理变革。

• 数据分析对业务的支撑不足

数据分析对业务的支撑不足：
  由于数据分析是基于历史数据的分析，而业务是实时的，所以，两者之间存在一定的【时间差】，导致数据分析只能起到对业务的“支撑”作用，而无法起到对业务的“驱动”作用。

2 数据中台 := 数据仓库在大数据时代的延申

由来

数据中台： 某种意义上是一个正宗的中国概念，最早在2015年，阿里巴巴马云访问过北欧的Supercell游戏公司之后，便提出了这个概念。

并不是所有的公司都需要建设数据中台，因为数据中台不仅仅是数据仓库，还包含了一系列配套的平台（元数据、数据安全、数据质量、BI分析等），建设的成本比较高，而对于大多数公司而言，这种经济成本是不划算的。

定义

数据中台: 中台相对于前台和后台而生，是前台、后台的连接点，将业务上共同的数据、工具、模型等予以沉淀与支撑。

数据中台是
  一套可持续“让企业的数据用起来”的机制，
  一种战略选择和组织形式，
  是依据企业特有的业务模式和组织架构，
  通过有形的产品和实施方法论支撑，
  构建一套持续不断把数据变成资产并服务于业务的机制。

数据中台: 整合数据技术、产品技术能力，提供统一的数据和服务，强力支撑前台业务。
  ---- 网易数帆

数据中台是聚合和治理跨域数据，将数据抽象封装成服务，提供给前台以业务价值的逻辑概念
  ---- ThoughtWorks 数据智能总经理，数字化转型专家——史凯

Data API 是数据中台的核心，它是连接前台和后台的桥梁，通过 API 的方式提供数据服务，而不是直接把数据库给前台、让前台开发自行使用数据。

至于产生 Data API 的过程:

• 怎么样让 DataAPI 产生得更快?
• 怎么样让 DATA API 更加清晰?
• 怎么样让 DATA API 的数据质量更好？
  
  这些是要围绕数据中台去构建的能力。

• 特点

统一数据标准: 通过数据标准体系建设方法论+数据指标系统，统一数据指标口径，消除数据二义性

统一数据服务: 统一对外数据服务接口，实现所有需求，一个接口

统一数据资产管理: 提供企业级数据资产管理平台，并通过数据地图与数据血缘实现360°数据全链路追踪

统一开发平台: 提供可视化、拖拽式自助开发与分析平台，统一数据开发流程与项目周期管理

数据中台的核心能力

数据中台需要具备【汇集整合】、【数据开发】、【数据管控】、【数据应用】4大核心能力，让企业员工、客户、渠道、伙伴能够方便地管理、应用数据。

汇集整合 := 数据接入 := 数据集成 := 数据融合

提供丰富异构数据源的汇集能力
提供实时数据接入能力
具备可视化任务设计、丰富的监控管理能力
提供海量数据的接入能力

数据开发

提供海量数据的【数据处理】能力
具备【多种数据类型】处理能力
提供多引擎业务【流程编排】能力
提供强大的【任务调度】能力
具备统一的【数据开发语言】

数据管控

具备【数据资源业务定义】能力
提供【数据标准】线上管控能力
提供【数据质量】体系监控能力
提供【数据资源分级分类】能力

数据应用

为业务中台赋能
提供便捷的【数据服务】API
提供【数据安全】访问控制
提供数据画像的业务能力

3 数据中台 VS 数据平台 VS 数据仓库

数据仓库 VS 数据中台

---------	数据仓库	数据中台
数据来源	传统数仓的数据来源主要是业务数据库，数据格式也是结构化数据为主	数据湖的概念，汇集企业全域数据，主要包括业务数据库、日志数据、物理网数据、爬虫数据、外部数据等。
建设目标	传统数仓主要用来做BI的报表，需求较单一，平台仅抽取和清晰该相关分析报表用到基础数据。	融合整改企业的全部数据，打通数据之间的隔阂，消除数据标准和口径不一致的问题。
数据应用	主要提供报表，构建领导驾驶舱、业务驾驶舱、管理驾驶舱等应用。	不仅面向BI报表，更多面向营销推荐、用户画像、AI决策分析、风险评估等。
数据组织	数据仓库更多的是 数据管理部门或技术部门主要参与，业务部门参与度低。	需从企业素质架构层面进行调整。构建面向业务部门赋能的数据组织架构。

数据仓库 VS 数据平台 VS 数据中台

X 参考文献

• 数据中台解决方案 - 网易数帆
• 到底什么是数据中台？ - CSDN 【推荐】
• 数据中台（一）什么是数据中台 - Zhihu
• 一文搞懂：数据仓库、数据中台、数据湖有什么区别 - Sohu
• 数据中台的起源与疑惑 - CSDN

Y 附件