DMP

1.dmp-data mabagement platform数据管理平台

数据赋能，营销智变

2.定义

把分散的第一，第三方异构、多源数据进行整合，然后纳入统一技术平台中，并对这些数据进行标准化和细分处理，用户可以把细分结果推向现有的各类应用环境中。

3.功能

数据清洗

数据管理

数据挖掘

4.用途

发展自身业务

卖数据模型

给别人提供接口访问

5.dsp和dmp

dsp是为广告主服务的，优化广告投放策略

dmp在dsp基础上可以做更多事情

6.dmp数据工程步骤

目标和问题：

• 业务流程和模型的清晰理解
• 业务目标、问题和数据源映射方法

数据源梳理：第一、二、三方数据

• 第一方是指自己拥有的数据
• 第二方是指从合作伙伴来的数据
• 第三方是指从非直接合作关系来的数据

数据源内容和质量分析：

• 一致性
• 实效性
• 完整性等

数据标签的设计和定义：

• 属性类，如性别，年龄
• 行为类，如购买
• 模型类，如VIP

标签体系梳理：

• 业务口径
• 技术口径

数据接口设计：

• hdfs目录设计，ods和dw分层设计
• 按数据来源进行划分
• 数据接口定义，etl和elt（抽取，转换，加载）
• 数据来源
• 存放方式
• 存放目录
• scheme模型信息
• 数据更新频次
• 增量存放
• 全量存放

数据流data stream设计：

• 控制流和数据流

存储和服务器设计：

数据模型data scheme设计：

数据仓库模型设计：

数据处理链条和各模块设计：设计注意事项

• 数据流设计
• 数据处理逻辑设计
• 中间过程表设计
• 时间变量设计
• 依赖关系设计

结果和质量验证设计：

可靠性 etl开发：

运维：

• 需求变更处理
• 调度问题处理
• 系统故障诊断

7.DMP数据工程步骤

a.数据源梳理

• 客户主营业务是什么
• 支撑业务系统有哪些
• 各系统能产生哪些数据
• 业务系统的数据库设计及数据字典能否获取
• 数据质量如何
• 是否已有数据仓库系统

b.标签体系及其口径梳理

• 需要创建哪些标签
• 需要引入哪些日志数据
• 标签的业务口径如何梳理
• 标签的技术口径如何梳理

c.接口定义

• 搬运哪些数据到DMP平台
• 以何种频率或周期进行搬运
• 增量还是全量搬运
• 搬运过来后如何存放

d.数据模型设计

• 需要定义哪些数据集
• 数据集在HDFS上如何组织
• 每个数据集存放哪些属性
• 数据集中属性的命名及数据类型如何设计
• 数据集的更新频次如何设计
• 数据集的更新方式(增量/全量)如何设计
• 数据集是否需要时间分区
• ID打通如何设计

e.ETL设计

• 设计生成每一个目标数据集的流程
• 设计流程中每一个环节的处理逻辑
• 设计一批中间结果数据集,供后续的若干流程使用
• 设计时间变量控制数据处理的时间周期
• 识别各流程之间的依赖关系

f.ETL开发

• 编写代码(SQL,Python,Scala等)
• 调试代码
• 部署代码
• 调度代码

g.运维

• 需求变更处理
• 调度失败问题处理
• 数据质量问题处理
• 项目的导入导出管理