ETL过程

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。企业如何通过各种技术手段，并把数据转换为信息、知识，已经成了提高其核心竞争力的主要瓶颈。而ETL则是主要的一个技术手段。

实现ETL，首先要实现ETL转换的过程。体现为以下几个方面：

• 空值处理：可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库。
• 规范化数据格式：可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式。
• 拆分数据：依据业务需求对字段可进行分解。例，主叫号 861082585313-8148，可进行区域码和电话号码分解。
• 验证数据正确性：可利用Lookup及拆分功能进行数据验证。例如，主叫号861082585313-8148，进行区域码和电话号码分解后，可利用Lookup返回主叫网关或交换机记载的主叫地区，进行数据验证。
• 数据替换：对于因业务因素，可实现无效数据、缺失数据的替换。
• Lookup：查获丢失数据 Lookup实现子查询，并返回用其他手段获取的缺失字段，保证字段完整性。
• 建立ETL过程的主外键约束：对无依赖性的非法数据，可替换或导出到错误数据文件中，保证主键唯一记录的加载。

注意事项：

• 如果条件允许，可利用数据中转区对运营数据进行预处理，保证集成与加载的高效性；
• 如果ETL的过程是主动“拉取”，而不是从内部“推送”，其可控性将大为增强；
• ETL之前应制定流程化的配置管理和标准协议；
• 关键数据标准至关重要。ETL面临的最大挑战是当接收数据时其各源数据的异构性和低质量。以电信为例，A系统按照统计代码管理数据，B系统按照账目数字管理，C系统按照语音ID管理。当ETL需要对这三个系统进行集成以获得对客户的全面视角时，这一过程需要复杂的匹配规则、名称/地址正常化与标准化。而ETL在处理过程中会定义一个关键数据标准，并在此基础上，制定相应的数据接口标准。
• 将数据加载到个体数据集时。在没有一个集中化的数据库情况下，拥有数据模板是非常重要的。它们是标准化的接口，每一个个体或者部门数据集市都能够填充。确保你的ETL工具有这样的功能，能够扩展到一个数据仓库平台，将信息从一个数据集市流动到下一个。

参考：

1、百度百科-ETL