什么是ETL--ETL定义、过程和工具选型思路

ETL代表“提取、转换和加载”。ETL 过程在数据集成策略中起着关键作用。ETL允许企业从多个来源收集数据并将其整合到一个集中的位置。ETL还使不同类型的数据可以协同工作。

概述

典型的ETL过程会收集和优化不同类型的数据，然后将数据传送到数据仓库。

ETL 还使在各种来源、目的地和分析工具之间迁移数据成为可能。因此，ETL流程在生成商业智能和执行更广泛的数据管理策略方面发挥着关键作用。

ETL 的工作原理

ETL 过程由三个步骤组成，并使数据能够从源头集成到目的地，这三个步骤分别是数据提取、数据转换和数据加载。

第 1 步：提取

很少有企业依赖单一的数据类型或系统。大多数企业拥有来自各种来源的数据，并使用多种数据分析工具来生成商业智能。要制定这样的复杂数据策略，数据必须能够在系统和应用程序之间自由传输。

在将数据移动到新目标之前，必须首先从其源中提取数据。在ETL过程的第一步中，结构化和非结构化数据被导入并整合到一个存储库中。可以从广泛的来源中提取原始数据，包括：

· 现有数据库和遗留系统

· 云、混合和本地环境

· 销售和营销应用

· 移动设备和应用程序

· 客户关系管理系统

· 数据存储平台

· 数据仓库

· 分析工具

虽然可以手动完成，但手工编码的数据提取可能需要大量时间并且容易出错。ETL工具可自动执行提取过程并创建更高效、更可靠的工作流程。

第 2 步：转型

在 ETL 过程的这个阶段，可以应用规则和法规来确保数据质量和可访问性。您还可以应用规则来帮助您的公司满足报告要求。数据转换的过程由几个子过程组成：

· 清理——解决数据中的不一致和缺失值。

· 标准化——格式化规则应用于数据集。

· 重复数据删除— 排除或丢弃冗余数据。

· 验证— 删除不可用的数据并标记异常。

· 排序— 根据类型组织数据。

· 其他任务——可以应用任何附加/可选规则来提高数据质量。

转换通常被认为是 ETL 过程中最重要的部分。数据转换可提高数据完整性，并有助于确保数据到达新目的地时完全兼容并可供使用。

第 3 步：加载

ETL 过程的最后一步是将新转换的数据加载到新目的地。数据可以一次加载（满载）或按预定时间间隔（增量加载）加载。

满载— 在 ETL 满载场景中，来自转换装配线的所有内容都会进入数据仓库中新的、唯一的记录。虽然有时这对研究目的很有用，但完全加载产生的数据集会呈指数增长，并且很快就会变得难以维护。

增量加载——一种不太全面但更易于管理的方法是增量加载。增量加载将传入数据与现有数据进行比较，并且只有在找到新的唯一信息时才会生成额外的记录。这种架构允许使用更小的数据仓库来维护和管理商业智能。

ETL和商业智能

数据战略比以往任何时候都更加复杂，公司可以从更多来源访问更多数据。ETL 可以将大量数据转化为可操作的商业智能。

所有这些数据都必须被提取、转换并加载到新的目的地进行分析。在这种情况下，ETL 通过以下方式帮助创建商业智能：

提供统一数据

管理多个数据集需要时间和协调，并可能导致效率低下和延迟。ETL 将数据库和各种形式的数据组合成一个单一的、统一的视图。这使得分析、可视化和理解大型数据集变得更加容易。

提供历史背景

ETL 允许企业将遗留数据与从新平台和应用程序收集的数据相结合。这会生成数据的长期视图，以便可以查看较旧的数据集以及更新的信息。

提高效率和生产力

ETL 软件使手工编码的数据迁移过程自动化。因此，开发人员及其团队可以将更多时间花在创新上，而减少管理编写代码以移动和格式化数据的时间。

构建您的ETL策略

ETL 可以通过两种方式完成。在某些情况下，企业可能会要求开发人员构建自己的 ETL。然而，这个过程可能是时间密集型，容易出现延迟。

如今，大多数公司都依赖 ETL 工具作为其数据集成过程的一部分。ETL 工具以其速度、可靠性和成本效益以及与更广泛的数据管理策略的兼容性而闻名。ETL 工具还包含广泛的数据质量和数据治理功能。

ETL工具选型

在评估 ETL 工具时，您需要考虑所需连接器的数量和种类，以及它的便携性和易用性。