数据仓库的自动ETL研究

但是，在实施数据集成的过程中，由于不同用户提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题，严重阻碍了数据在各部门和各应用系统中的流动与共享。因此，如何对数据进行有效的集成管理已成为增强企业商业竞争力的必然选择。

数据仓库的自动ETL研究

下载PDF阅读器

数据仓库的建设是为了能支持决策分析。数据质量是数据仓库项目的生命线所在，也关系到数据分析、数据挖掘的质量。在进行决策分析或数据挖掘时，需要全面、正确地集成数据，这些集成的数据不仅包含企业内部各部门的有关数据，而且还要包含企业外部、甚至竞争对手的相关数据。数据仓库的数据集成是解决海量的、异构、多源的、分布式数据集成问题。解决这一问题，ETL(数据抽取、转换、装载)则是主要的一个技术。本文中我们研究了数据仓库的ETL技术。目的是为了提高数据集成的质量，丰富数据挖掘及数据分析。提出了基于语义元数据自动转换的思想和算法，建立了语义元数据模型，提出元数据语义化的规则。首先，根据数据多源的、异构的、分布式存储的特点，建立标准化、规范化的数据接口，以利于数据的集成。通过对源数据进行标准化、规范化处理，构建数据仓库，实现信息的可视化和深度应用；使主动拉取过来的数据是“可读”的。在这一层对异构问题进行削弱；其次，开发了多线程的抽取、校验守护程序。实现主动从外部“拉取”，而不是从内部“推送”。系统获取需处理文件列表后，会启动多个线程对需处理文件依次处理，相应地对数据文件进行抽取及校验的处理；第三，提出了将元数据语义化的思想和方法，不断完善语义元数据模型。第四，提出了基于语义元数据的自动转换的思想和算法。基于本体论思想，面向数据仓库应用，并借鉴本体在AI等信息系统领域的成功经验来研究基于语义元数据的数据转换，提高数据集成的质量，对获取规范、可靠的知识也有着重要的理论意义和实用价值。最后，我们根据电信领域数据仓库的建设，建立了数据仓库的原型系统，将客户资料用于基于语义元数据的自动转换，实践证明语义元数据应用于转换是切实有效可行的。并且对研究在线的、探测式的数据挖掘，提供更加灵活、准确的数据准备。丰富数据挖掘功能。