[论文笔记] Methodologies for Data Quality Assessment and Improvement (ACM Comput.Surv, 2009) (1)

Carlo Batini, Cinzia Cappiello, Chiara Francalanci, and Andrea Maurino. 2009. Methodologies for data quality assessment and improvement. ACM Comput. Surv. 41, 3, Article 16 (July 2009), 52 pages. (gs:173)

这篇论文是关于数据质量方法的综述，全文共52页（其中正文34页，附录18页），对现有的"data quality methodologies"进行了系统比较。

正文首先对这个领域进行了简单介绍(S1)，然后介绍了研究数据质量方法(methodology)的六个角度(phases&steps, strategies&techniques, dimensions, costs, types of data, types of information systems) (S2)，之后从上述六个角度对现有的一些主流数据质量方法进行了比较分析(S3)，最后是总结和open issues。在附录里共介绍了13种data quality methodologies.

以下是论文的一些摘要和笔记：

1. 摘要里提到，当前数据质量领域研究热点在“defining methodologies that help the selection, customization, and application of data quality assessment and improvement techniques”。

2. common phases of DQ methodologies (DQM)(S2.1)
(1) state reconstruction (optional): 收集上下文信息 (DQM中一般不讨论这个步骤)
(2) assessment/measurement: 根据相关的数据维度，度量数据集的质量。
    measurement: “measuring the value of a set of data quality dimensions”
    assessment: “when such measurements are compared to reference values, in order to enable a diagnosis of quality”

(3) improvement: 关于达到数据质量目标而选择的步骤、策略和技术

3. assessment phase的步骤(S2.1):
(1) data analysis: 关心data schemas, data, related architectural and management rules
(2) DQ requirements analysis: 跟数据的用户和管理员确定存在的质量问题和需要达到的目标
(3) identification of critical areas: 选中最重要的databases & data flows，以进行量化评估
(4) process modeling: 数据产生和更新的流程模型
(5) measurement of quality: 选出受第二步识别的质量问题影响的quality dimensions，定义相关的metrics.

在assessment phase，metadata可提供一些数据理解和评估需要的信息。

4. improvement phase的步骤(S2.1):
(1) evaluation of costs
(2) assignment of process responsibilities
(3) assignment of data responsibilities
(4) identification of the causes of errors
(5) selection of strategies and techniques
(6) design of data improvement solutions
(7) process control
(8) process redesign
(9) improvement management
(10) improvement monitoring

5. 主要有两类strategies (S2.2)
data-driven strategies: 通过直接修改数据的值来提高数据质量。
process-driven strateiges: 通过重新设计数据产生与修改的流程来提高质量。

6. data-driven strategies用到的improvement techniques有： (S2.2)
(1) acquisition of new data：获取更高质量的数据来替换原有引起质量问题的数据
(2) standardization(or normalization): 比如使用正式名称来取代昵称或简称
(3) record linkage(记录链结): 识别多个表中存在的可能指向同一个对象的数据
(4) data and schema integration: 对异质数据源的数据提供统一的视图。存在三种类型的异质：
        technological heterogeneities: 原因是使用的产品不同
        schema heterogeneities: 是由于使用了不同的数据模型（比如一个用关系数据库模型，另一个用XML数据模型）；或虽然使用了同一种数据模型，但表示方式不一样
        instance-level heterogeneities: 不同源为同一个对象提供了冲突的数据
(5) source trustworthiness: 根据数据质量来选择数据源
(6) error localization and correction: 通过一些规则来发现存在的数据质量问题并予以修正
(7) cost optimization

7. process-driven strategies主要有两种techniques: (S2.2)
(1) process control: 在一些关键点(新数据产生、数据更新、数据被访问等)进行检查和控制
(2) process redesign: 从根源上消除产生低质量数据。

从长远来看，process-driven techniques要比data-driven tehchniques的效果好。

8. (S2.3) 介绍了最终要的六种quality dimension
(1) accuracy: DMQ中考虑的是syntactic accuracy.
(2) completeness: “the degree to which a given data collection includes data describing the corresponding set of real-world objects.”
    在关系数据库领域，null value与completeness比较相关。null的含义包括“不存在”、“存在但缺失”、“不知道是否存在”。
(3) consistency: 是否违法针对数据项集合定义的一套语义规则。在关系型理论中，存在两种inategrity constraints: intra-relation constraints（年龄必须在0-120岁之间），inter-relation constraints
(4) time-related dimensions: currency(当前性?), volatility(易变性) and timeliness(及时性)

9. (S2.4) cost of data quality由两部分组成：
(1) cost of the data quality program: 被认为是一种预防性的成本。
(2) cost associated with poor data quality: process costs(比如由于数据错误导致需要重新执行整个流程引起的成本), opportunity costs(“due to lost and missed revenues”)
要考虑这两部分成本的相互作用：将成本投入到前者有助于减低后者的成本。

10. (S2.5) 介绍了数据的三种类型： structured data,  semistructured data (比如XML), unstructrued data （data quality 领域主要针对前两种数据类型研究）

另一种从制造品的角度对数据进行分类：raw data items、information products、component data items

11. (S2.6) 介绍了information systems的类型(根据系统对数据、流程和管理集成支持的程度来分类，集成的程度越低，能使用的技术就越复杂)
monolithic information system
data warehouse
distributed information system
cooperative information system
Web information system
peer-to-peer infomation system