数据质量框架QUalitis浅尝使用

数据质量管理平台(微众银行)Qualitis+Linkis

（一）Qualitis是一个数据质量管理系统，用于监控数据质量。

其功能包括:

• 数据质量模型定义
• 数据质量结果可视化
• 可监控

数据质量管理服务提供一整套统一的流程来定义和检测数据集的质量并及时报告问题

（二）Linkis属于上层应用程序和底层引擎之间构建了一层计算中间件。

其功能包括:

• 丰富的底层计算存储引擎支持：Spark、Hive、Python、Shell、Flink、JDBC、Pipeline、Sqoop、OpenLooKeng、Presto、ElasticSearch、Trino、SeaTunnel 等；
• 丰富的语言支持：SparkSQL、HiveSQL、Python、Shell、Pyspark、Scala、JSON 和 Java 等可监控
• 全栈计算存储引擎架构支持： 能够接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量任务、交互式查询任务、实时流式任务和数据湖任务；

数据质量管理服务提供一整套统一的流程来定义和检测数据集的质量并及时报告问题

没有使用Linkis中间件之前的上传应用和大数据底层引擎的关系

使用Linkis中间件之前的上传应用和大数据底层引擎的关系

基于Qualitis做大数据Hive数据质量分析

（一）配置规则计算Linkis系统

（二）校验Linkis系统正常接入

（三）配置数据质量检测项目

（四）配置项目的检测规则

（五）执行检测项目的规则任务

（六）查看项目规则任务状态

（七）数据质量分析

（路径是Linkis所在服务器的HDFS里的路径{由当前用户托管的路径}）

（八）查看数据质量分析结果

hdfs dfs -get /tmp/linkis/hadoop/hadoop_ClusterName1.3_default_ef04cef1-073a-454a-9506-ba0d5e555ae4.xlsx

（九）查看数据质量规则

（十）增加任务规则模板

（十一）配置质量管理

（十二）指标关联检测规则

（十三）首页查看质量任务统计