前言

目前,AnalysisQl 数据视图的元数据(维度、指标、指标计算器)需要通过代码(API)或资源文件的形式硬编码,应用启动时,按照声明的顺序依次注册。这种模式下,数据视图是 静态 的,任何一项变更都需要重新升级发布应用服务,不利于服务快速迭代。

考虑到这种情况,AnalysisQl 在保留原有 静态 视图的前提下,扩展出 动态 视图方案,基于数据库实现元数据的存储,通过更新相应的数据库记录,即可 实时动态 地更新数据视图。

 

AnalysisQl 项目主页https://github.com/weibodip/analysisql。

元数据

数据视图元数据有 7 类:

  • 数据视图信息
  • 数据视图维度
  • 数据视图维度值
  • 数据视图指标
  • 数据表信息
  • 数据表维度
  • 数据表指标计算器

每一类元数据对应着数据库的一张数据表,我们分别介绍。

:数据库以 MySQL 为例进行介绍。

数据视图信息

数据视图信息表(aql_view_info),用于存储多个数据视图(即:主题)信息,包括:名称、别名、描述及状态信息。

字段名称 字段类型 字段含义
id INT 主键ID
avi_topic VARCHAR 视图名称,通常使用英文表示。
avi_alias VARCHAR 视图别名,通常使用中文表示,与 avi_topic(英文名称)相对应。
avi_desc VARCHAR 视图描述,通常用于说明主题附加信息。
avi_state INT 视图状态,数值 0 表示视图处于 禁用 状态;数值 1 表示视图处于 启用 状态,其余数值无效。

:视图名称(avi_topic)全局唯一。

数据视图维度

数据视图维度表(aql_view_dimension),用于存储数据视图支持的维度(多个)信息,包括:名称、别名、描述。

字段名称 字段类型 字段含义
id INT 主键ID
avd_topic VARCHAR 视图名称。
avd_name VARCHAR 视图维度名称,通常使用英文表示。
avd_alias VARCHAR 视图维度别名,通常使用中文表示,与 avd_name(英文名称)相对应。
avd_desc VARCHAR 视图维度描述,通常用于说明维度附加信息。

:视图名称(avd_topic)与视图维度名称(avd_name)组合全局唯一。

数据视图维度值

数据视图维度值表(aql_view_dimension_value),用于存储数据视图中各个维度对应的维度值(多个)。每一个维度的维度值支持多个版本(版本使用时间戳表示),通常使用最新版本(即时间戳最大)的维度值数据。

字段名称 字段类型 字段含义
id INT 主键ID
topic VARCHAR 视图名称。
dimension VARCHAR 视图维度名称。
dtime TIMESTAMP 视图维度值时间戳,默认当前时间(CURRENT_TIMESTAMP)。
dvalue VARCHAR 视图维度值。

写入维度值

数据视图维度值表中的维度值数据需要借助外部应用程序写入,可以使用定时或不定时的方式。注意,写入指定视图维度的维度值时,这些维度值的时间戳(dtime)需要保持一致,表示这些维度值归属于同一个版本。

读取维度值

读取指定视图维度的维度值时,需要经过以下2个步骤:

  1. 根据视图名称、视图维度名称计算视图维度值的最大时间戳(最新版本);
SELECT MAX(dtime) FROM %s WHERE topic = '%s' AND dimension = '%s'
  1. 根据视图名称、视图维度名称及视图维度值的最大时间戳检索维度值;
SELECT DISTINCT(dvalue) FROM %s WHERE topic = '%s' AND dimension = '%s' AND dtime = '%s'

:视图名称(topic)、视图维度名称(dimension)与视图维度值时间戳(dtime)组成联合索引。

数据视图指标

数据视图指标表(aql_view_metric),用于存储数据视图支持的指标(多个)信息,包括:名称、别名、描述。

字段名称 字段类型 字段含义
id INT 主键ID
avm_topic VARCHAR 视图名称。
avm_name VARCHAR 视图指标名称,通常使用英文表示。
avm_alias VARCHAR 视图指标别名,通常使用中文表示,与 avm_name(英文名称)相对应。
avm_desc VARCHAR 视图指标描述,通常用于说明指标附加信息。

:视图名称(avm_topic)与视图指标名称(avm_name)组合全局唯一。

数据表信息

数据表信息表(aql_view_table_info),用于存储数据视图支持的数据表(多个)信息,包括:名称、时间粒度大小、时间粒度单位、保存周期、时间延迟及状态信息。

字段名称 字段类型 字段含义
id INT 主键ID
avti_topic VARCHAR 视图名称。
avti_name VARCHAR 数据表名称,通常使用英文表示。
avti_data INT 数据表数据时间粒度大小。
avti_unit VARCHAR 数据表数据时间粒度单位,支持“s”(秒)、“m”(分钟)、“h”(小时)、“d”(天)、“w”(周)、“M”(月)、“q”(季度)、“y”(年)。
avti_period INT 数据表数据保存周期,使用数据表时间粒度为计算单位,详情见后。
avti_delay INT 数据表数据时间延迟,使用数据表时间粒度为计算单位,详情见后。
avti_state INT 数据表状态,数值 0 表示数据表处于 禁用 状态;数值 1 表示数据表处于 启用 状态,其余数值无效。

假设,时间粒度大小(avti_data)为 5,时间粒度单位(avti_unit)为 m,表示数据表数据时间粒度为 5分钟。

假设,时间粒度为 5分钟,保存周期(avti_period)为 288,表示数据表数据保存周期为 1天。

假设,时间粒度为 5分钟,时间延迟(avti_delay)为 12,表示数据表数据时间延迟为 1小时;

:视图名称(avti_topic)、数据表名称(avti_name)全局唯一;

数据表维度

数据表维度表(aql_view_table_dimension),用于存储数据视图/数据表支持的维度(多个)。

字段名称 字段类型 字段含义
id INT 主键ID
avtd_topic VARCHAR 视图名称。
avtd_table VARCHAR 数据表名称。
avtd_name VARCHAR 数据表维度名称。

:视图名称(avtd_topic)、数据表名称(avtd_table)及数据表维度名称(avtd_name)组合全局唯一。

数据表指标计算器

数据表指标计算器表(aql_view_table_calculator),用于存储数据视图/数据表支持的指标计算信息,包括:名称、指标计算查询引擎(类型、链接、用户名、密码)、指标计算规则(SQL查询语句)。

字段名称 字段类型 字段含义
id INT 主键ID
avtc_topic VARCHAR 视图名称。
avtc_table VARCHAR 数据表名称。
avtc_metric VARCHAR 数据表指标名称。
avtc_type VARCHAR 数据表指标计算时使用的查询引擎类型,支持“clickhouse”、“mysql”、“presto”。
avtc_url VARCHAR 数据表指标计算时连接查询引擎的JDBC URL。
avtc_user VARCHAR 数据表指标计算时连接查询引擎的用户名。
avtc_passwd VARCHAR 数据表指标计算时连接查询引擎的密码。
avtc_sql VARCHAR 数据表指标计算时使用的SQL查询语句,不同的查询引擎需要使用不同的SQL查询语法。

:视图名称(avtc_topic)、数据表名称(avtc_table)及数据表指标名称(avtc_metric)组合全局唯一。

结语

AnalysisQl 会定时扫描加载数据视图表中所有处于 启用 状态的视图,然后使用视图名称从其它几类元数据表中扫描加载视图相应的维度、指标、数据表等信息。如果需要更新数据视图,只需要增加或更新相应的元数据记录,下一次扫描完成之后即可生效。

微博AnalysisQl动态数据视图元数据设计的更多相关文章

  1. Unity 3D Framework Designing(6)——设计动态数据集合ObservableList

    什么是 『动态数据集合』 ?简而言之,就是当集合添加.删除项目或者重置时,能提供一种通知机制,告诉UI动态更新界面.有经验的程序员脑海里迸出的第一个词就是 ObservableCollection.没 ...

  2. Unity应用架构设计(6)——设计动态数据集合ObservableList

    什么是 『动态数据集合』 ?简而言之,就是当集合添加.删除项目或者重置时,能提供一种通知机制,告诉UI动态更新界面.有经验的程序员脑海里迸出的第一个词就是 ObservableCollection.没 ...

  3. Oracle_高级功能(7) 数据字典视图和动态性能视图

    oracle数据字典 1.概念数据字典是oracle数据库用来存储数据库结构信息的地方.数据字典是用来描述数据库数据的组织方式的,由表和视图组成.数据字典基表是在任何 Oracle 数据库中创建的第一 ...

  4. 【Paddy】如何将物理表分割成动态数据表与静态数据表

    前言 一般来说,物理表的增.删.改.查都受到数据量的制约,进而影响了性能. 很多情况下,你所负责的业务关键表中,每日变动的数据库与不变动的数据量比较,相差非常大. 这里我们将变动的数据称为动态数据,不 ...

  5. SharePoint 2013 Designer系列之数据视图

    在SharePoint使用中,数据展示是一块很重要的部分,很多时候我们会采用webpart的形式,但是有一些情况,我们不必使用开发,仅需使用Designer即可,下面让我简单介绍下数据视图的使用. 1 ...

  6. SqlServer性能优化 手工性能收集动态管理视图(三)

    动态管理视图: 具体的实例语句:  --关于语句执行的基本情况 select * from sys.dm_exec_query_stats --动态管理函数  需要提供参数  select top 1 ...

  7. oracle数据字典和动态性能视图

    数据字典和动态性能视图数据字典是oracle数据库中重要的组成部分,提高了数据库的一些系统信息.(静态信息)动态性能视图记载了例程启动后的信息.(动态信息) 数据字典记录了数据的系统信息,是只读表和动 ...

  8. D3js初探及数据可视化案例设计实战

    摘要:本文以本人目前所做项目为基础,从设计的角度探讨数据可视化的设计的方法.过程和结果,起抛砖引玉之效.在技术方案上,我们采用通用web架构和d3js作为主要技术手段:考虑到项目需求,这里所做的可视化 ...

  9. ViewPager使用记录2——展示动态数据

    ViewPager是v4支持库中的一个控件,相信几乎所有接触Android开发的人都对它不陌生.之所以还要在这里翻旧账,是因为我在最近的项目中有多个需求用到了它,觉得自己对它的认识不够深刻.我计划从最 ...

随机推荐

  1. C#/VB.NET 在Word中添加条码、二维码

    本文介绍如何通过C# 和VB.NET代码实现在Word文档中添加条码和二维码.代码中将分为在Word正文段落中.页眉页脚中等情况来添加. 使用工具:Free Spire.Office for .NET ...

  2. Ethical Hacking - GAINING ACCESS(10)

    CLIENT SIDE ATTACKS Use if server-side attacks fail. If IP is probably useless. Require user interac ...

  3. 第一讲 Windows10系统下IDE-CLion的安装与配置

    01 为什么使用CLion?02 CLion安装方法03 CLion的基本使用04 课程形式及答疑说明 toc 参考链接: Window10上CLion极简配置教程 学生免费注册Pycharm专业版 ...

  4. 【真实分享】学习linux!让我工资翻5倍!从月薪3000到年薪18W!只用了六个月!

    月薪3000到年薪18W,我用了六个月时间.从只会皮毛,到一家公司的运维工程师主力,我的故事蛮神奇的,今天和大家分享一下我自己的经历. 我今年26岁,之前做个体,修过电脑,卖过电脑,做过桌面运维,一直 ...

  5. 带你上手阿里开源的 Java 诊断利器:Arthas

    本文适合有 Java 基础知识的人群. 本文作者:HelloGitHub-秦人 HelloGitHub 推出的<讲解开源项目>系列,今天给大家带来一款阿里开源的 Java 诊断利器 Art ...

  6. pom.xml文件中的parent标签

    基本概念 maven的核心就算pom.xm,使用maven是为了更好地帮项目管理包依赖.如果要引入一个jar包,需要在pom文件中加上 <dependency> <groupId&g ...

  7. Spring RestTemplate 的介绍和使用-入门

    RestTemplate是什么? 传统情况下在java代码里访问restful服务,一般使用Apache的HttpClient.不过此种方法使用起来太过繁琐.spring提供了一种简单便捷的模板类来进 ...

  8. 【Laravel 】数据迁移文件常用方法速查表

    一.存储引擎.字符编码相关操作 命令 描述 $table->engine = 'InnoDB'; 指定表的存储引擎(MySQL) $table->charset = 'utf8'; 指定数 ...

  9. Python File next() 方法

    概述 next() 方法在文件使用迭代器时会使用到,在循环中,next()方法会在每次循环中调用,该方法返回文件的下一行,如果到达结尾(EOF),则触发 StopIteration高佣联盟 www.c ...

  10. PHP asinh() 函数

    实例 返回不同数的反双曲正弦: <?phpecho(asinh(7) . "<br>");echo(asinh(56) . "<br>&qu ...