一.摘要 随着物联网的告诉发展,数据量呈现井喷式的增长,如何来分析和使用这些数据,使数据产生商业价值,已经变得越来越重要.值得高兴的是,当前越来越多的人已经意识到了用数据分析决定商业策略的重要性,也都在进行着各行各业的数据分析.众所周知数据分析的核心是数据,为了更容易的分析数据,数据模型的设计需要遵循一定的规范.当前最流行的联机分析处理(OLAP)的规范为维度建模规范.本文介绍Quick BI如何进行维度建模,基于维度模型如何来自动化的生成分析查询的SQL语句,从而使数据分析变得更容易. 关键字…

Quick B的SQL传参建模功能提供基于SQL的数据加工处理能力,减轻了IT支撑人员的工作量.在即席查询SQL中,我们用物理字段显示别名来表示参数的占位符,配置完占位符后,就可以在查询控件中进行参数绑定.在的传参建模中,本质透传的是逻辑条件,执行过程中会将物理字段:显示别名来表示参数的占位符,配置完占位符后,就可以在查询控件中进行参数绑定.在QuickBI的SQL传参建模中,本质透传的是逻辑条件,执行过程中会将“{物理字段:显示别名}”替换为“物理字段 > 查询值 ” 或 “物理字段 = 查询…

一.摘要 随着互联网的高速发展,数据量爆发式增长的同时,数据的存储形式也开始呈现出多样性,有结构化存储,如 Mysql, Oracle, SQLServer 等,半结构化甚至非结构化存储,如HBase,OSS 等.那么从事数据分析的人员就面临着从多种多样的数据存储形式中提取数据而后进行多维分析,这将是一件非常具有挑战的事情.而Quick BI 作为新一代智能BI服务平台,恰好解决了这一难题,不仅支持多种结构化数据源的多维分析,也支持本地文件上传后的查询分析,同时还支持部分非结构化数据源的OLAP…

开发图表最关键的点在于选择准确的图表类型展示准确的数据,而准确的数据往往依赖于一个强大的取数模型,因此设计一个好的取数模型不仅可以解决数据安全的问题,更可以帮助每个访问者高效触达自己想要的数据,开发者可以通过使用Quick BI建立起多层次多粒度的取数模型. 在构建取数模型前,简单介绍一下数据集的概念.Quick BI 目前已经支持为20多种数据库建立连接,建立连接后我们会在系统内为每个连接生成一个逻辑实体称之为数据源.通过预览数据源可以查看对应数据库下面的物理表信息,并能够基于这些物理表创建数…

写在开头 对于普通的表格展示数据,相信大家都非常熟悉了,今天给大家介绍的是BI领域的分析利器-交叉表,这个在BI分析场景中使用占比最多的分析利器.通过交叉表对数据的承载和管理,用户可以一目了然地分析出各种场景指标以及对比,帮助用户作出决策. 术语说明 行和列:行一般是作为一个系列分类的概念,里面通常放置维度字段:列与行对应,是用于展示统计分析的数据,通常放置度量字段.钻取:钻取是改变维的层次,变换分析的粒度.它包括向上钻取和向下钻取.通过向导的方式,用户可以定义分析因素的汇总行,例如对于各地区各…

背景 一直以来,性能都是技术层面不可避开的话题,尤其在中大型复杂项目中.犹如汽车整车性能,追求极速的同时,还要保障舒适性和实用性,而在汽车制造的每个环节.零件整合情况.发动机调校等等,都会最终影响用户体感以及商业达成,如下图性能对收益的影响. 性能优化是一个体系化.整体性的事情,印刻在项目开发环节的各个细节中,也是体现技术深度的大的战场.下面我将以Quick BI的复杂系统为背景,深扒整个性能优化的思路和手段,以及体系化的思考. 如何定位性能问题? 通常来讲,我们对动画的帧率是比较敏感的(16m…

一.工作原理剖析 1.图解 二.性能优化 1.设置Shuffle过程中的并行度:spark.sql.shuffle.partitions(SQLContext.setConf()) 2.在Hive数据仓库建设过程中,合理设置数据类型,比如能设置为INT的,就不要设置为BIGINT.减少数据类型导致的不必要的内存开销. 3.编写SQL时,尽量给出明确的列名,比如select name from students.不要写select *的方式. 4.并行处理查询结果:对于Spark SQL查询的结果…

最近对接一个接口,需要通过xml序列化成实体后添加额外信息后批量插入数据库,需要手动拼sql.因为涉及多张表,拼凑很麻烦而且容易出错,所以写了两个工具方法来生成sql,先写到博客里面,以便以后不时之需. 直接上工具方法,是通过反射机制来拼凑的sql语句,EF底层实现原理差不多. 1.实体生成Insert语句 /// <summary> /// 通过反射生成sql语句 /// </summary> /// <typeparam name="T"><…

Quick BI 潜心打造了核心技术底座(OLAP分析引擎),实现了SQL解析.SQL调度.SQL优化.查询加速等基础能力,支撑Quick BI的数据分析和查询加速.OLAP分析引擎包括数据源连接.数据模型.智能查询路由.通用查询.加速查询等5大核心能力.今天就Quick BI的数据源连接能力,小编给大家作个详细介绍! 支持哪些数据源:支持24种数据源 数据源是Quick BI用于连接业务数据库的管理功能,是数据分析的基础准备工作.Quick BI数据源,仅做数据源连接.SQL任务解析及调度,所…

摘要 就数据访问权限而言,阿里巴巴以“被动式授权”为主,你需要什么权限就申请什么权限.但是,在客户交流过程中,我们发现绝大多数企业都是集中式授权,尤其是面向个人的行级权限管控,管理复杂度往往呈几何增长.因此,Quick BI创新了标签式授权机制,支撑IT人员轻松实现千人千面的行级权限管控?小编给大家做个详细介绍! 为什么要做千人千面的标签式授权 不管是敏捷BI ,还是传统BI,甚至定制开发报表,都需要面临个人级别的行级数据访问权限控制.Quick BI作为一个高效数据分析与展现的BI套件,实现了…