​ETL是什么?

ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL是BI项目中重要的一个环节,用户从数据源抽取出所需的数据,经过数据清洗,最终按照预先定义好的数据模型,将数据加载到数据仓库中去,为后续的数据分析提供数据支撑。

市场面上大多BI工具都不含ETL功能,在进行数据分析项目时,通常会用到BI、ETL两个工具,成本高、花费时间长。而Smartbi推出可视化ETL功能,通过简单的拖拽就可以完成ETL过程。ETL通常是将多来源的异构数据,进行处理后得到具备完整性、一致性的数据模型。

我们将从Smartbi中的自助ETL的应用场景入手,带你了解使用自助ETL是如何高数据的质量!

自助ETL场景应用

操作步骤

1、在Smartbi系统主界面的快捷菜单中选择 数据准备 > 自助ETL,进入“自助ETL”管理界面。

2、在“自助ETL”管理界面中,选择 新建自助ETL 按钮,进入“新建ETL”定制界面。

3、在此界面可以设计定制ETL工作流。

数据源

1、将关系数据源节点拖入画布区,在节点配置区设置关系数据源的参数。

2、在关系数据源上右键选择 执行到此处 ,运行当前节点。

3、点击查看输出,可查看关系数据源节点输出的数据,如下:

将表的数据导入当前工作流完成,下面对数据进行 数据预处理 

数据预处理

需要在表中添加序号,并去除采购金额字段的小数位。

1、将增加序列号节点拖入画布区,连接两个节点,设置序列列名称。

2、将派生列节点拖入画布区,连接两个节点。在节点配置区选择 派生列配置 按钮。

3、将对应函数和字段分别拖入添加/编辑表达式区,点击 确定 按钮,添加一条“采购金额取整”的派生列。

4、在派生列节点上右键,选择 执行到此处  ,运行当前节点派生列节点输出的数据如下:

数据预处理完成,下面将处理好的数据输出。

目标源

将处理好的数据输出成一张新的表。

1、将关系目标源家待拖入画布区,选择输出表的数据源、SCHEMA,并选择 新建表 按钮。

2、新的表命名为“产品销售数据表”,点击 创建表 按钮。

3、点击 运行 按钮,创建一张新的表。

流程运行完成后,关系目标源节点输出的数据如下:

一般情况下,ETL过程设计是需要用到大量的代码,且重复利用率较低。但Smartbi的自助ETL功能充分结合大量项目人员实施习惯,操作敏捷易用,通过封装ETL算法,将技术分离,以数据源——数据预处理——目标源的形式,实现业务人员进行自助ETL操作。Smartbi自助ETL的主要应用场景是将多来源的异构数据,进行处理后得到具备完整性、一致性的数据模型。使用自助ETL可以提高数据的质量、适应不同的数据分析方法。

业务人员可以进行自助ETL操作?这款BI工具你值得拥有的更多相关文章

  1. 业务人员自助BI分析不够用,还要自助数据准备?

    自助式BI工具,可以帮助业务人员充分了解和利用企业数据,通过可视化操作,拖拖拽拽来新建分析,生成可视化的报表,帮助企业决策.但近几年的调查研究发现,拥有强大分析策略和模型的产品,比如Tableau.q ...

  2. 自助BI工具:Tableau和Smartbi的对比(下)

    上一篇我们已经将Tableau和Smartbi的自助功能分析了一部分,本文已3个重要的因素进行对比.分别从数据处理.数据可视化以及性价比方面进行分析.我们一起来看看这两个平台是各方面怎么样,帮助大家挑 ...

  3. 在没安装OFFICE的服务器SSIS中进行EXCEL的ETL操作!

    由于OFFICE 2010的安装包比较庞大,如果仅仅为了在服务器中实现操作EXCEL,完全没有必要安装整个OFFICE,是否可以不装OFFICE也实现与OFFICE文件的互相操作呢?答案是肯定的,在S ...

  4. 用这个BI工具,不会代码的业务人员也能做数据分析!

    随着企业的迅速发展,企业对数据分析的需求也在不断地凸显,但我们在实际的工作中经常会遇到这样尴尬的情形:擅长数据分析的人不懂业务,擅长业务的人又不了解数据分析.那么怎么让更懂业务逻辑.业务分析需求和痛点 ...

  5. FineBI:一个简单易用的自助BI工具

    过去,有关企业数据分析的重担都压在IT部门,传统BI分析更多面向的是具有IT背景的人员.但随着业务分析需求的增加,很多公司都希望为业务用户提供自助分析服务,将分析工作落实到业务人员手中.但同时,分析工 ...

  6. 自助BI工具是BI行业发展的趋势吗?

    自助BI和分析通过提供交互式数据可视化,图表,图形,报告和分析,帮助业务用户做出决策.将大量数据导出到电子表格以转换为图表和数据透视表的日子现在已经结束.自助BI工具提供基于浏览器的客户端界面,适用于 ...

  7. 自助BI工具:Tableau和Smartbi的对比(上)

    商业智能(BI)和分析平台长期以来一直是商业的重要组成部分,但由于自助BI工具的兴起,在数据科学家和数据库管理员的支持下,分析的责任已经从IT转移到了商业分析师身上. 因此,BI已经从生成月度报告的记 ...

  8. 【转】 FineBI:自助式BI工具打造业务分析的“快与准”

    如今的企业经营方式,业务对于数据分析有极大的需求,但却苦于没有数据以及工具的有效支持,业务分析仍就依赖于IT报表制作.而IT方不断地按业务需求去调研.确认业务逻辑,然后取数做报表,其中还要忍受业务的需 ...

  9. ETL 工具和 BI 工具

    ETL是数据仓库中的非常重要的一环,是承前启后的必要的一步.ETL负责将分布的.异构数据源中的数据如关系数据.平面数据文件等抽取到临时中间层后进行清洗.转换.集成,最后加载到数据仓库或数据集市中,成为 ...

随机推荐

  1. [USB波形分析] 全速USB波形数据分析(一)

    在之前的文章一次CAN波形分析之旅里,根据示波器采集的波形数据,详细地分析了CAN通信.今天来分析USB数据,还是同样的流程,但是这次使用matplotlib来协助分析. USB基本波形 USB通过一 ...

  2. java string 转化为json_java String 转Json报错

    缺少jar包依赖: java.lang.NoClassDefFoundError: org/apache/commons/beanutils/DynaBean 缺少commons-beanutils- ...

  3. 【源码阅读】vm-insert与vm-storage之间的通讯

    先说结论 vm-insert与vm-storage之间采用极其简单的通讯协议 对于简单的场景,越简单性能越高 vm-insert连接到vm-storage后,先发送字符串vminsert.02,vm- ...

  4. cesium结合geoserver利用WFS服务实现图层删除(附源码下载)

    前言 cesium 官网的api文档介绍地址cesium官网api,里面详细的介绍 cesium 各个类的介绍,还有就是在线例子:cesium 官网在线例子,这个也是学习 cesium 的好素材. 内 ...

  5. StringBuilder类练习

    1 package cn.itcast.p2.stringbuffer.demo; 2 3 public class StringBuilderTest { 4 public static void ...

  6. JVM之Java内存区域

    JVM之Java内存区域 世界上并没有完美的程序,但我们并不因此而沮丧,因为写程序本来就是一个不断追求完美的过程. 一.JAVA内存区域 谈及JAVA虚拟机运行时数据区域就不得不祭出这张经典的图了: ...

  7. python for循环while循环数据类型内置方法

    while 条件: 条件成立之后循环执行的子代码块 每次执行完循环体子代码之后都会重新判断条件是否成立 如果成立则继续执行子代码如果不成立则退出 break用于结束本层循环 ### 一:continu ...

  8. ApacheCN PHP 译文集 20211101 更新

    PHP 入门指南 零.序言 一.PHP 入门 二.数组和循环 三.函数和类 四.数据操作 五.构建 PHP Web 应用 六.搭建 PHP 框架 七.认证与用户管理 八.建立联系人管理系统 使用 PH ...

  9. select 级联选择

    转载请注明来源:https://www.cnblogs.com/hookjc/ <script   language="javascript">   <!--   ...

  10. UIPickView的基本使用

    UIPickView和TableView一样,想要展示数据也要设置数据源和代理设置数据源self.pickView.dataSource = self;设置代理self.pickView.delega ...