ETL是数据仓库中的非常重要的一环,是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。下面给大家介绍一下什么是ETL以及ETL常用的三种工具(Datastage,Informatica,Kettle)!

ETL是什么?

ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。(数据仓库结构)通俗的说法就是从数据源抽取数据出来,进行清洗加工转换,然后加载到定义好的数据仓库模型中去。目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL是BI项目重要的一个环节,其设计的好坏影响生成数据的质量,直接关系到BI项目的成败。

为什么要用ETL工具?

▶ 当数据来自不同的物理主机,这时候如使用SQL语句去处理的话,就显得比较吃力且开销也更大。

▶ 数据来源可以是各种不同的数据库或者文件,这时候需要先把他们整理成统一的格式后才可以进行数据的处理,这一过程用代码实现显然有些麻烦。

▶ 在数据库中我们当然可以使用存储过程去处理数据,但是处理海量数据的时候存储过程显然比较吃力,而且会占用较多数据库的资源,这可能会导致数据资源不足,进而影响数据库的性能。

上面所说的问题,我们用ETL工具就可以解决。它的优点有:

支持多种异构数据源的连接。(部分)

● 图形化的界面操作十分方便。

● 处理海量数据速度快、流程更清晰等。

Informatica和Datastage占据国内市场的大部分的份额。

BI 工具

1.Power BI,综合评分:7.00分

Power BI来自大名鼎鼎的微软,其在办公软件领域本就是霸主地位,进入到商业智能行业自然也不遑多让,短短两年,就已经是Gartner魔力象限中最具有竞争力的BI软件了。

Power BI在功能、易用性3项上得分最高,而在安全性、性能、服务上则没有很好的竞争力,主要原因是Power BI目前主推的是个人分析,适合短平快的分析需求,而且在企业级部署和应用上缺少完善的解决方案,所以,Power BI比较适合数据分析师用以锦上添花,而搭建企业级的BI系统就有点力不从心了。

2.Tableau,综合评分:7.50分

Tableau算是国外BI领域最炙手可热的一个产品了,也是Gartner魔力象限中名列前茅的产品。Tableau的功能丰富且强大,主推自助式分析,适合于业务人员和数据分析师使用;其可视化效果上也做的很好,可以实现很酷炫的数据图表。产品的专业度很高,所以在性能、功能和易用性上得分较高。

跟绝大多的国外企业一样,tableau的本土化做的实在称不上好,所以它在国内的应用率远比不上国外,只有少数跨国企业有所应用。究其原因,最主要的是Tableau走国内代理商的渠道,其销售、实施和服务都是通过代理商来完成,并没有建立本土团队,这种代理模式的弊端显而易见,就是项目质量和售后服务容易出问题,得不到保证,如果Tableau想要占领国内市场,应该要在这方面下下功夫了,当然,价格方面也过于昂贵,不太符合国情。

3.FineBI,综合评分:8.33分

FineBI是国产BI软件中的佼佼者,其母公司帆软是做报表起家,目前在国内数据分析行业中首屈一指,可以参考IDC出的《2017年中国BI市场跟踪报告》。FineBI最新的版本是5.0,主打的是超大数据量性能和自助式分析2个特点,最高可以支撑20亿数据的秒级呈现,在功能方面跟Tableau很接近,适用于企业中的技术人员、业务人员和数据分析师,可以完全自主的进行探索式分析,软件在易用性和功能上做的都很不错,说实话,国内的BI行业由于起步较晚,能做到这个程度的确是下了一番功夫。

相较于国外产品而言,FIneIBI最大的优势在于帆软自主搭建的实施团队和服务团队,整个销售、实施和服务的流程都由帆软公司把控,而不是通过代理商或者其他第三方的机构,所以在FineBI在服务上的优势较为明显,再加上其相对合理的售价,能做到国内市场第一,的确是有其原因呐!

4.Smartbi,综合评分:7.17分

Smartbi也是一款国产软件,由广州的思迈特公司开发,这家公司本是做Excel插件起家,得益于其强大的销售能力,到如今也进入到BI领域。Smartbi在功能上相较于前面的3款软件逊色不少,缺少诸如智能图表推荐等先进性的功能支撑,在大数据性能上也表现一般,产品的UI界面比较古老,可能是骨子里的Excel基因导致。另一方面,Smartbi在服务和价格上也不具备太大优势,总的来说,这是一款基础型的中庸软件。

5.永洪BI,综合评分:7.17分

永洪BI由北京的一家创业公司开发,2年前倒是拿过腾讯的投资,盛极一时,但近来声音越来越小,官网首页也还停留在2年前的新闻,产品已经好久没有更新过了,据小道消息,是公司在内部管理上出现问题,导致核心销售和运营岗位人才的离职。话说回来,永洪BI在产品能力上还算不错,特别是大数据性能方面,同样可以支撑亿级数据的抽取和分析,而在服务方面则表现一般,关于产品的介绍和学习资料都比较匮乏,价格上中规中矩,其实整个BI产品线中,价格主要就2个断层,国内软件一个档次,国外软件又是一个档次。

ETL 工具和 BI 工具的更多相关文章

  1. 如何选择数据分析工具?BI工具需要具备哪些功能?

    数据分析使企业能够分析其所有数据(实时,历史,非结构化,结构化,定性),以识别模式并生成洞察力,以告知并在某些情况下使决策自动化,将数据情报与行动联系起来.当今最好的数据分析工具解决方案支持从访问.准 ...

  2. 太多选择——企业如何选择合适的BI工具?

    在没认清现状前,企业当然不能一言不合就上BI. BI不同于一般的企业管理软件,不能简单归类为类似用于提高管理的ERP和WMS,或用于提高企业效率的OA.BPM.BI的本质应该是通过展现数据,用于加强企 ...

  3. 企业如何选择合适的BI工具?

    在没认清现状前,企业当然不能一言不合就上BI. BI不同于一般的企业管理软件,不能简单归类为类似用于提高管理的ERP和WMS,或用于提高企业效率的OA.BPM.BI的本质应该是通过展现数据,用于加强企 ...

  4. 什么是BI工具,好用的BI工具软件排名

    目录 一.什么是BI工具? 二.BI工具有什么好处? 三.BI工具软件排名 由于海量数据对各种规模的企业构成挑战,因此每年确保所有业务流程都在控制之下变得越来越困难.最终,组织和公司在做出可持续和有利 ...

  5. Excel和BI工具,哪一个数据分析能力更强

    随着大数据信息时代的到来,大数据分析已经成为任何企业都无法回避的话题.对于想进入大数据分析行业的朋友来说,这也是必须掌握的基础知识.什么是大数据分析?为什么会对企业产生这么大的影响? 大数据分析是在通 ...

  6. BI工具的选择标准有哪些?

    作为企业的IT部门如果没有良好的BI工具支持,IT部门将会十分容易陷入困境.那么面对多元化的BI工具市场,IT部门如何选择BI工具呢?BI工具选择的标准又是什么?Smartbi将为大家做一个简单的解答 ...

  7. 从这3个方面考虑BI工具,选型一选一个准

    BI工具在很多场合都能听到,那么BI工具有什么功能呢?能给企业带来什么?好用的BI工具长什么样?今天跟着小编走近BI工具,一探究竟! 首先要了解BI工具的定义,什么是BI工具.BI工具是指利用现代数据 ...

  8. 业务人员可以进行自助ETL操作?这款BI工具你值得拥有

    ​ETL是什么? ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).转换(transform).加载(load)至目的端的过程.E ...

  9. 【转】 FineBI:自助式BI工具打造业务分析的“快与准”

    如今的企业经营方式,业务对于数据分析有极大的需求,但却苦于没有数据以及工具的有效支持,业务分析仍就依赖于IT报表制作.而IT方不断地按业务需求去调研.确认业务逻辑,然后取数做报表,其中还要忍受业务的需 ...

随机推荐

  1. SAN LAN MAN WAN的区别

    主要是范围不同 SAN: System Area NetworkLAN: Local Area NetworkMAN: Metropolitan Area NetworkWAN: Wide Area ...

  2. 如何创建一个img文件并且mount 它

    https://ubuntuhak.blogspot.com/2012/10/how-to-create-format-and-mount-img-files.html

  3. python装饰器的构建

    #!/usr/bin/python3# -*-coding:utf-8 -*-# @Time : 2019/9/27 17:04# @Author : v_ctaozhang import funct ...

  4. 安装heat

    在控制节点上执行 controller-heat(){mysql -uroot -p${MYSQL_PASSWD} << EOF DROP DATABASE IF EXISTS heat; ...

  5. LeetCode刷题2——颠倒二进制位

    一.题目要求 二.题目背景 此题依旧属于位运算范畴 知识点1:有符号和无符号二进制是怎样表现的? 对于有符号数,最高位为1说明是个负数 知识点2:进制之间的相互转换 (1)十进制转十六进制 hex(n ...

  6. 用myeclipse连接MySQL8.0时没有配置jar包

    先上测试代码 package testJdbc; import java.sql.Connection; import java.sql.DriverManager; import java.sql. ...

  7. 【miscellaneous】海康相机RTSP连接代码分析

    海康相机RTSP连接代码分析 最近在做海康相机rtsp连接获取音视频的工作,现在介绍一下分析过程和源码. [源码在我上传的共享资料中: http://download.csdn.net/detail/ ...

  8. C学习笔记-gdb

    gdb即GNU debugger,用来调试程序 gdb使用前提 要使用gdb,则需要在编译源代码时候使用-g参数 gcc -g –o test test.c 启动gdb gdb 程序名 [corefi ...

  9. C# MVC MVP

    https://www.codeproject.com/Articles/613682/Your-first-program-using-MVC-pattern-with-Csharp-W https ...

  10. SDF:Software-Defined Flash for Web-Scale Internet Storage System

    一.参考 http://www.csdn.net/article/a/2013-12-18/309280 http://gtstorageworld.blog.51cto.com/908359/126 ...