ETL是数据仓库中的非常重要的一环,是承前启后的必要的一步。ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。下面给大家介绍一下什么是ETL以及ETL常用的三种工具(Datastage,Informatica,Kettle)!

ETL是什么?

ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。(数据仓库结构)通俗的说法就是从数据源抽取数据出来,进行清洗加工转换,然后加载到定义好的数据仓库模型中去。目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。ETL是BI项目重要的一个环节,其设计的好坏影响生成数据的质量,直接关系到BI项目的成败。

为什么要用ETL工具?

▶ 当数据来自不同的物理主机,这时候如使用SQL语句去处理的话,就显得比较吃力且开销也更大。

▶ 数据来源可以是各种不同的数据库或者文件,这时候需要先把他们整理成统一的格式后才可以进行数据的处理,这一过程用代码实现显然有些麻烦。

▶ 在数据库中我们当然可以使用存储过程去处理数据,但是处理海量数据的时候存储过程显然比较吃力,而且会占用较多数据库的资源,这可能会导致数据资源不足,进而影响数据库的性能。

上面所说的问题,我们用ETL工具就可以解决。它的优点有:

支持多种异构数据源的连接。(部分)

● 图形化的界面操作十分方便。

● 处理海量数据速度快、流程更清晰等。

Informatica和Datastage占据国内市场的大部分的份额。

BI 工具

1.Power BI,综合评分:7.00分

Power BI来自大名鼎鼎的微软,其在办公软件领域本就是霸主地位,进入到商业智能行业自然也不遑多让,短短两年,就已经是Gartner魔力象限中最具有竞争力的BI软件了。

Power BI在功能、易用性3项上得分最高,而在安全性、性能、服务上则没有很好的竞争力,主要原因是Power BI目前主推的是个人分析,适合短平快的分析需求,而且在企业级部署和应用上缺少完善的解决方案,所以,Power BI比较适合数据分析师用以锦上添花,而搭建企业级的BI系统就有点力不从心了。

2.Tableau,综合评分:7.50分

Tableau算是国外BI领域最炙手可热的一个产品了,也是Gartner魔力象限中名列前茅的产品。Tableau的功能丰富且强大,主推自助式分析,适合于业务人员和数据分析师使用;其可视化效果上也做的很好,可以实现很酷炫的数据图表。产品的专业度很高,所以在性能、功能和易用性上得分较高。

跟绝大多的国外企业一样,tableau的本土化做的实在称不上好,所以它在国内的应用率远比不上国外,只有少数跨国企业有所应用。究其原因,最主要的是Tableau走国内代理商的渠道,其销售、实施和服务都是通过代理商来完成,并没有建立本土团队,这种代理模式的弊端显而易见,就是项目质量和售后服务容易出问题,得不到保证,如果Tableau想要占领国内市场,应该要在这方面下下功夫了,当然,价格方面也过于昂贵,不太符合国情。

3.FineBI,综合评分:8.33分

FineBI是国产BI软件中的佼佼者,其母公司帆软是做报表起家,目前在国内数据分析行业中首屈一指,可以参考IDC出的《2017年中国BI市场跟踪报告》。FineBI最新的版本是5.0,主打的是超大数据量性能和自助式分析2个特点,最高可以支撑20亿数据的秒级呈现,在功能方面跟Tableau很接近,适用于企业中的技术人员、业务人员和数据分析师,可以完全自主的进行探索式分析,软件在易用性和功能上做的都很不错,说实话,国内的BI行业由于起步较晚,能做到这个程度的确是下了一番功夫。

相较于国外产品而言,FIneIBI最大的优势在于帆软自主搭建的实施团队和服务团队,整个销售、实施和服务的流程都由帆软公司把控,而不是通过代理商或者其他第三方的机构,所以在FineBI在服务上的优势较为明显,再加上其相对合理的售价,能做到国内市场第一,的确是有其原因呐!

4.Smartbi,综合评分:7.17分

Smartbi也是一款国产软件,由广州的思迈特公司开发,这家公司本是做Excel插件起家,得益于其强大的销售能力,到如今也进入到BI领域。Smartbi在功能上相较于前面的3款软件逊色不少,缺少诸如智能图表推荐等先进性的功能支撑,在大数据性能上也表现一般,产品的UI界面比较古老,可能是骨子里的Excel基因导致。另一方面,Smartbi在服务和价格上也不具备太大优势,总的来说,这是一款基础型的中庸软件。

5.永洪BI,综合评分:7.17分

永洪BI由北京的一家创业公司开发,2年前倒是拿过腾讯的投资,盛极一时,但近来声音越来越小,官网首页也还停留在2年前的新闻,产品已经好久没有更新过了,据小道消息,是公司在内部管理上出现问题,导致核心销售和运营岗位人才的离职。话说回来,永洪BI在产品能力上还算不错,特别是大数据性能方面,同样可以支撑亿级数据的抽取和分析,而在服务方面则表现一般,关于产品的介绍和学习资料都比较匮乏,价格上中规中矩,其实整个BI产品线中,价格主要就2个断层,国内软件一个档次,国外软件又是一个档次。

ETL 工具和 BI 工具的更多相关文章

  1. 如何选择数据分析工具?BI工具需要具备哪些功能?

    数据分析使企业能够分析其所有数据(实时,历史,非结构化,结构化,定性),以识别模式并生成洞察力,以告知并在某些情况下使决策自动化,将数据情报与行动联系起来.当今最好的数据分析工具解决方案支持从访问.准 ...

  2. 太多选择——企业如何选择合适的BI工具?

    在没认清现状前,企业当然不能一言不合就上BI. BI不同于一般的企业管理软件,不能简单归类为类似用于提高管理的ERP和WMS,或用于提高企业效率的OA.BPM.BI的本质应该是通过展现数据,用于加强企 ...

  3. 企业如何选择合适的BI工具?

    在没认清现状前,企业当然不能一言不合就上BI. BI不同于一般的企业管理软件,不能简单归类为类似用于提高管理的ERP和WMS,或用于提高企业效率的OA.BPM.BI的本质应该是通过展现数据,用于加强企 ...

  4. 什么是BI工具,好用的BI工具软件排名

    目录 一.什么是BI工具? 二.BI工具有什么好处? 三.BI工具软件排名 由于海量数据对各种规模的企业构成挑战,因此每年确保所有业务流程都在控制之下变得越来越困难.最终,组织和公司在做出可持续和有利 ...

  5. Excel和BI工具,哪一个数据分析能力更强

    随着大数据信息时代的到来,大数据分析已经成为任何企业都无法回避的话题.对于想进入大数据分析行业的朋友来说,这也是必须掌握的基础知识.什么是大数据分析?为什么会对企业产生这么大的影响? 大数据分析是在通 ...

  6. BI工具的选择标准有哪些?

    作为企业的IT部门如果没有良好的BI工具支持,IT部门将会十分容易陷入困境.那么面对多元化的BI工具市场,IT部门如何选择BI工具呢?BI工具选择的标准又是什么?Smartbi将为大家做一个简单的解答 ...

  7. 从这3个方面考虑BI工具,选型一选一个准

    BI工具在很多场合都能听到,那么BI工具有什么功能呢?能给企业带来什么?好用的BI工具长什么样?今天跟着小编走近BI工具,一探究竟! 首先要了解BI工具的定义,什么是BI工具.BI工具是指利用现代数据 ...

  8. 业务人员可以进行自助ETL操作?这款BI工具你值得拥有

    ​ETL是什么? ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract).转换(transform).加载(load)至目的端的过程.E ...

  9. 【转】 FineBI:自助式BI工具打造业务分析的“快与准”

    如今的企业经营方式,业务对于数据分析有极大的需求,但却苦于没有数据以及工具的有效支持,业务分析仍就依赖于IT报表制作.而IT方不断地按业务需求去调研.确认业务逻辑,然后取数做报表,其中还要忍受业务的需 ...

随机推荐

  1. python之NLP词性标注

    1.知识点 包括中文和英文的词性标注主要使用的库是nltk和jiaba 2.代码 # coding = utf-8 import nltk from nltk.corpus import stopwo ...

  2. TASK的开始与暂停

    namespace WpfApplication1 { /// <summary> /// MainWindow.xaml 的交互逻辑 /// </summary> publi ...

  3. 在TeamCity中执行gtest单元测试

    1. 在Visual Studio 2017中新建一个gtest项目 Sample-Test1.这个项目会自动安装“Microsoft.googletest.v140.windesktop.msvcs ...

  4. 使用Postman如何做接口自动化测试

    师从‘百测’! 一.简介 Postman是一款非常流行的API调试工具,很多攻城狮都应该用过,或听说过,这里不做过多介绍. 官方网站:http://www.getpostman.com 二.接口自动化 ...

  5. liunx基本操作命令

    1.  rm  删除命令 rm   -i  文件名-----------询问y/N 删除文件 rm  -f  文件名-----------直接删除文件 rm  -r  目录 rm   文件名 rm  ...

  6. android#嵌入式布局并创建自定义控件

    一.如何在android中嵌入布局文件: 新建一个布局title.xml,该文件为公共文件 <LinearLayout xmlns:android="http://schemas.an ...

  7. K8S知识点总结

    一.K8S介绍: Kubernetes(k8s)是Google开源的容器集群管理系统.在Docker技术的基础上,为容器化的应用提供部署运行.资源调度.服务发现和动态伸缩等一系列完整功能,提高了大规模 ...

  8. nginx+gunicorn拓扑

    加装Nginx是否有必要 Nginx作为代理服务器,监听来自外部的80端口的请求:而Gunicorn负责监听本地机8000端口的请求.Nginx会把来自外部的请求转发给Gunicorn处理,接收到响应 ...

  9. button与subit区别

    submit介绍   submit是button的一个特例,也是button的一种,它把提交这个动作自动集成了.如果表单在点击提交按钮后需要用JS进行处理(包括输入验证)后再提交的话,通常都必须把su ...

  10. vue中的样式穿透

    参考一下的文章即可: https://www.cnblogs.com/karthuslorin/p/9038854.html http://www.php.cn/js-tutorial-399072. ...