早在 SQL Server 2005里面就有了这种 完整的商业智能平台了,那时候Nosql什么的都还停留在概念性的提出阶段,发展至2009年才一下子蹦了出来变得众所周知了.当然这个要扯就扯远了,咱们还是直接来介绍一下这篇文章的重点传统关系型数据库在当时面临的一些问题. 关系型数据库的局限 SQL Server 2005 –完整的商业智能平台 关系型数据库的局限: 随着信息技术的飞速发展,数据处理不仅在数量上要求越来越大,而且在质量上也要求越来越高,数据库所管理的数据已经发生了根本的变化.这一变化…
与关系型数据库相比,MongoDB的优点: 转载自  http://blog.sina.com.cn/s/blog_966e430001019s8v.html①弱一致性(最终一致),更能保证用户的访问速度:举例来说,在传统的关系型数据库中,一个COUNT类型的操作会锁定数据集,这样可以保证得到“当前”情况下的精确值.这在某些情况下,例 如通过ATM查看账户信息的时候很重要,但对于Wordnik来说,数据是不断更新和增长的,这种“精确”的保证几乎没有任何意义,反而会产生很大的延 迟.他们需要的是一…
在说HBase之前,我想再唠叨几句.做互联网应用的哥们儿应该都清楚,互联网应用这东西,你没办法预测你的系统什么时候会被多少人访问,你面临的用户到底有多少,说不定今天你的用户还少,明天系统用户就变多了,结果您的系统应付不过来了了,不干了,这岂不是咱哥几个的悲哀,说时髦点就叫“杯具啊”. 其实说白了,这些就是事先没有认清楚互联网应用什么才是最重要的.从系统架构的角度来说,互联网应用更加看重系统性能以及伸缩性,而传统企业级应用都是比较看重数据完整性和数据安全性.那么我们就来说说互联网应用伸缩性这事儿.…
本文思路,看图说话,一张图,清晰总结二者差别 以下对图中的各条做具体总结 1.查询语言 不做赘述 2.数据存储位置 不做赘述 3.数据格式 Hive:Hive 中未定义专门的数据格式,数据格式能够由用户指定,用户定义数据格式须要指定三个属性:列分隔符(通常为空格."\t"."\x001″).行分隔符("\n")以及读取文件数据的方法(Hive 中默认有三个文件格式 TextFile,SequenceFile 以及 RCFile). 因为在载入数据的过程中,…
在看着章节的时候,我简单的回顾了一下关系型数据库的事务处理的ACID原则,其中原子性和持久性比较好理解.由于以前没有深入去研究.关于一致性和隔离性上我产生了疑问,在整理后分析如下:   一致性:书中所说的一致性是指数据库要保证事务处理前后,数据从一种一致的状态转移到另外一种一致的状态.书中举的例子是银行转账前后总账是不应该变化的.但是我困惑的是,转账前后总账的一致性应该是在应用程序中控制的,数据库怎么能保证呢?最后我的理解是,数据库本身不保证你的数据的一致性,但是它有一些处理,只要你的应用程序写…
近些年来,AI推动的云生态系统已非常成熟.智能.增强的预测和决策工具处于这样一个阶段:准备好部署到企业中从董事会到车间的各个地方.挑战在于确保贵企业已准备好使用它们.因此,下面介绍了眼下最出色.最受欢迎的BI分析和商业智能平台.有免费的开源解决方案,也有提供全面服务的商业软件包,不过大多数提供免费试用版. Tableau:知名度高,因为在国外取得了很好的成绩,在Gartner数据分析与BI相关报告(以海外市场为主)中一直位置靠前.这款产品更加适合个人用户.小型工作室或者部门级使用.主要通过代理进…
ELK(elasticsearch.logstash.kibana) Elastic Stack是原ELK Stack在5.0版本加入Beats套件后的新称呼 解决痛点: 开发人员不能登录线上server查看详细日志: 各个系统都有日志,日志数据分散难以查找: 日志数据量大,查询速度慢,或数据不够实时: 一个调用会涉及多个系统,难以在这些系统的日志中快速定位数据: 典型应用: http://lucene.apache.org/ 大多数电商的管理后台,搜索功能(搜订单.搜用户)都用lucene:…
​随着越来越多的公司将商业智能BI引入到日常运营和商业决策中,BI的热点逐渐起来了.商业智能系统兴起,那BI对企业有什么好处呢? 简单的说,就是可以帮助企业管理者直观清晰的看到自己想要关注的数据,帮助他轻松的掌握企业运营的数据和情况.大量的业务数据无法直接呈现给管理者,管理者也无法从这些海量的数据中获取到有价值的信息,而商业智能BI工具可以解决这个问题. 商业智能BI的本质 对企业来说,商业智能BI不能直接产生决策,而是利用BI处理后的数据来支持决策.核心是通过构建数据仓库平台,有效整合数据.组…
​每家公司对于BI工具的使用都有自己的特点和期望,所以当面对国内外那么多的BI厂商时,大家可能会觉得难以选择.今天我将会为大家介绍国内外五大BI厂商,对于它们做出一些分析,让大家更了解这些BI厂商. Tableau Tableau公司将数据运算与美观的图表完美地嫁接在一起.它的程序很容易上手,各公司可以用它将大量数据拖放到数字"画布"上,转眼间就能创建好各种图表.这一软件的理念是,界面上的数据越容易操控,公司对自己在所在业务领域里的所作所为到底是正确还是错误,就能了解得越透彻.其数据实…
​   Power Bi 学习笔记 一   Power BI 是微软发布的一系列的软件服务.应用和连接器,这些软件服务.应用和连接器协同工作,将不相关的数据源转化为合乎逻辑.视觉上逼真的交互式见解. 简而言之,power bi 就是一个数据的呈现渠道,也是从单调繁杂的数据库中发现亮点的好办法. 其具有三大组成部分 桌面版.移动版.服务 使用 Power BI 执行的所有分析通常都遵循一个通用流程. Power BI 中活动的通用流程如下所示: 将数据引入 Power BI Desktop,并创建…