DW(二):SqlServer PDW
当微软发布第一个SQL Server并行数据仓库R2时(SQL ServerParallel Data Warehouse,即PDW),已正式将产品的名称修改为分析服务平台(APS),但在一些非正式场合,仍然保留了PDW的叫法
目录:
- APS简介
- APS特性
- NEC一体机
- 戴尔数据库一体机
- 小结
APS简介
- 2014年4月推出了APS(Analytics Platform System),也称为PDW(ParallelData Warehouse);
- 微软分析平台系统APS是一个集成了结构化和非结构化数据的数据仓库平台
- 有戴尔、惠普、Quanta(广达)、NEC提供了基于APS的一体机,而微软是客户获得硬件和软件支持唯一联系方。因此,作为一个数据仓库设备,APS提供了单位存储空间最低价格的用户可用存储(压缩后)
- APS一体机是一个针对现代数据仓库需求的高性能和可扩展的并行处理设备。
- APS一体机上集成了SQLServer PDW软件(SQL Server专门为了在APS中运行的大规模并行处理版本)和一个可选的HDInsightHadoop 平台(基于HDP的Windows版微软Hadoop产品)
- APS的大数据功能及其包含的PolyBase支持使用标准的SQL查询去访问Hadoop数据和加入关系型数据,而不需要将数据预加载到数据仓库中
- 这种在传统数据仓库和大数据部署环境之间实现的无缝整合使APS成为一个主流的企业级大数据平台
APS特性
- 它是一个大规模并行处理设备?(指aps的一体机),可以并行和分布的方式去处理高度并发和复杂度的查询
- SQL Server PDW运行在APS设备之内,它使用内存内可更新的行存储索引去改进了数据加载和查询响应时间,最多比传统数据仓库系统高50倍
- APS在软件中内置了可靠、可扩展和高性能的存储特性,它们降低了硬件成本——而且它内置了支持容错的硬件冗余性
- APS提供了内存内可更新的字段存储索引,支持高达15倍的数据压缩率,最高可以节省70%的存储需求。
- APS是一个基于机架的系统,因此不会过多购买容量,一开始可以只使用四分之一的机架,它支持修改设备容量大小,然后将来在需要时可以使用传统SQL Server系统横向扩展的相同工具来扩展它的大小。
NEC一体机
- NEC与微软合作推出了强大的SQLServer PCle SSD一体机,它支持大规模在线事务处理(OLTP)和商业智能(BI)负载。
- 它搭配NEC Express 5800可扩展的企业级服务器系列,包含一个4U服务器,最多支持四个英特尔的Xeon E7处理器,一共有24个物理内核。
- 服务器还带有16个可用的PCI-Express 3.0 I/O插槽和64个可用的DDR3内存插槽。
- NEC数据库一体机不仅提供了高性能的数据处理,还预装了HGST FlashMAX II PCIe闪存。FlashMAX II是一个多层的闪存单元,这意味着每一个内存单元都能够存储多个比特位信息,同时集成了为闪存优化的硬件RAID原理。通过FlashMAX II设备,服务器可容纳8.8TB的闪存存储并提供8.2GBps的逻辑扫描速率。
- 依照在SQL Server FastTrack Data Warehouse(FTDW)参考体系架构的概述,NEC一体机是按照最佳实践配置进行构建的,FTDW定义了一个针对硬件吞吐量最大化SQL Server数据处理的核心平衡架构,NEC一体机使用FTDW配置来平衡CPU内核与I/O通道和存储顺序I/O的能力
戴尔数据库一体机
- 戴尔的数据库一体机也集成了来自Fusion-io的闪存技术。
- 与NEC有所不同,戴尔一体机不是围绕着一个特定的平台构建的。相反,其重点是在企业级应用上,包括了广泛的数据库产品支持:MySQL,Sybase,Oracle数据库,SAP HANA,MongoDB,Apache Cassandra,当然也包括SQL Server 2014+
- 戴尔一体机使用了DellPowerEdge R720 2U机架服务器,能够支持12TB闪存、40GB带宽和2.5每秒百万的IOPS。闪存是通过Fusion io Memory设备提供并且使用自适应闪回(Adaptive FlashBack)保护数据。与许多依赖存储配置的RAID闪存设备不同,自适应闪回的数据处理粒度已经提升到了数据块级别,它简化了管理并保证了业务连续性。
- 当结合了Fusion-io闪存时,PowerEdge服务器能够显著的提高数据负载的性能,同时减少延迟和I/O瓶颈。戴尔一体机可以作为一个独立产品,也可以提供包括光纤通道和无线带宽技术的高可用产品使用
小结
- APS一体机是针对能够支持PB级别大数据处理的产品,它专门针对BI和MPP数据分析负载,能够计算进行分布式处理与并行操作,同时可以将非结构化数据融入到架构中。
- 如果SQL Server一体机在你的考量范围内,那么根据不同的需求会为你提供多种选项。记住,这是一个快速变化的市场,在进行SQL Server一体机采购之前一定要事先做足功课。它们有很多优势,但相应的价格也很高,你一定不想采购之后才发现它并不适合你的需求
DW(二):SqlServer PDW的更多相关文章
- SQLServer学习笔记系列1
一.前言 一直自己没有学习做笔记的习惯,所以为了加强自己对知识的深入理解,决定将学习笔记写下来,希望向各位大牛们学习交流! 不当之处请斧正!在此感谢!这边就先从学习Sqlserver写起,自己本身对数 ...
- SQLServer学习笔记系列4
一.写在前面的话 好多天没有记录sql学习笔记了,要坚持下去,坚信每一点的进步都是为在积蓄力量.今天看到一幅图,特此分享出来. 通过这幅图,我看到的是每人站在自己的角度看问题,感受是不一样的,就如同学 ...
- SSD在SQLServer中的应用
一. 首先,回顾一下 SSD 的读写特性 (1)有限次数写: (2)随机读性能最好: (3)顺序读性能好: (4)顺序写性能差: (5) ...
- sqlserver 汉字转拼音
作者不详 --方法一sqlserver汉字转拼音首字母 --调用方法 select dbo.procGetPY ('中國') Create FUNCTION dbo.procGetPY ( ...
- 第十二节:Asp.Net Core 之分布式缓存(SQLServer和Redis)
一. 整体说明 1. 说明 分布式缓存通常是指在多个应用程序服务器的架构下,作为他们共享的外部服务共享缓存,常用的有SQLServer.Redis.NCache. 特别说明一下:这里的分布式是 ...
- SQL汉字转拼音函数-支持首字母、全拼
SQL汉字转拼音函数-支持首字母.全拼 FROM :http://my.oschina.net/ind/blog/191659 作者不详 --方法一sqlserver汉字转拼音首字母 --调用方法 s ...
- 2015-01-16 .Net 中级软件工程师 笔试题
一 C#方面 1.请简述多线程需要考虑的主要因素 答:1.线程管理 同一核上的两个线程不会以两倍的时长完成,可能需要用两倍再加10 %左右的时间来完成.与一个线程相比较的话,三个线程在同一核上想占用1 ...
- C#封装好的Win32API
Kernel.cs using System; using System.Runtime.InteropServices; using System.Text; using HANDLE = Syst ...
- 经典排序算法(Java实现)
以下程序均将数据封装于DataWrap数据包装类中,如下所示: //数据包装类 class DataWrap implements Comparable<DataWrap> { int d ...
随机推荐
- js优化提升访问速度
一.给JS文件减肥. 有的人为了给网站增加炫目效果,往往会使用一些JS效果代码,这在上个世纪似乎还很流行,对于现在来说,最好在用户体验确实需要的情况下,使用这些东西.至于希望给自己的JS文件减肥的童鞋 ...
- Java学习第二天
一.两个常用工具 1.随机生产一个[0,1)之间的数 Math.random() 举例: double box =Math.random(); //产生随机小数 [0,1) System.out.pr ...
- 用NSOperation和NSOperationQueue实现多线程编程
1.上一讲简单介绍了NSThread的使用,虽然也可以实现多线程编程,但是需要我们去管理线程的生命周期,还要考虑线程同步.加锁问题,造成一些性能上的开销.我们也可以配合使用NSOperation和NS ...
- LeetCode Combination Sum III (DFS)
题意: 在1-9这9个数字中选择k个出来,若他们的和为n,则加入答案序列,注意升序. 思路: 用DFS的方式,每次决定一个数字,共决策k次.假设上个决策是第i位为5,那么i+1位的范围就是6-9. c ...
- 《JS高程》事件类型学习笔记
事件类型: UI事件&焦点事件: 鼠标滚轮事件: 键盘与文本事件: 复合事件&变动事件: HTML5事件: 设备事件&触摸与手势事件:
- dedecms:织梦文章如何添加“自定义属性”标签(sql命令行工具)
dede织梦如何添加“自定义属性”标签“症状” 1.进入后台——系统——SQL命令行工具——运行SQL命令行,添加arcatt表字段: insert into`dede_arcatt`(sortid, ...
- HighChartS cpu利用率动态图(Java版)
来源:http://www.cnblogs.com/haifg/p/3217699.html 最近项目需要监控服务器cpu的利用率,并做成动态图.在网上查找了一些资料,最终选择了HighChart ...
- MySQL Cluster在线备份和恢复
备份方式 一般MySQL数据库都是用mysqldump命令进行数据备份,其生成的文件实际上是创建对象和导入对象的sql语句. 在MySQL Cluster集群上,可以在管理节点上使用start bac ...
- 精美的HTML5 Loadding页面
以前我们大部分的Loading动画都是利用gif图片实现的,这种图片实现Loading动画的方法虽然也很不错,但是作为HTML5开发者来说,如果能利用HTML5和CSS3实现这些超酷的Loading动 ...
- 2016 Sichuan Province Programming Contest
2016 Sichuan Province Programming Contest 代码 2016 Sichuan Province Programming Contest A. Nearest Ne ...