HP PCS 云监控大数据解决方案
——把数据从分散统一集中到数据中心
基于HP分布式并行计算/存储技术构建的云监控系统即是通过“云高清摄像机”及IaaS和PaaS监控系统平台,根据用户所需(SaaS)将多路监控数据流传送给“云端”,除了提供传统的监控服务外,还提供了对PB级大数据的高性能IO并发集中存储、查询和分析等数据应用服务,从而可以实现更高的非结构化数据管理,解决了监控系统中对于大数据安全、分析和备份等问题,用户也可以通过任意方式,任意终端按需实现对视频监控的需要。
数据驱动手段在一定程度上帮助了监管部门提高了工作效率。传统的方法是把图像或视频等数据分散存储在不同的分数据中心,分中心则是通过NVR、SAN和NAS等设备进行本地存储,这样虽然可以满足中小型监控系统存储的需求,但是随着数字监控技术和数据存储的广泛普及,数据开始爆炸式增长,从TB乃至PB级以上的数据量的需求也随之不断增加,使得超过了传统数据平台的处理能力。同时有些监控业务管理设施、装备和应用系统等处于单独、孤立运行状态,作用比较单一,而且跨数据中心使用这些数据也非常不方便。
传统的视频监控架构下面临多种挑战:
1、历史数据显示,在现有数据存储方式下,可保存数据的周期不但会越来越短,同时面临数据可靠性的风险。需要延长视频业务数据的保存周期,以对尽可能长时间的数据进行查询和分析,并为一线用户提供信息支撑服务。
2、除了集中管理数据的需求,还面临着数据存储的挑战。随着监控业务规模不断增大,信息化建设的不断推进及监控密集度要求的不断提高,监控点的建设逐年增加,这些不断增加的监控设备采集到的数据需要及时完成存储,高清视频数据也导致比以往更大。对存储性能提出了更高的要求。
3、监控数据无法被充分利用的难题。传统依靠手工方式实现数据查询和统计分析的效率伴随数据量的增加变的越来越低下。这些数据对综合管理存在潜在的价值,可将视频监控的应用范围从过去的和目前以事后查看为主,转变为事前预警,从监控数据中挖掘出业务风险,为各行各业提供更为有效的业务信息支持。
4、传统业务分析解决方案一般采用数据仓库系统,但这些系统设计用于进行在线交易处理,而不是做分析的工作。它们通常采用数据库、服务器和存储平台构建而成,缺少处理不断增加且瞬息万变的TB级以上数据所需的能力。
在视频数据越来越多的情况下,如何做到投入最少的IT资源、提供更高的用户数据存储和分析能力?惠普云监控解决方案即是通过采集这些非结构化数据源,并将它们汇聚到一起存储到云上,帮助用户思考能用数据做什么?从中获取有价值的数据及知识,并有可能在未来提供现在还无法想象的云服务。
惠普PCS云监控系统解决方案架构,如下图所示。
1
|
如上图所示,惠普PCS最新推出的云监控大数据解决方案即是采用目前业界领先的高性能密集并行计算/存储架构,并通过HP云监控分布式并行计算技术和高性能服务器能够有效的解决客户视频监控数据集中式管理和分析等问题,从而把数据从分散统一集中到数据中心。
惠普云监控系统方案可以依托HP SL4000系列分布式并行计算/存储服务器及云监控平台所提供了强大的数据I/O能力,来实现高吞吐量和高容错性的海量数据存储目标。同时能够实现线性扩展,通过集群中的机器数量增加一倍可以减少约一半的处理时间,或在相同时间内处理两倍的数据量。
1
|
如上图所示,通过采用HP云监控解决方案的NVR设备可以实现一次多达128路视频数据的采集,并可以横向扩展至更多路NVR集群。惠普分布式并行计算存储云平台无缝整合HP ProLiant SL 4500专用大数据服务器的集群,可按需实现分布式并行计算能力的拓展。惠普云计算管理平台应用服务器可以按需配置大数据服务器热数据集群时间段(例如三个月),超过时间段的数据可以“制冷”自动保存在存储冷数据集群中。
除了以上特点外,惠普PCS云监控大数据解决方案,还具有以下亮点:
* 海量数据存储能力:基于监控视频数据的特点,在加入异地备份和冗余容错的需求下,能够提供统一集中式数据中心的PB数据级别以上的在线存储能力。
* 高性能高并发实时数据读写:由于视频数据监控系统每秒钟都由上千路乃至万路以上终端产生海量的数据。如果在性能上不能到达要求,就会产生写不进查不出等问题,造成系统无法使用。通过云监控系统能够在统一的数据中心中实现高性能和高并发的实时数据I/O读写,从而能保障多路视频图像数据同时并发读写等问题。
* 统一接入存储:系统提供统一接入接口,能将各监控设备上的视频数据通过同一接口写入逻辑上统一的监控数据中心。在查询时,各操作人员使用的信息系统也可以通过统一接入接口对数据进行读取、查询、统计等工作。
* 不停机动态扩容:数据中心的数据容量需要随着业务的发展动态扩充,而在扩充的同时不能造成数据平台的服务终止。云监控系统具有在数据中心不停机情况下能够继续提供服务的情况下的动态扩充的能力。
* 工作负载优化及高效性:云监控平台可无缝使用HP ProLiant SL 4500业界首款专为大数据而构建的服务器,能够为云监控系统平台提供平衡的内核/磁盘比率等并行处理应用,配备15块磁盘的三节点配置,从而能够为监控视频大数据工作负载提供有力支持。并提供最高存储240TB数据(单个42U机柜安装9个机箱容量可达2.16PB),通过高密度的高效机箱及HP智能阵列技术可随着数据的增加而轻松扩展。
* 分布式并行数据统计挖掘:基于数据中心的海量数据做的数据统计和挖掘会需要大量的数据读写,所以,云监控系统数据中心提供了一个分布式的数据统计挖掘框架,使得统计分中心的服务器上自动并行运行,并将结果进行汇总。
HP PCS云监控大数据解决方案融合了惠普桌面虚拟化、服务器虚拟化、GPU虚拟化技术和分布式并行计算/存储技术,为用户提供了一套完整统一的云监控大数据服务架构及云端综合的大数据分析和管理模式。
了解惠普PCS解决方案
惠普PCS解决方案是成熟的惠普解决方案服务,并且已经过精选,可成功解决客户 IT 环境内的各个关键压力点。这些服务由专业的惠普顾问提供,并可以充分利用来自全球的最佳实践资源,通过高度可重复的及互动式的参与来提供价值。
惠普PCS解决方案旨在帮助您的客户启动关键 IT 项目,提供多种方法来实现短期目标。这样,能够使客户轻松应对关键性挑战、缩短价值实现时间,更加明智地进行基础设施投资。
了解获取更多HP PCS方案信息,加盟HP PCS 解决方案销售请联系: china_pcs@hp.com
HP PCS 云监控大数据解决方案的更多相关文章
- Lambda plus: 云上大数据解决方案
本文会简述大数据分析场景需要解决的技术挑战,讨论目前主流大数据架构模式及其发展.最后我们将介绍如何结合云上存储.计算组件,实现更优的通用大数据架构模式,以及该模式可以涵盖的典型数据处理场景. 大数据处 ...
- 《一张图看懂华为云BigData Pro鲲鹏大数据解决方案》
8月27日,华为云重磅发布了业界首个鲲鹏大数据解决方案--BigData Pro.该方案采用基于公有云的存储与计算分离架构,以可无限弹性扩容的鲲鹏算力作为计算资源,以支持原生多协议的OBS对象存储服务 ...
- 浅析基于微软SQL Server 2012 Parallel Data Warehouse的大数据解决方案
作者 王枫发布于2014年2月19日 综述 随着越来越多的组织的数据从GB.TB级迈向PB级,标志着整个社会的信息化水平正在迈入新的时代 – 大数据时代.对海量数据的处理.分析能力,日益成为组织在这个 ...
- 转:浅析基于微软SQL Server 2012 Parallel Data Warehouse的大数据解决方案
综述 随着越来越多的组织的数据从GB.TB级迈向PB级,标志着整个社会的信息化水平正在迈入新的时代 – 大数据时代.对海量数据的处理.分析能力,日益成为组织在这个时代决胜未来的关键因素,而基于大数据的 ...
- AI加持的阿里云飞天大数据平台技术揭秘
摘要:2019云栖大会大数据&AI专场,阿里云智能计算平台事业部研究员关涛.资深专家徐晟来为我们分享<AI加持的阿里云飞天大数据平台技术揭秘>.本文主要讲了三大部分,一是原创技术优 ...
- dkh人力资源大数据解决方案整体架构
大数据技术的应用正在潜移默化改变着我们的日常生活习惯和工作方式,很多看起来有点“不可思议”的事情也渐渐被我们“习以为常”.大数据可能在国内的起步较晚,但我们可能却是对大数据应用最好的了代表了.前些时候 ...
- MongoDB + Spark: 完整的大数据解决方案
Spark介绍 按照官方的定义,Spark 是一个通用,快速,适用于大规模数据的处理引擎. 通用性:我们可以使用Spark SQL来执行常规分析, Spark Streaming 来流数据处理, 以及 ...
- 本地 vs. 云:大数据厮杀的最终幸存者会是谁?— InfoQ专访阿里云智能通用计算平台负责人关涛
摘要: 本地大数据服务是否进入消失倒计时?云平台大数据服务最终到底会趋向多云.混合云还是单一公有云?集群规模增大,上云成本将难以承受是误区还是事实?InfoQ 将就上述问题对阿里云智能通用计算平台负责 ...
- 转:甲骨文发布大数据解决方案 含最新版NoSQL数据库
原文出处: http://www.searchdatabase.com.cn/showcontent_88247.htm 以下是部分节选: 最新发布的大数据创新成果包括: Oracle Big Dat ...
随机推荐
- 自定义Cell的方法
Cell属于UITableView中的组件,有多种定义方式,有系统自带的方法,有自定义的方法. 可以使用系统的方法setSeparatorColor(设置分割线颜色) 设置setSeparatorSt ...
- iOS 使用GCD实现倒计时效果
在APP开发过程中,经常有需要实现倒计时效果, 比如语音验证码倒计时...代码如下: __block int timeout = 100; dispatch_queue_t queue = dispa ...
- [PL/SQL]使用PL/SQL实现ORACLE的Excel格式导入导出
注:教程所使用的PL/SQL Developer版本为10版本 1.oracle导出excel格式 第一步,在pl/sql窗口查询出你想要导出的数据. 第二步,选择你想导出的数据,然后右键" ...
- [20130919]出现有持续性的Lazy Write
表现:收到性能告警,LazyWrite严重超标,一般在100以上,正常情况下,LazyWrite为0,但是奇怪的是,当时的Free pages =312190左右,相当于2G空闲空间.OS的可用内存在 ...
- php框架laravel:数据库建立:artisan
aravel 迁移是一种数据库的版本控制.迁移通常和 结构生成器 配对使用来管理您应用程序的数据库结构. 配置数据库 我们安装wamp,并且使用mysql方式.用wamp自带的phpMyAdmin添加 ...
- Java对象的序列化
1.概念 序列化:把Java对象转换为字节序列的过程. 反序列化:把字节序列恢复为Java对象的过程. 2.用途 对象的序列化主要有两种用途: 1) 把对象的字节序列永久地保存到硬盘上,通常存放在一个 ...
- PHP MSSQL 分页实例(刷新)
<?php/* '页面说明:*/ $link=mssql_connect("MYSQL2005","sa","123456") or ...
- SQL SERVER 并发【2015.12.16】
并发控制模型 1.悲观并发控制: A.默认冲突存在,当前进程通过获取当前数据的锁阻止其他进程的访问. B.读与写之间是相互阻塞. 2.乐观并发控制: A.使用行版本控制保持数据被操作前的状态. B ...
- spring多数据源的处理 mybatis实现跨库查询
实现Myibatis动态sql跨数据库的处理 Spring动态配置多数据源,即在大型应用中对数据进行切分,并且采用多个数据库实例进行管理,这样可以有效提高系统的水平伸缩性.而这样的方案就会不 同于常见 ...
- docker-5 docker仓库
docker部署环境:CentOS release 6.5 (Final) Docker配置文件:/etc/sysconfig/docker 重要参数解释: -H 表示Docker Daemon绑定 ...