虹科分享 | HPC调度解决方案:HK-Adaptive在数字卫星图像领域的应用
2011年3月11日,日本海岸附近发生了9.0级地震。这次地震引发了强大的海啸,并向内陆传播了6英里,不仅使地球的轴心偏移了大约10到25厘米,还导致福岛核电站发生核紧急情况。
为了减少这场灾害的损失,不同国家的不同组织以各种方式给日本提供帮助,包括美国的数字卫星图像提供商DigitalGlobe。
数字卫星图像提供商DigitalGlobe简介
DigitalGlobe是一家全球领先的商用高分辨率地球影像产品和服务供应商,其影像解决方案利用自有卫星群提供的数据,支持在国防情报、地图制作分析、环境监测、油气勘探、基础设施管理、互联网门户网站以及导航技术领域的广泛应用。
DigitalGlobe由科学家和卫星用户创立,它拥有并运行着最灵活、最复杂的高分辨率商业地球成像卫星星座,能为广泛的垂直行业提供高质量图像。DigitalGlobe运行着一个分析中心,该分析中心提供FirstLook的订阅服务。它以高分辨率的文件形式提供灾难发生前后的区域图像,并且可以快速交付给相关组织,以协助进行应急规划、风险评估、应急响应和恢复。通过在全球范围内寻找重大事件,FirstLook能够使DigitalGlobe的客户在需要时做出更有效地响应。
在此次日本地震中,DigitalGlobe以独特的方式提供了帮助:迅速将他们的卫星星座相机移向受影响的日本北岸,确保能够在三号反应堆爆炸前一分钟和爆炸三分钟后对福岛反应堆进行成像。这些捕捉地面极端变化前后的图像为急救人员提供了应对灾难所需的重要信息。
问题:低效的工作负载管理解决方案
将DigitalGlobe的原始卫星图像快速转换为可理解格式,同时将其交到适当的人手中可以帮助成千上万的人,这使DigitalGlobe成为了高质量地球图像和地理空间信息的独特提供者。然而,上述需求的实现需要一个高效且有效的高性能计算(HPC)平台来满足。
过去,DigitalGlobe在内部开发的HPC工作负载管理解决方案上运行。但是,该系统只能对工作负载进行非常基本或原始的调度,并且在资源分配方面效率低下,僵化的管理系统也无法从一个集群中获取资产并将它们分配到另一个集群,无法满足不断变化的需求。因此,DigitalGlobe急需一个允许他们将计算能力转移到所有可用资源上并且能在不同的平台上来回转移计算资源的系统。
在寻找更好、更高效的HPC调度解决方案的过程中,DigitalGlobe确立了两个主要需求。首先,他们需要一个可以与Linux和Windows操作系统交互的跨平台、动态的HPC工作负载管理解决方案。
其次,他们需要能够将解决方案无缝集成到更广泛的企业通信消息系统中。
虹科Adaptive高性能计算解决方案
在查看了各种HPC供应商提供的解决方案后,DigitalGlobe认为Adaptive Computing能通过Moab HPC Suite工作负载管理产品提供最佳解决方案。
Adaptive Computing(简称HK-Adaptive)提供的系统允许DigitalGlobe在所有可用资源中动态转移其计算能力。此外,来自HK-Adaptive的Moab系统凭借其解决业务可用性问题的能力以及在高峰需求下提供服务的能力为DigitalGlobe提供最好的工具,使得DigitalGlobe可以在高水平支持下以最小的难度完成实施。
具体而言,HK-Adaptive提供的HPC调度解决方案为DigitalGlobe提供了以下帮助:
1.使DigitalGlobe能够将在Linux或Windows上运行的计算资源快速地转移到每个特定系统的业务负载上;
2.使DigitalGlobe能够更从容地满足不断变化的资源需求。具体而言,当需求激增时,DigitalGlobe可以更快地将高分辨率图像提供给客户,因为他们不再需要等待资产可用才能进行计算。
3.使DigitalGlobe能够将其所有计算资源视为通用容量,并近乎实时地对其进行分配,以适应客户即时的业务需求。
4.在实施过程中为DigitalGlobe提供高水平的支持,响应时间短,客户服务出色。特别是,HK-Adaptive提供24小时全天候处理任何关键问题的能力,这对于DigitalGlobe防止业务停机至关重要。
当DigitalGlobe的图像更快地交付给他们的客户时,可极大的节省自身和客户的时间和金钱。同时,正如此次福岛地震核电站事件,HK-Adaptive所提供的计算能力在几秒钟内也可以挽救一个生命。
虹科分享 | HPC调度解决方案:HK-Adaptive在数字卫星图像领域的应用的更多相关文章
- Elastic-Job-一个分布式调度解决方案
注:Elastic-Job是一个分布式调度解决方案,由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成.Elastic-Job-Lite定位为轻量级无中心化 ...
- ElasticJob 3.0.0:打造面向互联网生态和海量任务的分布式调度解决方案
ElasticJob 于 2020 年 5 月 28 日重启并成为 Apache ShardingSphere 子项目.新版本借鉴了 ShardingSphere 可拔插架构的设计理念,对内核进行了大 ...
- Android分享图片失败解决方案
前言:在做图片分享到微博或是用彩信分享的时候,会遇到“无法将图片添加到信息中”,其实这个问题的原因是创建的那个图片默认是,只能被当前应用调用,无法被其他应用调用,即分享的时候,无法读取到图片,并提示I ...
- 移动端web自适应解决方案: adaptive.js
代码有更新,最好直接查看github github:https://github.com/finance-sh/adaptive adaptivejs利用rem解决移动端页面开发的自适应问题 页面模板 ...
- 微信屏蔽APP分享链接的解决方案原理,剖析微信域名防封技术
为什么很多商家在微信封域名如此严格的情况下,还会挤破头皮去做微信营销和推广呢?又有些人问,为什么别人的域名长时间推广都没事,自己的链接在微信内一推就被拦截呢?这里你可能需要注意一点事,事出无常必有妖. ...
- 被集群节点负载不均所困扰?TKE 重磅推出全链路调度解决方案
引言 在 K8s 集群运营过程中,常常会被节点 CPU 和内存的高使用率所困扰,既影响了节点上 Pod 的稳定运行,也会增加节点故障的几率.为了应对集群节点高负载的问题,平衡各个节点之间的资源使用率, ...
- [经验分享] Docker网络解决方案-Weave部署记录
前面说到了Flannel的部署,今天这里说下Docker跨主机容器间网络通信的另一个工具Weave的使用.当容器分布在多个不同的主机上时,这些容器之间的相互通信变得复杂起来.容器在不同主机之间都使用的 ...
- 项目分享二:APP 小红点中数字的处理
小红点,是 APP 中最常见的一个功能,我们先来看一下面的案例,下图中,待评价的商品有 2 个,点击“评价晒单”按钮进行评价后,那么待评价数量应该变成 1,那么这个功能是如何去实现的呢? 一般来说,实 ...
- AAAI2018中的自注意力机制(Self-attention Mechanism)
近年来,注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中.随着注意力机制的深入研究,各式各样的attention被研究者们提出,如单个.多个.交互式等等.去年 ...
- 全面了解移动端DNS域名劫持等杂症:原理、根源、HttpDNS解决方案等
1.引言 对于互联网,域名是访问的第一跳,而这一跳很多时候会“失足”(尤其是移动端网络),导致访问错误内容.失败连接等,让用户在互联网上畅游的爽快瞬间消失. 而对于这关键的第一跳,包括鹅厂在内的国 ...
随机推荐
- postgresql + timescaledb离线安装笔记(zabbix数据库准备工作)
实验环境 操作系统:centos 7.6 PostgreSQL:14.6 timescaledb:2.8.1 网络:本地无网络 1 编译源码安装 1.1 准备工作 useradd postgres m ...
- [C#]WPF 分辨率的无关性的问题
什么是WPF的分辨率无关性? 首先得解什么是Dpi(Density independent pixels ,设备无关像素),百度百科的解释DPI是指每英寸的像素,对应界面显示即是屏幕上每英寸的像素. ...
- 数据处理的那些事「GitHub 热点速览」
撇开一屏占四分之三屏幕的 AI 相关项目之外,本周剩下的热榜项目就是同数据有关的数据库项目,比如 CockroachDB 团队开源的 kv 存储数据库 pebble,旨在提供高性能的消息队列 blaz ...
- 园子的商业化努力-阿里云开发者社区合作:RDS MySQL Serverless 免费试用活动
阿里云开发者社区这个月组织了一个针对"云数据库 RDS MySQL Serverless 版"免费试用用户的做任务活动,上周找园子合作,希望能在园子里推广一下这个活动. 由于时间太 ...
- Python工具箱系列(三十九)
使用zlib对数据进行压缩 现实世界中,大量存在着对数据压缩的需求.为此,python内置了zlib压缩库,可以方便的对任意对象进行压缩. 下述代码演示了对字符串进行压缩: import zlib # ...
- 暑假刷题记 B
动态规划 字符串 杂题 A:Animals and Puzzle B:Vanya and Treasure 根号分治. 实际上是从 \((1, 1)\) 先找一个 \(1\),再找一个 \(2\dot ...
- AVR汇编(四):数据传送指令
AVR汇编(四):数据传送指令 AVR指令主要分为五类:算术和逻辑指令.分支指令.位操作指令.数据传送指令.MCU控制指令,今天我们先来认识其中最常用的数据传送指令. 汇编程序的编写.编译和调试 学习 ...
- JS逆向实战21——某查查webpack密码加密
声明 本文章中所有内容仅供学习交流,抓包内容.敏感网址.数据接口均已做脱敏处理,严禁用于商业用途和非法用途,否则由此产生的一切后果均与作者无关,若有侵权,请联系我立即删除! 网站 aHR0cHM6Ly ...
- AI绘画| 迪士尼风格|可爱头像【附Midjourney提示词】
Midjourney案例分享 图片预览 迪士尼风格|可爱头像 高清原图及关键词Prompt已经放在文末网盘,需要的自取 在数字艺术的新时代,人工智能绘画已经迅速崭露头角.作为最先进的技术之一,AI绘画 ...
- Vue源码学习(一):数据劫持(对象类型)
好家伙,了解一下Vue如何实现数据劫持 1.Vue中data的使用 首先,我得搞清楚这玩意的概念,我们先从vue的使用开始吧 想想看,我们平时是如何使用vue的data部分的? 无非是这两种情况 (你 ...