虹科分享 | HPC调度解决方案:HK-Adaptive在数字卫星图像领域的应用
2011年3月11日,日本海岸附近发生了9.0级地震。这次地震引发了强大的海啸,并向内陆传播了6英里,不仅使地球的轴心偏移了大约10到25厘米,还导致福岛核电站发生核紧急情况。
为了减少这场灾害的损失,不同国家的不同组织以各种方式给日本提供帮助,包括美国的数字卫星图像提供商DigitalGlobe。
数字卫星图像提供商DigitalGlobe简介
DigitalGlobe是一家全球领先的商用高分辨率地球影像产品和服务供应商,其影像解决方案利用自有卫星群提供的数据,支持在国防情报、地图制作分析、环境监测、油气勘探、基础设施管理、互联网门户网站以及导航技术领域的广泛应用。
DigitalGlobe由科学家和卫星用户创立,它拥有并运行着最灵活、最复杂的高分辨率商业地球成像卫星星座,能为广泛的垂直行业提供高质量图像。DigitalGlobe运行着一个分析中心,该分析中心提供FirstLook的订阅服务。它以高分辨率的文件形式提供灾难发生前后的区域图像,并且可以快速交付给相关组织,以协助进行应急规划、风险评估、应急响应和恢复。通过在全球范围内寻找重大事件,FirstLook能够使DigitalGlobe的客户在需要时做出更有效地响应。
在此次日本地震中,DigitalGlobe以独特的方式提供了帮助:迅速将他们的卫星星座相机移向受影响的日本北岸,确保能够在三号反应堆爆炸前一分钟和爆炸三分钟后对福岛反应堆进行成像。这些捕捉地面极端变化前后的图像为急救人员提供了应对灾难所需的重要信息。
问题:低效的工作负载管理解决方案
将DigitalGlobe的原始卫星图像快速转换为可理解格式,同时将其交到适当的人手中可以帮助成千上万的人,这使DigitalGlobe成为了高质量地球图像和地理空间信息的独特提供者。然而,上述需求的实现需要一个高效且有效的高性能计算(HPC)平台来满足。
过去,DigitalGlobe在内部开发的HPC工作负载管理解决方案上运行。但是,该系统只能对工作负载进行非常基本或原始的调度,并且在资源分配方面效率低下,僵化的管理系统也无法从一个集群中获取资产并将它们分配到另一个集群,无法满足不断变化的需求。因此,DigitalGlobe急需一个允许他们将计算能力转移到所有可用资源上并且能在不同的平台上来回转移计算资源的系统。
在寻找更好、更高效的HPC调度解决方案的过程中,DigitalGlobe确立了两个主要需求。首先,他们需要一个可以与Linux和Windows操作系统交互的跨平台、动态的HPC工作负载管理解决方案。
其次,他们需要能够将解决方案无缝集成到更广泛的企业通信消息系统中。
虹科Adaptive高性能计算解决方案
在查看了各种HPC供应商提供的解决方案后,DigitalGlobe认为Adaptive Computing能通过Moab HPC Suite工作负载管理产品提供最佳解决方案。
Adaptive Computing(简称HK-Adaptive)提供的系统允许DigitalGlobe在所有可用资源中动态转移其计算能力。此外,来自HK-Adaptive的Moab系统凭借其解决业务可用性问题的能力以及在高峰需求下提供服务的能力为DigitalGlobe提供最好的工具,使得DigitalGlobe可以在高水平支持下以最小的难度完成实施。
具体而言,HK-Adaptive提供的HPC调度解决方案为DigitalGlobe提供了以下帮助:
1.使DigitalGlobe能够将在Linux或Windows上运行的计算资源快速地转移到每个特定系统的业务负载上;
2.使DigitalGlobe能够更从容地满足不断变化的资源需求。具体而言,当需求激增时,DigitalGlobe可以更快地将高分辨率图像提供给客户,因为他们不再需要等待资产可用才能进行计算。
3.使DigitalGlobe能够将其所有计算资源视为通用容量,并近乎实时地对其进行分配,以适应客户即时的业务需求。
4.在实施过程中为DigitalGlobe提供高水平的支持,响应时间短,客户服务出色。特别是,HK-Adaptive提供24小时全天候处理任何关键问题的能力,这对于DigitalGlobe防止业务停机至关重要。
当DigitalGlobe的图像更快地交付给他们的客户时,可极大的节省自身和客户的时间和金钱。同时,正如此次福岛地震核电站事件,HK-Adaptive所提供的计算能力在几秒钟内也可以挽救一个生命。
虹科分享 | HPC调度解决方案:HK-Adaptive在数字卫星图像领域的应用的更多相关文章
- Elastic-Job-一个分布式调度解决方案
注:Elastic-Job是一个分布式调度解决方案,由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成.Elastic-Job-Lite定位为轻量级无中心化 ...
- ElasticJob 3.0.0:打造面向互联网生态和海量任务的分布式调度解决方案
ElasticJob 于 2020 年 5 月 28 日重启并成为 Apache ShardingSphere 子项目.新版本借鉴了 ShardingSphere 可拔插架构的设计理念,对内核进行了大 ...
- Android分享图片失败解决方案
前言:在做图片分享到微博或是用彩信分享的时候,会遇到“无法将图片添加到信息中”,其实这个问题的原因是创建的那个图片默认是,只能被当前应用调用,无法被其他应用调用,即分享的时候,无法读取到图片,并提示I ...
- 移动端web自适应解决方案: adaptive.js
代码有更新,最好直接查看github github:https://github.com/finance-sh/adaptive adaptivejs利用rem解决移动端页面开发的自适应问题 页面模板 ...
- 微信屏蔽APP分享链接的解决方案原理,剖析微信域名防封技术
为什么很多商家在微信封域名如此严格的情况下,还会挤破头皮去做微信营销和推广呢?又有些人问,为什么别人的域名长时间推广都没事,自己的链接在微信内一推就被拦截呢?这里你可能需要注意一点事,事出无常必有妖. ...
- 被集群节点负载不均所困扰?TKE 重磅推出全链路调度解决方案
引言 在 K8s 集群运营过程中,常常会被节点 CPU 和内存的高使用率所困扰,既影响了节点上 Pod 的稳定运行,也会增加节点故障的几率.为了应对集群节点高负载的问题,平衡各个节点之间的资源使用率, ...
- [经验分享] Docker网络解决方案-Weave部署记录
前面说到了Flannel的部署,今天这里说下Docker跨主机容器间网络通信的另一个工具Weave的使用.当容器分布在多个不同的主机上时,这些容器之间的相互通信变得复杂起来.容器在不同主机之间都使用的 ...
- 项目分享二:APP 小红点中数字的处理
小红点,是 APP 中最常见的一个功能,我们先来看一下面的案例,下图中,待评价的商品有 2 个,点击“评价晒单”按钮进行评价后,那么待评价数量应该变成 1,那么这个功能是如何去实现的呢? 一般来说,实 ...
- AAAI2018中的自注意力机制(Self-attention Mechanism)
近年来,注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中.随着注意力机制的深入研究,各式各样的attention被研究者们提出,如单个.多个.交互式等等.去年 ...
- 全面了解移动端DNS域名劫持等杂症:原理、根源、HttpDNS解决方案等
1.引言 对于互联网,域名是访问的第一跳,而这一跳很多时候会“失足”(尤其是移动端网络),导致访问错误内容.失败连接等,让用户在互联网上畅游的爽快瞬间消失. 而对于这关键的第一跳,包括鹅厂在内的国 ...
随机推荐
- CPU性能指标介绍及分析
CPU是计算机系统中最核心的组件之一,对系统性能起着至关重要的作用.以下是一些常见的CPU性能指标及其分析: 1. %user(用户态)和 %system(内核态) %user:表示CPU花费在用户进 ...
- 【Docker】迷你使用手册
一.安装与配置 安装: # Centos7 yum install docker 启动 & 设为开机启动: systemctl start docker.service systemctl e ...
- Day05_Java_作业
A:看程序写结果(写出自己的分析理由),程序填空,改错,看程序写结果. 1.看程序写结果 class Demo { public static void main(String[] args) { i ...
- 加速LakeHouse ACID Upsert的新写时复制方案
概述 随着存储表格式 Apache Hudi.Apache Iceberg 和 Delta Lake 的发展,越来越多的公司正在这些格式的基础上构建其 Lakehouse,以用于许多用例,例如增量摄取 ...
- JNI c++ 与 java 通信过程
JNI(Java Native Interface)是Java提供的一种机制,用于在Java和本地C/C++代码之间进行通信.下面是JNI C++与Java通信的一般过程: 1. 编写Java代码:首 ...
- AWD-PWN流量监控与抄流量反打
RE手 在AWD中比较做牢,队伍里也没pwn手,在awd出现pwn靶机比较坐牢.之前都不知道pwn靶机可以抄流量反打. 参考pwn_waf:https://github.com/i0gan/pwn_w ...
- Jni GetMethodID中函数标识sig的详细解释
在 JNI(Java Native Interface)中,GetMethodID 函数用于获取 Java 类的方法的标识符.这个函数的详细解释如下: cCopy code jmethodID Get ...
- 论文解读(IW-Fit)《Better Fine-Tuning via Instance Weighting for Text Classification》
Note:[ wechat:Y466551 | 可加勿骚扰,付费咨询 ] 论文信息 论文标题:Better Fine-Tuning via Instance Weighting for Text Cl ...
- API数据接口的应用步骤
API(Application Programming Interface)是现代软件应用程序开发中的一项重要技术,它允许不同的应用程序之间进行通信和数据交换.API接口通过提供统一的访问点,使得应用 ...
- OpenLDAP服务器搭建
一.关闭防火墙和selinux [root@localhost ~]# systemctl stop firewalld.service [root@localhost ~]# systemctl d ...