虹科分享 | HPC调度解决方案:HK-Adaptive在数字卫星图像领域的应用
2011年3月11日,日本海岸附近发生了9.0级地震。这次地震引发了强大的海啸,并向内陆传播了6英里,不仅使地球的轴心偏移了大约10到25厘米,还导致福岛核电站发生核紧急情况。
为了减少这场灾害的损失,不同国家的不同组织以各种方式给日本提供帮助,包括美国的数字卫星图像提供商DigitalGlobe。
数字卫星图像提供商DigitalGlobe简介
DigitalGlobe是一家全球领先的商用高分辨率地球影像产品和服务供应商,其影像解决方案利用自有卫星群提供的数据,支持在国防情报、地图制作分析、环境监测、油气勘探、基础设施管理、互联网门户网站以及导航技术领域的广泛应用。
DigitalGlobe由科学家和卫星用户创立,它拥有并运行着最灵活、最复杂的高分辨率商业地球成像卫星星座,能为广泛的垂直行业提供高质量图像。DigitalGlobe运行着一个分析中心,该分析中心提供FirstLook的订阅服务。它以高分辨率的文件形式提供灾难发生前后的区域图像,并且可以快速交付给相关组织,以协助进行应急规划、风险评估、应急响应和恢复。通过在全球范围内寻找重大事件,FirstLook能够使DigitalGlobe的客户在需要时做出更有效地响应。
在此次日本地震中,DigitalGlobe以独特的方式提供了帮助:迅速将他们的卫星星座相机移向受影响的日本北岸,确保能够在三号反应堆爆炸前一分钟和爆炸三分钟后对福岛反应堆进行成像。这些捕捉地面极端变化前后的图像为急救人员提供了应对灾难所需的重要信息。
问题:低效的工作负载管理解决方案
将DigitalGlobe的原始卫星图像快速转换为可理解格式,同时将其交到适当的人手中可以帮助成千上万的人,这使DigitalGlobe成为了高质量地球图像和地理空间信息的独特提供者。然而,上述需求的实现需要一个高效且有效的高性能计算(HPC)平台来满足。
过去,DigitalGlobe在内部开发的HPC工作负载管理解决方案上运行。但是,该系统只能对工作负载进行非常基本或原始的调度,并且在资源分配方面效率低下,僵化的管理系统也无法从一个集群中获取资产并将它们分配到另一个集群,无法满足不断变化的需求。因此,DigitalGlobe急需一个允许他们将计算能力转移到所有可用资源上并且能在不同的平台上来回转移计算资源的系统。
在寻找更好、更高效的HPC调度解决方案的过程中,DigitalGlobe确立了两个主要需求。首先,他们需要一个可以与Linux和Windows操作系统交互的跨平台、动态的HPC工作负载管理解决方案。
其次,他们需要能够将解决方案无缝集成到更广泛的企业通信消息系统中。
虹科Adaptive高性能计算解决方案
在查看了各种HPC供应商提供的解决方案后,DigitalGlobe认为Adaptive Computing能通过Moab HPC Suite工作负载管理产品提供最佳解决方案。
Adaptive Computing(简称HK-Adaptive)提供的系统允许DigitalGlobe在所有可用资源中动态转移其计算能力。此外,来自HK-Adaptive的Moab系统凭借其解决业务可用性问题的能力以及在高峰需求下提供服务的能力为DigitalGlobe提供最好的工具,使得DigitalGlobe可以在高水平支持下以最小的难度完成实施。
具体而言,HK-Adaptive提供的HPC调度解决方案为DigitalGlobe提供了以下帮助:
1.使DigitalGlobe能够将在Linux或Windows上运行的计算资源快速地转移到每个特定系统的业务负载上;
2.使DigitalGlobe能够更从容地满足不断变化的资源需求。具体而言,当需求激增时,DigitalGlobe可以更快地将高分辨率图像提供给客户,因为他们不再需要等待资产可用才能进行计算。
3.使DigitalGlobe能够将其所有计算资源视为通用容量,并近乎实时地对其进行分配,以适应客户即时的业务需求。
4.在实施过程中为DigitalGlobe提供高水平的支持,响应时间短,客户服务出色。特别是,HK-Adaptive提供24小时全天候处理任何关键问题的能力,这对于DigitalGlobe防止业务停机至关重要。
当DigitalGlobe的图像更快地交付给他们的客户时,可极大的节省自身和客户的时间和金钱。同时,正如此次福岛地震核电站事件,HK-Adaptive所提供的计算能力在几秒钟内也可以挽救一个生命。
虹科分享 | HPC调度解决方案:HK-Adaptive在数字卫星图像领域的应用的更多相关文章
- Elastic-Job-一个分布式调度解决方案
注:Elastic-Job是一个分布式调度解决方案,由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成.Elastic-Job-Lite定位为轻量级无中心化 ...
- ElasticJob 3.0.0:打造面向互联网生态和海量任务的分布式调度解决方案
ElasticJob 于 2020 年 5 月 28 日重启并成为 Apache ShardingSphere 子项目.新版本借鉴了 ShardingSphere 可拔插架构的设计理念,对内核进行了大 ...
- Android分享图片失败解决方案
前言:在做图片分享到微博或是用彩信分享的时候,会遇到“无法将图片添加到信息中”,其实这个问题的原因是创建的那个图片默认是,只能被当前应用调用,无法被其他应用调用,即分享的时候,无法读取到图片,并提示I ...
- 移动端web自适应解决方案: adaptive.js
代码有更新,最好直接查看github github:https://github.com/finance-sh/adaptive adaptivejs利用rem解决移动端页面开发的自适应问题 页面模板 ...
- 微信屏蔽APP分享链接的解决方案原理,剖析微信域名防封技术
为什么很多商家在微信封域名如此严格的情况下,还会挤破头皮去做微信营销和推广呢?又有些人问,为什么别人的域名长时间推广都没事,自己的链接在微信内一推就被拦截呢?这里你可能需要注意一点事,事出无常必有妖. ...
- 被集群节点负载不均所困扰?TKE 重磅推出全链路调度解决方案
引言 在 K8s 集群运营过程中,常常会被节点 CPU 和内存的高使用率所困扰,既影响了节点上 Pod 的稳定运行,也会增加节点故障的几率.为了应对集群节点高负载的问题,平衡各个节点之间的资源使用率, ...
- [经验分享] Docker网络解决方案-Weave部署记录
前面说到了Flannel的部署,今天这里说下Docker跨主机容器间网络通信的另一个工具Weave的使用.当容器分布在多个不同的主机上时,这些容器之间的相互通信变得复杂起来.容器在不同主机之间都使用的 ...
- 项目分享二:APP 小红点中数字的处理
小红点,是 APP 中最常见的一个功能,我们先来看一下面的案例,下图中,待评价的商品有 2 个,点击“评价晒单”按钮进行评价后,那么待评价数量应该变成 1,那么这个功能是如何去实现的呢? 一般来说,实 ...
- AAAI2018中的自注意力机制(Self-attention Mechanism)
近年来,注意力(Attention)机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中.随着注意力机制的深入研究,各式各样的attention被研究者们提出,如单个.多个.交互式等等.去年 ...
- 全面了解移动端DNS域名劫持等杂症:原理、根源、HttpDNS解决方案等
1.引言 对于互联网,域名是访问的第一跳,而这一跳很多时候会“失足”(尤其是移动端网络),导致访问错误内容.失败连接等,让用户在互联网上畅游的爽快瞬间消失. 而对于这关键的第一跳,包括鹅厂在内的国 ...
随机推荐
- 前端Vue自定义精美悬浮菜单按钮fab button 可设置按钮背景颜色 菜单按钮展开条目
前端Vue自定义精美悬浮菜单按钮fab button 可设置按钮背景颜色 菜单按钮展开条目,下载完整代码请访问uni-app插件市场地址:https://ext.dcloud.net.cn/plugi ...
- 据说,Transformer 不能有效地进行时间序列预测?
简介 几个月前,我们介绍了 Informer 这个模型,相关论文 (Zhou, Haoyi, et al., 2021) 是一篇获得了 AAAI 2021 最佳论文奖的时间序列论文.我们也展示了一个使 ...
- 超详细整合SSM框架--(Spring + Spring MVC + MyBatis)
超详细整合SSM框架--(Spring + Spring MVC + MyBatis) 阅读该文章之前首先要清楚Spring框架,SpringMVC框架,Mybatis框架. SSM框架,是Sprin ...
- 如何根据oops函数偏移快速定位源码?
如何根据函数偏移快速定位源码? 在内核栈的输出中,你一定注意到每一个函数的输出格式都是函数名+偏移量,而这儿的偏移就是调用下一个函数的位置.那么,能不能根据函数名+偏移量直接定位源码的位置呢? 答案是 ...
- 理解TCP四次挥手
以AB通电话举例: A的视角 A突然说,"现在几点了",进入FIN_WAIT_1 B回,"啊,10点了",A听到后不说话,进入FIN_WAIT_2 然后B说,& ...
- Proxmox VE软件防火墙的配置
1 软件防火墙的基本概念 防火墙是计算机网络中用于保护网络安全的关键技术.防火墙可以是硬件设备部署在网络出口,也可以是软件部署在终端设备出口.本文主要介绍软件防火墙. 软件防火墙可以根据网络流量的方向 ...
- JDK中「SPI」原理分析
目录 一.SPI简介 1.概念 2.入门案例 2.1 定义接口 2.2 两个实现类 2.3 配置文件 2.4 测试代码 二.原理分析 1.ServiceLoader结构 2.iterator迭代方法 ...
- 其实webpack编译"模块化"的源码没那么难
我们在 webpack初体验 这篇文章中演示到,浏览器不支持 CommonJS ,在特定场景下才支持 Es Module ,而 webpack 可以将这些模块化的代码解析成浏览器可识别的语法. 那么 ...
- Hadoop集群启动没有DataNode进程
问题状况: 问题原因: 在启动Hadoop之前,进行了多次格式化,导致DataNode的ID发生了变化 解决方案: 我们可以删除从节点所有的DataNode资料,并重新格式化 解决流程 1.根据cor ...
- [clickhouse]同步MySQL
前言 clickhouse的查询速度非常快,而且兼容大部分MySQL的sql语法,因此一般将clickhouse作为MySQL的读库. 本文提供两种clickhouse同步MySQL的方式 click ...