华为云发布ModelBox AI应用开发框架

摘要：华为云ModelBox AI应用开发框架，打通端边云边界，助力开发者实现AI应用一次开发，全场景部署。

近日，以“因聚而生，为你所能”为主题的华为伙伴暨开发者大会 2022隆重开幕，华为云CEO张平安发表“共创新价值，一切皆服务”主题演讲，并重磅发布了华为云ModelBox AI应用开发框架，打通端边云边界，助力开发者实现AI应用一次开发，全场景部署。

华为云CEO张平安发布包括ModelBox在内的15大新服务

去年华为云发布了盘古预训练大模型，让AI开发由作坊式转变为工业化开发的新模式，但是AI的应用开发和部署仍然面临很多挑战，面向多样化的云边端场景，行业开发者平均需要花费1~2个月来完成AI应用对多种运行设备和系统的开发适配，耗时耗力。

为解决这一难题，打通AI落地“最后一公里”，华为云再次对AI开发生产线ModelArts进行重磅升级——发布ModelBox AI应用开发框架，帮助开发者屏蔽底层软硬件差异，实现AI应用一次开发，全场景部署，让AI开发者无需学习复杂的底层技术及繁多的系统API就能开发出高性能的AI应用。

华为云ModelBox AI应用开发框架具备以下三大创新能力：

• 高性能并发调度引擎提升推理性能 2-10倍

相较传统AI应用串行的开发方式，ModelBox应用中所有任务以功能单元形式封装，运行时内置的并发调度引擎实现数据计算和资源管理的精细化智能调度，同时集成了特别优化过的硬件加速单元，可以实现推理性能大幅提升。

• 自适应异构计算组件缩短跨平台开发周期80%

预置丰富的应用编排异构计算组件，覆盖主流芯片、操作系统、推理框架，让开发者不必学习平台的软硬件差异，实现一次开发，全场景部署，降低了开发者学习底层优化API的难度，可以明显缩短开发周期。

• 端边云AI协同单元降低运维成本30%

框架中提供的端边云AI协同单元让开发者快速生成格式统一的AI应用，结合应用场景一键部署到端边云不同的设备上运行。结合云上管理平台，可以实现对模型的精细化管理，降低运维成本。

在油气行业中，实体三维重建及定位是复杂设备维修、维护的重要手段，需要端侧设备在开阔空间中能够快速完成定位，且误差不超过1厘米。相当于要在几毫秒之内，从十个足球场面积的图片中识别出螺丝钉大小的物体。重建及定位算法的求解需要PnP、RANSAC等十余个子算法的相互协同。

传统的AI应用开发方式因缺乏灵活编排异构计算单元的手段，无法高效调度计算资源，推理时延长达上百毫秒，难以满足开阔空间毫秒级三维重建定位的要求

3D重建和定位识别等高性能AI应用能够结合AR眼镜流畅运行

华为云ModelBox AI开发应用框架具备独有的高性能并发调度引擎，可将计算资源合理调度到GPU、CPU、NPU等多种芯片上，通过芯片级并行计算，提升推理性能2-10倍。ModelBox打通端边云边界，统一模型应用接口和打包格式，让AI应用可以便捷的部署到各种异构计算平台，由端侧运行低延时小模型，边侧承担综合计算任务，云侧承载复杂的大模型。通过高效协同端边云计算资源，实现开阔空间厘米级精度的三维重建及定位，并将时延控制在毫秒级。基于Modelbox，开发一个新器件的三维重建应用的周期从两个月缩短到了一周。

统一模型应用接口和打包格式，让AI应用可以便捷的部署到各种异构计算平台

目前，华为云ModelBox AI应用开发框架已进行了开源，并与北京亮亮视野科技有限公司（以下简称亮亮视野）等30多家软硬件生态伙伴进行战略合作。

亮亮视野是国内TOP级AR眼镜设备提供商，服务了覆盖工业、能源、航空、制造等行业的5000多家领军企业。亮亮视野COO娄身强表示，ModelBox改变了过去重复开发定制交付的模式，可以将开发团队从繁琐的软硬件适配、调优工作中解放出来，让伙伴更加聚焦于产品本身的开发，实现了研发效能的提升。

同时，ModelBox为亮亮视野等硬件厂商提供了广阔的生态合作机会。一方面，AR眼镜等硬件设备基于云上的海量AI应用可以快速扩展AI技能，另一方面，基于ModelBox提供的统一接口和格式，AI算法能够更便捷地运行在各种智能设备上，在端边云协同的场景中形成生态互补优势，解决行业AI应用落地的难题。

技术升级的浪潮成为了社会前行的核心动力来源之一。华为云将不断创新，继续和合作伙伴、开发者一起，通过经验即服务、技术即服务、基础设施即服务，实现一切皆服务，共创新价值。

点击关注，第一时间了解华为云新鲜技术~