摘要:训练、标注成本节省90%!华为云自动化AI开发平台ModelArts 3.0发布,从训练数据到模型落地一站式打通。

今年的华为,着实遭遇了不小的困难。

尤其是供应链,包括芯片方面的打击,让华为轮值董事长郭平坦承“的确对华为的生产、运营带来了很大困难”。

但命运跌宕之下,华为却仍在全联接的现场,传递出信心:

“永远面向阳光,阴影就会被你甩在身后。”

华为也用具体业务的成绩、未来的投入,来证明这种信心并不仅仅是喊口号。

以华为云为例,郭平表示,云是释放算力的最佳平台,是智能世界的数字底座。而经过3年的持续努力,华为云目前已经在全球拥有23个区域中心,服务150万开发者。

而更能直接说明“未来”的,是在产品上的持续投入。

具体如何,从2020华为全联接大会压轴推出的ModelArts 3.0上,就可见端倪。

话不多说,一起来看。

ModelArts 3.0发布

ModelArts作为华为云AI开发平台集大成之作,可以提供包括数据标注准备、模型训练、模型调优、模型部署等AI应用开发服务。

在2018年推出之后不久,就刷榜斯坦福DAWNBenchmark。在图像识别(ResNet50-on-ImageNet,93%以上精度)的总训练时间上,以10分28秒的成绩,比第二名提速近44%,拿下当时的全球第一。

而在经过去年2.0版本的迭代之后,华为云ModelArts就已经进化成为甚至可以0代码完成模型训练、一键部署的全流程极简、专业的一站式AI开发管理平台。

那么今年,ModelArts 3.0还能有怎样的新突破?

在全联接现场,华为云人工智能领域首席科学家、IEEE Fellow田奇揭晓了答案。

田奇介绍,ModelArts 3.0作为面向AI在行业落地提供的AI开发平台,针对“如何用极少数据训练出高精度模型”、“如何降低企业应用AI门槛”、“如何解决企业对数据安全使用的顾虑”等等问题进行了探索和研究,并为此带来了四大全新特性。

现在,自动机器学习、小样本学习、联邦学习、预训练模型等等华为云长久以来积累的AI能力,都能够即插即用地部署于ModelArts平台,助力AI落地。

四大新特性

EI-Backbone:AI开发新范式

首先,是通用预训练模型架构EI-Backbone的全新发布。

其目的是打造预训练模型+小样本微调的高效训练模式,全面提升行业AI落地能力和体验。

也就是说,EI-Backbone会通过提供通用预训练模型和行业定制化开发流程,使得成型的开发经验能够做到规模化复制,降低AI的使用门槛。

如果以NLP领域的预训练模型为标杆,那么EI-Backbone的长远目标,就是打造CV领域的BERT。

BERT之所以被称为「NLP新时代的开端」,不仅仅是因为诞生之初,就刷榜各大NLP榜单。更是因为,基于BERT预训练模型,只需要简单的迁移策略,就能让NLP模型在下游任务中获得良好的性能。

这无疑大大推动了自然语言处理领域的研究发展。

而EI-Backbone就致力于为CV领域的开发者复刻BERT的体验。

以医疗影像分割为例,过去需要成百上千例标注数据才能进行的训练,在EI-Backbone的加持下,只需要几十例甚至十几例标注数据即可完成,节省标注成本90%以上。

田奇介绍,过去需要大量专家经验和试错成本的模型选择和超参调节,通过EI-Backbone提供的全空间网络架构搜索和自动超参优化技术,都可以在无需人工干预的情况下快速完成,且大幅提升精度。

结合华为云的计算资源调配和数据管理,模型训练、测试、验收、部署的开发全流程,在加载EI-Backbone集成的预训练模型后,可以缩短到几小时甚至几分钟内完成,训练成本降低90%以上。

目前,EI-Backbone已经在10余个行业有了成功的案例验证,并且斩获10余个业界挑战赛冠军。围绕EI-Backbone,华为云也已经发表了100余篇相关论文。

相关模型架构会逐步开源。

联邦学习:打破数据孤岛

第二个新特性,是ModelArts 3.0加入了联邦学习特性。

数据无疑是AI应用的基础,只有基于多样化的数据,才能实现AI智能感知。

但在实际的AI落地中,往往存在这样的问题:数据分散在不同的数据控制者之间,受限于隐私、安全等问题,这些数据并没有办法轻易打通,而是形成了一个个「数据孤岛」。

这就使得落地到实际产业中的AI算法训练效果受到了限制。

针对这个问题,华为云ModelArts提供联邦学习特性,用户各自利用本地数据训练,不交换数据本身,只用加密方式交换更新的模型参数,就能实现联合建模。

AI智能评估:自动Debug,可视化的那种

对于AI开发而言,有丰富数据作为基础,完成模型训练,并不意味着大功告成。

模型性能的评估和调优同样是一项重要,且对开发者自身经验要求很高的工作。

而ModelArts 3.0在这一环节中提供的特性,是AI智能评估。

其模型评估功能,是在得到首次训练的模型之后,将模型推理结果、原始图像和真实标签送入模型评估模块中。

这个模块会从数据、模型两个方面对模型的综合能力进行评估,评估指标包括精度、性能、可信度和可解释性:

在性能方面,ModelArts 3.0能提供算子级别的时间、空间消耗统计分析和多种整体的性能指标,并且针对模型的表现给出相应建议,如模型量化、蒸馏等;

在可解释性方面,ModelArts 3.0能提供热力图,用以展示模型做出推理判断所依据的区域;

在可信方面,ModelArts内置多种模型可信相关评测方法,能提供多角度模型安全能力评估指标,并依据当前模型表现给出相应的防御建议。

最终,评估模块会针对可能存在的问题输出一些改进模型能力的诊断建议。

也就是说,Debug这样繁重的工作,ModelArts 3.0也能给它自动化了,并且还是对数据到模型训练整体过程的全面评估。

弹性算力+大算力,普惠企业AI落地

除了自动化开发方面的能力,作为一站式AI平台云服务,ModelArts当然也提供了算力支持。

并且,为了更好地支持超大算力需求的AI研发,华为ModelArts平台在集群规模,任务数量,以及分布式训练都做了针对性的优化。

不仅能够管理上万的节点,更好的支持大型训练任务需求。通过优化服务框架,ModelArts平台还能支持10万级别的作业同时运行、支持万级芯片的大规模分布式任务。

并且,为了帮助企业在AI落地过程中进一步降本增效,ModelArts 3.0还具备弹性训练这一核心能力。

也就是说,可以根据模型训练速度的要求,自适应匹配最佳资源数。

具体在产品上,ModelArts提供两种模式。

一是Turbo模式,可以充分利用空闲资源加速已有训练作业,在大多数典型场景下加速效率大于80%,训练速度提升10倍,并且不会影响模型收敛精度。

二是Economic模式,可以通过最大化资源利用率,给开发者提供极致的性价比,在大多数典型场景下可以提升性价比30%以上。

领先分布式加速比能力

所以,ModelArts现如今的能力,应该如何评估?

不妨直接用数据说话。

ModelArts平台支持10万级别的企业任务同时运行,支持10万级别的用户规模同时使用。

而实现大规模集群分布式训练的关键能力,要看分布式加速比。

在MLPerf benchmart上的测试结果显示,在512芯片的集群规模下,华为云ModelArts成绩为93.6秒,优于英伟达V100的120秒。

MLPerf benchmart是学术界、产业界合作打造的一个通用基准,用于衡量机器学习硬件、软件和服务的训练、推理性能。

ModelArts的落地实战

纸面上的数据,还只是一部分。

实际上,在能源、汽车、政务系统、教育、工业机器人等10余个行业中,华为云ModelArts已经实现了160+个落地案例。

比如在下面这只国产机器狗身上,就有ModelArts赋予的AI能力。

这只机器狗名叫“绝影”,由杭州云深处科技有限公司出品。

杭州云深处科技有限公司创始人兼CEO朱秋国介绍,云深处与华为合作, 应用ModelArts和Atlas 200DK给“绝影”系列机器狗赋予AI能力,致力于工厂园区的智能巡检。机器狗可实时感知现场环境,通过知识图谱交互分析,强化学习动态决策,并具有复杂的行进路径规划和动作的能力,端云协同守护工厂园区的安全。

在现场华为云演示了如何基于ModelArts为机器狗构建起“感知+认知+决策”的能力:经过训练,“绝影”不仅可以检测到火焰,理解到火对于工厂环境是有危害的,重新学习并规划生成一条新的路径,绕过了火焰,并关掉了控制阀门,解除了火情。

另一个有意思的应用案例,来自同济大学的同学们。落地的场景是候鸟保护。

同济大学的5名学生,通过华为云ModelArts,在短短几个月时间内,就训练出了可以识别上千种鸟类的模型,并建立了一套湿地数字孪生系统。

并且,这套系统已经在杭州湾的候鸟保护和科研当中发挥了作用。

如果你也想用ModelArts开发一些有价值的AI应用,点击链接试用体验,现在邀请好友还有AI算力、华为手表手环等你拿。☚

如何评价ModelArts?

说了这么多,到底应该如何评价ModelArts给行业AI落地带来的意义呢?

正如华为云业务总裁郑叶来现场所说,ModelArts这样的开发模式,已经成为一种新的选择。

现在,ModelArts已经实现了以全流程的极简和自动化升级已有的AI开发模式,让数据准备、算法开发、模型训练、模型管理、模型推理全链条产生质的飞越。

对于开发者、甚至普通的业务人员而言,这就意味着更敏捷的开发、构建能力,更高的技术起点。

另外,AI、应用、数据三个方面的协同,也使得行业知识模型、行业应用资产和数据资产模型进一步下沉。这对于行业AI落地、行业新价值的创造,无疑有着积极的意义。

而站在整个行业的角度来说,已有不少行业分析指出,平台化是推动企业数字化转型的大势所趋。

在数字经济时代,算力是新生产力,数据是新生产资料,而5G、AI和云这样的前沿技术就是新的生产工具。在这种背景下,向华为云这样的AI平台靠拢、融合,更有利于企业落地数字化转型,在商业上取得成功。

而华为作为平台企业,也将串联起整个产业链、赋能整个产业链。

不仅仅是对商业伙伴的助力。正如华为轮值董事长郭平在大会开幕式上所说,这也同样是帮助华为自己渡过难关的一种方式。

硬件受阻,但当ModelArts这样的“软”服务一代代更新、被投入更多资源,在软硬之间愈加平衡的华为,突围之路上也有了更多的底气。

点击关注,第一时间了解华为云新鲜技术~

能够让机器狗学会灭火, ModelArts3.0让AI离我们又近一步的更多相关文章

  1. Win7机器上安装Ubuntu 14.0.4

    折腾了两天,分享一下经历. 我须要在已经安装了win7的机器上安装Ubuntu 14.0.4 (两者共存),研究下来有例如以下几种方案, 都折腾了一遍.分享一下经验: 方式1: wubi.exe, 把 ...

  2. 一小时学会 C# 6.0

    一.字符串插值 (String Interpolation) C# 6之前我们拼接字符串时需要这样 var Name = "Jack"; var results = "H ...

  3. Android,机器狗应用

    源码如下: package com.wyl.jqr; import java.io.BufferedReader; import java.io.IOException; import java.io ...

  4. Ubuntu14.04 CUDA8.0 CUDN4.0 NVIDIA1080 多种深度框架(懒人三步装) - 从入门到放弃

    这是一个懒人快速安装教程,1080卡有点麻烦,因为cuda需要8.0.为了安装方便直接把命令写成三个shell脚本. 代码基本是http://blog.csdn.net/langb2014/artic ...

  5. cocos2d-x 3.0游戏实例学习笔记 《跑酷》第一步--- 开始界面

    说明:这里是平局:晓风残月前辈的博客.他是将泰然网的跑酷教程.用cocos2d-x 2.X 版本号重写的,眼下我正在学习cocos2d-X3.0 于是就用cocos2d-X 3.0重写,并做相关笔记 ...

  6. Mirantis MCP 1.0:OpenStack 和 Kubernetes 整合的第一步

    1.前言 Mirantis 公司在2014年9月14日宣布收购 TCPCloud,然后宣布在2017年第一季度会推出全新的私有云产品.从那时候开始,我就一直满怀期待.终于,今年4月19日,Mirant ...

  7. [1.1W字] 复习: CSS 9个背景属性&6种渐变函数, 学会可以手写实现AI中强大的"任意渐变"! #Archives009

    Title/ CSS Background&Gradient完全指南 #Archives009 序: 关于 background 属性, 了解点CSS的人总会知道个大概. 但是你肯定多半还有点 ...

  8. 破解AI大脑黑盒迈出新一步!谷歌现在更懂机器,还开源了研究工具

    https://zhuanlan.zhihu.com/p/34306323 https://distill.pub/2018/building-blocks/

  9. hosts文件路径及文件介绍

    路径:WINDOWS/system32/drivers/etc/hosts 内容127.0.0.1       localhost 一. Hosts文件的位置 很多用户都知道在Window系统中有个H ...

  10. 最新安全狗 apache v4.0 sql注入 bypass

    前言 最近没事学习一下 waf 的 bypass , 本文介绍下 bypass 安全狗的笔记.个人感觉 bypass 的总思路(正则匹配型 waf)就是利用各种语法特性来逃避正则(当然要保证语法正确性 ...

随机推荐

  1. Telegram 正式引入国产小程序技术

    Telegram 宣布为其开发者提供了一项"能够在 App 中运行迷你应用"的新功能( 迷你应用即 Mini App,下文中以"小程序"代替). 在一篇博客文章 ...

  2. 18. 从零开始编写一个类nginx工具, 主动式健康检查源码实现

    wmproxy wmproxy将用Rust实现http/https代理, socks5代理, 反向代理, 静态文件服务器,后续将实现websocket代理, 内外网穿透等, 会将实现过程分享出来, 感 ...

  3. 使用 Jenkins + Github + dokcer-compose 部署项目-实战篇

    使用 Jenkins + Github + dokcer-compose 部署项目-实战篇 需要声明的一点是,此处实现的项目自动构建原理是 Github+Jenkins 的 webhook,因此得保证 ...

  4. stable-diffusion-webui官方版本地安装教程

    stable-diffusion-webui官方版本地安装教程 最终效果 1. python安装 官网:https://www.python.org/downloads/release/python- ...

  5. 二。docker安装mysql 并配置

    1.docker安装mysql 1.1使用docker拉取mysql的镜像 docker pull mysql:5.7 1.2通过镜像启动 docker run -p 3306:3306 --name ...

  6. 高精度减法(C语言实现)

    高精度减法(C语言实现) 介绍 众所周知,整数在C和C++中以int ,long,long long三种不同大小的数据存储,数据大小最大可达2^64,但是在实际使用中,我们仍不可避免的会遇到爆long ...

  7. 探讨C语言中数组、元素内存地址之间的关系

    最近一直在研究C语言,总结出一个结论:C开发者就是和内存与数据结构在打交道. 这篇文章先整理一下内存这块学习到的知识以免后面忘记了. 我们先讨论下数组和指针之间的关系,代码如下: #include & ...

  8. Vue源码学习(十六):diff算法(三)暴力比对

    好家伙,这是diff的最后一节了   0.暴力比对的使用场景 没有可复用的节点:当新旧虚拟 DOM 的结构完全不同,或者某个节点不能被复用时,需要通过暴力比对来创建新的节点,并在真实 DOM 上进行相 ...

  9. 使用MVVM Toolkit简化WPF开发

    最近. NET 8 的 WPF 推出了 WPF File Dialog改进,这样无需再引用 Win32 命名空间就可以实现文件夹的选择与存储了,算是一个很方便的改进了.顺手写了一个小的 WPF 程序, ...

  10. 2023-11-22:用go语言,给你一个长度为 n 下标从 0 开始的整数数组 nums。 它包含 1 到 n 的所有数字,请你返回上升四元组的数目。 如果一个四元组 (i, j, k, l) 满足

    2023-11-22:用go语言,给你一个长度为 n 下标从 0 开始的整数数组 nums. 它包含 1 到 n 的所有数字,请你返回上升四元组的数目. 如果一个四元组 (i, j, k, l) 满足 ...