作者:华为云 Rosie

随着人工智能的普及和渗透,“无人”的场景越来越丰富,无人超市、无人车、无人机等已经融入我们的生活。

乘着这股热浪,华为云携手上海交通大学学生创新中心举办了华为云人工智能大赛——无人车挑战杯。而此次大赛用的正是华为云人工智能平台:华为云一站式AI开发平台ModelArts和视觉AI应用开发平台Huawei HiLens(以下简称HiLens),无人车的设计由上海交通大学提供,旨为全面锻炼和提高赛队的AI解决方案能力及无人驾驶编程技巧。然而,无人车是怎么搭载华为云HiLens实现智能行驶的呢?下面就来解密这背后的黑科技。

ModelArts与HiLens是什么关系?

Modelarts是云侧面向AI开发者的一站式开发平台,提供数据预处理、半自动化标注、大规模分布式训练、自动化模型生成等能力。而HiLens是一站式AI应用开发、分发、部署的端云协同管理平台,并提供开放的AI技能市场,支持海量设备管理、动态应用部署、在线训练、端侧模型优化等端云协同能力。既然是端云协同,少不了端侧设备,随着HiLens平台发布的同时,华为还发布了一款具备AI推理能力的摄像机——HiLens Kit,构建“云-端-芯”的人工智能生态。参赛者在Modelarts平台训练好模型,再将模型导入HiLens平台进行技能开发,然后一键式部署到HiLens Kit推理,实现“云-边-端”一体化流程,大大提高开发效率。

对于开发者来说,模型部署到端侧设备,需要考虑的不仅是芯片(CPU/GPU)、内存、网络带宽和稳定性等各种设备规格在内的开发问题,海量设备管理和维护的问题,还有业务和安全的问题。而HiLens平台和设备的出现,提供了一套完整可靠的全栈端云协同解决方案。在无人车中,HiLens Kit主要提供AI分析和ROS控制的能力,实现小车基于深度学习算法模拟实际场景的识别和控制。

HiLens与无人车的设计图

华为云人工智能大赛——无人车挑战杯选手用车

无人车搭载华为云HiLens带来哪些优势?

1. 端云协同

开发者可基于华为ModelArts AI开发平台训练算法模型,通过HiLens平台做技能开发并部署到HiLens Kit推理。在本次大赛中,参赛者运用华为云ModelArts平台训练好各类算法模型,然后把模型导入HiLens平台进行业务逻辑编写,完成技能开发,并将技能一键式部署到HiLens Kit,快速实现红绿灯识别、行人避障、线路识别、目标跟随等自动驾驶功能。对于参赛者来说,只需简单四步:创建模型、导入模型、创建技能、部署技能,最快10分钟即可定制符合交通场景需求的技能,并部署到任意已注册的端侧设备运行,后期还能通过HiLens技能管理平台一键实现端侧设备的技能升级和卸载。这样实现了从云到端的一体化,降低了参赛者训练时间和算法移植成本,提高了效率。

2. 端侧设备HiLens Kit

这是为HiLens平台打造的一款支持推理的智能摄像头,专用于开发者做端云协同的视觉应用开发。(1)超强的算力,内置华为自研Ascend 310 AI芯片(16TOPS INT8 算力),可以实现1秒百帧的处理能力,毫秒级人脸检测;超强处理能力可同时支持高达16路1080P视频分析;同时,内置轻量级容器,具备资源占用少、降低网络带宽、下载启动时间快等特性。让参赛者任性的开发更多复杂交通场景的算法而不用担心内存和算力的限制。(2)丰富的接口,包括USB接口、视频接口、音频接口、网口、WIFI、SD卡等提供了开发的便利,实现多模态交互。(3)可靠的管理,HiLens提供的端云连接持续可靠的通信组件,使端侧设备对于与云侧仅有间歇性连接或者无连接的场景,也具备制定决策的能力,在未连接网络的情况下也能保持设备状态。

3. 内置技能开发框架Skill Framework

为了简化技能开发流程,HiLens提供了自研端侧技能开发框架Skill Framework,通过封装底层接口、实现常用的管理功能,让参赛者可以在Huawei HiLens管理控制台上方便的开发Skill,培育AI生态。具体如下:

(1)提供易用的开发组件,Skill Framework封装了视频分析算法的基础组件,如底层多媒体处理库(摄像头/麦克风驱动模块Media_mini)、Ascend 310芯片相关的图像处理库(DVPP)和模型管理库(ModelManager)等,提供了技能推理平台、视频管理、外部接口管理等能力,开发者只需少量代码即可开发自己的技能。

(2)结合芯片性能优化,针对AI算法中比较耗时的计算单元,结合海思芯片架构进行优化,内置NPU专用硬件加速单元,与CPU处理AI运算相比,拥有约50倍能效和25倍性能优势,使计算性能得到极大提升。

(3)技能移植,在HiLens平台上开发的Skill可以运行到任何基于华为海思芯片的设备上。因底层封装了系统平台适配层,且基于HiAI Engine自适配底层芯片,可无缝对接端侧设备,让开发者无需操心底层硬件的适配和系统平台的兼容问题,使开发更容易上手。

(4)提供Python和C++接口,同时支持两种语言接口,参赛者可根据场景和开发习惯使用不同语言的接口。

4. 在线更新技能

训练并开发后的技能可远程下载发布,使比赛更具有实时性。HiLens管理平台提供技能管理功能,包括技能部署、停止和卸载,开发者优化后的技能,可在平台一键式部署更新,高效而快速,避免了传统的算法更新依赖固件更新周期长成本高的限制。

5. 自动模型转换

云侧开发框架丰富多样, 开发者可根据喜好选择TensorFlow、MXNet、Caffe等,然后将训练好的模型导入HiLens平台通过模型转换功能,能够自动转换成适配端侧昇腾310芯片的OM框架模型,而参赛者只需提供三个文件:原始模型文件、网络结构文件和转换文件.cfg(cfg需参赛者简单配置参数生成),这样参赛者不用有云侧框架与端侧设备不兼容的顾虑,从而降低学习成本。

6. 自动数据采集

参赛者可利用HiLens Kit实现自动数据采集并上传到云端进行训练。为了更好的优化模型,少不了成千上万的真实数据,而开发者可通过HiLens Kit快速而实时地采集实际场景的数据,例如红绿灯识别照片和视频、路线照片等,传回云侧利用Modelarts针对性训练,提高模型精度,同时极大降低数据采集时间,实现设备的在线自动学习与更新。

另外,Huawei HiLens也提供具有丰富技能的技能市场,可以让开发者将自己开发好的技能一键发布到技能市场供其他人使用、购买。同时,华为也将在技能市场发布多项技能,针对家庭、园区、车载等不同场景,覆盖物体检测、动作识别、语音识别等多种应用,供开发者和企业使用。为的就是打造一个全民用AI会AI的生态。

基于HiLens独有的优势和能力,无人车挑战杯的参赛者可以结合“云-端-芯”的场景挖掘和探索更多复杂的场景,智行天下,为我们的生活带来更多的便利。未来,是智能的世界,人们对人工智能在不同行业和领域的探索也会越来越深入、越来越紧密,而Huawei HiLens给视觉AI领域提供了最可靠的端云协同能力和最高效的AI应用开发平台。

日前,无人车挑战杯初赛刚刚结束,全国十强战队已经产生,选手们将前往上海,在即将举办2019华为全联接大会上一决雌雄,现在售票通道已开放,登录大会官网即可在线购票,欢迎现场观战,一起见证无人车大赛的决赛过程。

欢迎添加华为云小助手微信(微信号:HWCloud002 或 HWCloud003),输入关键字“加群”,加入华为云线上技术讨论群;输入关键字“最新活动”,获取华为云最新特惠促销。华为云诸多技术大咖、特惠活动等你来撩!

“洞察千里”,华为云HiLens如何让无人车智行天下的更多相关文章

  1. 自动驾驶轻松开发?华为云ModelArts赋能智慧出行

    作为战略新兴产业,人工智能已经开始广泛应用于多个领域.近几年,科技公司.互联网公司等各领域的企业纷纷布局自动驾驶.那么,自动驾驶技术究竟发展得如何了?日前,华为云携手上海交通大学创新中心举办的华为云人 ...

  2. 本科阶段就挑战自动驾驶开发?华为云ModelArts帮你轻松实现!

    欢迎添加华为云小助手微信(微信号:HWCloud002 或 HWCloud003),输入关键字"加群",加入华为云线上技术讨论群:输入关键字"最新活动",获取华 ...

  3. 用python读取word文件里的表格信息【华为云技术分享】

    在企查查查询企业信息的时候,得到了一些word文件,里面有些控股企业的数据放在表格里,需要我们将其提取出来. word文件看起来很复杂,不方便进行结构化.实际上,一个word文档中大概有这么几种类型的 ...

  4. 三伏天里小试牛刀andriod 开发 #华为云·寻找黑马程序员#

    2019年07月,北京,三伏天,好热啊.越热自己还越懒得动换(肉身给的信号),但是做为产品经理/交互设计师的,总想着思考些什么(灵魂上给的信号),或者是学习些什么,更有利于将来的职业发展吧,哈哈哈.工 ...

  5. 三伏天里小试牛刀andriod 开发 #华为云·寻找黑马程序员#【华为云技术分享】

    2019年07月,北京,三伏天,好热啊.越热自己还越懒得动换(肉身给的信号),但是做为产品经理/交互设计师的,总想着思考些什么(灵魂上给的信号),或者是学习些什么,更有利于将来的职业发展吧,哈哈哈.工 ...

  6. 华为云Stack首席架构师:打造“称手”的数字化工具,答好政企IT数字化转型这道必选题

    摘要:数字化转型是一号位工程,数字化的工具本身就是企业的核心竞争力. 本文分享自华为云社区<华为云Stack首席架构师:打造"称手"的数字化工具,答好政企IT数字化转型这道必 ...

  7. 华为云照片的爬虫程序更新(python3.6)

    一.背景: 每年终都有一个习惯,就是整理资料进行归档,结果发现手机照片全备份在华为云里,在官网上找了一圈,没找到官方的pc工具用来同步照片. 于是找出上次写的程序,看看能不能爬到数据,然而……果然不好 ...

  8. python2.7下同步华为云照片的爬虫程序实现

    1.背景 随着华为手机的销量加大,华为云的捆绑服务使用量也越来越广泛,华为云支持自动同步照片.通讯录.记事本等,用着确实也挺方便的,云服务带来方便的同时,也带来了数据管理风险.华为目前只提供一个www ...

  9. 华为云ModelArts 2.0全面升级,革新传统AI开发模式

    [中国,上海,9月20日] 在HUAWEI CONNECT 2019期间,华为云EI服务产品部总经理贾永利宣布--华为云AI重装升级,并重磅发布一站式AI开发管理平台ModelArts 2.0. 现场 ...

随机推荐

  1. Project Euler 53: Combinatoric selections

    从12345这个数字中挑选出三个数共有十种方式: \[ 123, 124, 125, 134, 135, 145, 234, 235, 245,345 \] 在组合学中,我们将其记为\(C(5,3)= ...

  2. CAP的学习和应用

    性能优化真言:队列缓存分布式  异步调优堆配置 前言:用CAP有一段时间了,这里简单记录一下,这么好用的东西,小伙伴们赶紧上车吧 一.CAP使用场景? 平时工作中经常使用到MQ,如(kafka,rab ...

  3. 区块链轻松上手:原理、源码、搭建与应用pdf电子版下载

    区块链轻松上手:原理.源码.搭建与应用pdf电子版下载 链接:https://pan.baidu.com/s/1rKF4U9wq612RMIChs0zv8w提取码:hquz <区块链轻松上手:原 ...

  4. gin索引优化实例1

    GIN(Generalized Inverted Index, 通用倒排索引) 是一个存储对(key, posting list)集合的索引结构,其中key是一个键值,而posting list 是一 ...

  5. LeetCode 5272. 5272. 统计参与通信的服务器 Count Servers that Communicate

    地址 https://leetcode-cn.com/problems/count-servers-that-communicate/ 题目描述这里有一幅服务器分布图,服务器的位置标识在 m * n  ...

  6. css未知高度垂直居中

    <!doctype html> <html lang="en"> <head> <meta charset="utf-8&quo ...

  7. vim用户手册笔记常用操作整理

    "x"命令可以删除一个字符 "d"命令可以后跟任何一个位移命令,它将删除从当前光标起到位移的终点处的文本内容dw "c",改变命令例如cw ...

  8. PostGIS 使用Mysql_fdw同步ArcGIS填坑记录

    ##实现Mysql_fdw数据同步过程中,出现过很多坑,开此贴记录一下 1.触发器记录 这里insert的时候,采用过insert into f_pressureline select new.*,出 ...

  9. Golang 入门系列(十六)锁的使用场景主要涉及到哪些?读写锁为什么会比普通锁快

    前面已经讲过很多Golang系列知识,感兴趣的可以看看以前的文章,https://www.cnblogs.com/zhangweizhong/category/1275863.html, 接下来要说的 ...

  10. 驰骋工作流系统-Java共工作流引擎配置定时任务

    关键词:工作流定时任务  流程引擎定时任务设置  工作流系统定时任务配置  开源工作流引擎 开源工作流系统 一.定时任务的作用 发送邮件,发送短信. 处理节点自动执行的任务.比如:一个节点的待办工作是 ...