AR技术已经被广泛应用于营销、教育、游戏、展览等场景。通过2D图像跟踪技术和3D物体跟踪技术,用户只需使用一台手机进行拍摄,即可实现海报、卡牌等平面物体以及文物、手办等立体物体的AR效果。尽管近年来2D图像跟踪和3D物体跟踪算法已经取得了很大的进步,但受限于环境等因素影响,效果仍然有很大提升空间,是目前AR开发者的研发难点。

HMS Core AR Engine提供了2D图像和3D物体的端云协同跟踪技术,让开发者更简单便捷地开发AR类应用,让用户拥有更丰富的AR交互体验。

2D图像跟踪技术

端云协同2D图像实时跟踪技术已率先应用于Bilibili会员购,购物者在选购时能够浏览商品的AR特效,多角度、近距离地与IP衍生商品实现互动,从而获得全新的AR购物体验。据会员购后台数据统计,具备AR特效的商品销量更好,AR活动参与率是普通游戏参与率的2倍左右,助力会员购平台收入提升。

图1. Bilibili会员购效果图

传统的纯端侧2D图像跟踪方案,如果开发者要让新的图片支持AR特效就必须更新应用版本,有较高的版本维护成本,而且随着支持AR特性图片的增加,应用的体积也会不断增大。为此,AR Engine采用端云协同的架构解决该问题,开发者仅需将图片上传到云端即可快速发布新图片的AR特效,端侧应用版本无需更新,应用体积也不会因此而增加。

图2. 端云协同2D图像跟踪技术原理图

端云协同2D图像跟踪技术主要涵盖了:

云侧图像特征提取模块

云侧向量检索引擎

端侧视觉跟踪模块

在提升云端服务的响应速度方面,端云协同2D图像跟踪技术利用硬件平台加速,开发了软硬协同的高性能向量检索引擎,实现海量特征下的毫秒级检索响应。

3D物体跟踪技术

在文物介绍、商品展示、AR教育等场景,AR Engine还提供了端云协同3D物体实时跟踪技术。该技术能够实现3D物体全息式信息展示效果

图3. 端云协同3D物体实时跟踪技术效果图

现实生活中,会存在不同纹理材质的3D物体,例如雕塑类的纯色弱纹理材质,或者金属器皿类的反光现象,3D物体也会受光线变化导致表面出现阴影,这些场景都对3D物体跟踪带来很大的挑战。为了实现在各种场景下均能快速准确的进行识别跟踪,AR Engine使用多个AI网络组合完成3D识别定位功能,分别完成对象检测、位姿粗定位、位姿优化。

图4. 端云协同3D物体跟踪技术原理图

端云协同3D物体实时跟踪技术主要涵盖了:

云侧训练样本AI合成模块

云侧AI网络自动训练模块

云侧AI网络推理模块

端侧视觉跟踪模块

在对AI网络进行算法训练时,传统的训练样本人工标注方式,往往存在工作量大、开发周期长等问题。为此,AR Engine结合海量的离线数据和对抗生成策略,设计了训练样本的AI合成算法,能够免人工标注,仅依赖合成样本就可以实现复杂场景下3D物体的精准识别。

端云协同3D物体跟踪技术在文物介绍场景,已助力华为河图为莫高窟实现全息式文旅导游体验,帮助游客随时探究洞窟的内部细节。

图5. 华为河图的莫高窟全息式文旅导游效果图

以上技术来自华为2012中央媒体技术院,通过AR Engine面向开发者开放,在广告营销、教育、文旅等场景为用户带来差异化的AR体验。

更多AR技术的信息,欢迎收看5月27日19:00-20:00 HMS Core Discovery第15期直播,让我们一起探索HMS Core AR Engine是如何帮助开发者们构筑立体世界,打造沉浸式营销的服务体验。

欢迎访问华为开发者联盟官网-HMS Core AR Engine

了解更多详情>>

访问华为开发者联盟官网

获取开发指导文档

华为移动服务开源仓库地址:GitHubGitee

关注我们,第一时间了解 HMS Core 最新技术资讯~

HMS Core AR Engine 2D图片/3D物体跟踪技术 助力打造更智能AR交互体验的更多相关文章

  1. 全场景AI推理引擎MindSpore Lite, 助力HMS Core视频编辑服务打造更智能的剪辑体验

    移动互联网的发展给人们的社交和娱乐方式带来了很大的改变,以vlog.短视频等为代表的新兴文化样态正受到越来越多人的青睐.同时,随着AI智能.美颜修图等功能在图像视频编辑App中的应用,促使视频编辑效率 ...

  2. 介绍用C#和VS2015开发基于Unity架构的2D、3D游戏的技术

    [Unity]13.3 Realtime GI示例 摘要: 分类:Unity.C#.VS2015 创建日期:2016-04-19 一.简介 使用简单示例而不是使用实际示例的好处是能让你快速理解光照贴图 ...

  3. 如何让照片中的人物笑起来?HMS Core视频编辑服务一键微笑功能,让人物笑容更自然

    最近一键"露齿笑"席卷全网,无论是短视频用户还是社交App用户都在使用这项黑科技.当三两好友聚会拍集体照留念时,为了处理个别人的表情"瑕疵",让大家都尽量保持微 ...

  4. 【HMS Core 6.0全球上线】华为钥匙环服务,打造跨应用跨形态无缝登录体验

    华为钥匙环服务(Keyring),是HMS Core在安全领域开放的全新服务,为全球开发者提供用户认证凭据(以下简称"凭据")本地存储和跨应用.跨形态共享能力,帮助您在安卓应用.快 ...

  5. HMS Core Keyring携手航班管家和高铁管家,打造美好出行体验

    高铁管家是国内最早⽀持⼿机⽀付购买⽕⻋票App之⼀,日活用户超380万,为⽤户提供一站式铁路出⾏服务.高铁管家母公司--深圳市活⼒天汇科技股份有限公司是国内智能⼤出⾏的开创者,先后推出航班管家.⾼铁管 ...

  6. 华为开发者大会2022:HMS Core 3D建模服务再升级,万物皆可驱动

    11月4日,HDC2022华为开发者大会在东莞松山湖举办.在本次大会的HMS Core创新图形能力分论坛中,HMS Core重点介绍了其在3D技术领域的创新应用方向,其中3D建模服务展示了创新的自动骨 ...

  7. HMS Core在MWC2022展示最新开放能力,助力开发者构建精品应用

    [2022年2月28日,巴塞罗那]世界移动通信大会MWC2022在巴塞罗那开幕.HMS Core设立了3个展台(Fira Gran Via,Hall 1),向全球开发者展示HMS Core 6的全新开 ...

  8. HMS Core图形图像技术展现最新功能和应用场景,加速构建数智生活

    [2022年7月15日,杭州]HUAWEI Developer Day(华为开发者日,简称HDD)杭州站拉开帷幕.在数字经济不断发展的今天,开发者对图形图像的开发需求更加深入和多样化,从虚拟环境重构到 ...

  9. Insights直播回顾,对话专家,HMS Core 6创新能力解读

    HMS Core Insights第八期直播–对话专家,HMS Core 6创新能力解读,已于11月25日圆满结束,本期直播与小伙伴们一同了解了HMS Core 6在图形.媒体以及连接与通信领域推出的 ...

随机推荐

  1. 【分享】WeX5的正确打开方式(6)——数据组件初探

    本文是[WeX5的正确打开方式]系列的第6篇文章,简单介绍一下WeX5中数据组件的特性和结构形式. 数据组件的由来 上一篇 WeX5绑定机制我们实现了一个简单的记账本应用,当时所有数据都用 JSON ...

  2. 快如闪电,触控优先。新一代的纯前端控件集 WijmoJS发布新版本了

    全球最大的控件提供商葡萄城宣布,新一代纯前端控件 WijmoJS 发布2018 v1 版本,进一步增强产品功能,并支持在 Npm 上的安装和发布,极大的提升了产品的易用性. WijmoJS 是用 Ty ...

  3. Unity用Input.touches实现手机端多点触控

    多点触控的方法,两边的触控互不干扰: 主要采用Input.touches的相关属性进行操作: 而采用IPointerDrag接口会造成两个drag的相互干扰: 代码如下: using System.C ...

  4. javaweb之浏览功能

    今天我们来写浏览功能,浏览主要是通过sql语句将数据库里的数据查出来,并显示在页面上. 一.dao层 在上一篇文章的基础上dao层加入浏览方法. public List<Course> l ...

  5. 用Python爬取斗鱼网站的一个小案例

    思路解析: 1.我们需要明确爬取数据的目的:为了按热度查看主播的在线观看人数 2.浏览网页源代码,查看我们需要的数据的定位标签 3.在代码中发送一个http请求,获取到网页返回的html(需要注意的是 ...

  6. Ubuntu之安装Gradle

    简介 Gradle 是以 Groovy 语言为基础,面向Java应用为主,基于DSL(领域特定语言)语法的自动化构建工具. 现在Android Studio用它来编译APK程序. 前提 Ubuntu官 ...

  7. 安卓xml布局中 android:paddingBottom="@dimen/activity_vertical_margin"是什么意思?

    @dimen/activity_vertical_margin 是什么意思? @dimen/activity_vertical_margin这个的意思就是在你的values文件夹下面的dimens文件 ...

  8. Virtual Function(虚函数)in c++

    Virtual Function(虚函数)in c++ 用法: virtual void log() { std::cout << "hello world!" < ...

  9. python2.7安装pyinstaller

    python2.7直接安装pyinstaller会报错,版本4与python2不兼容,所以我们安装时需指定兼容的pyinstaller版本号.安装命令如下: pip2 install pyinstal ...

  10. 为什么HashMap使用红黑树而不使用AVL树

    为什么HashMap使用红黑树而不使用AVL树? 红黑树适用于大量插入和删除:因为它是非严格的平衡树:只要从根节点到叶子节点的最长路径不超过最短路径的2倍,就不用进行平衡调节 AVL 树是严格的平衡树 ...