HMS Core AR Engine 2D图片/3D物体跟踪技术 助力打造更智能AR交互体验
AR技术已经被广泛应用于营销、教育、游戏、展览等场景。通过2D图像跟踪技术和3D物体跟踪技术,用户只需使用一台手机进行拍摄,即可实现海报、卡牌等平面物体以及文物、手办等立体物体的AR效果。尽管近年来2D图像跟踪和3D物体跟踪算法已经取得了很大的进步,但受限于环境等因素影响,效果仍然有很大提升空间,是目前AR开发者的研发难点。
HMS Core AR Engine提供了2D图像和3D物体的端云协同跟踪技术,让开发者更简单便捷地开发AR类应用,让用户拥有更丰富的AR交互体验。
2D图像跟踪技术
端云协同2D图像实时跟踪技术已率先应用于Bilibili会员购,购物者在选购时能够浏览商品的AR特效,多角度、近距离地与IP衍生商品实现互动,从而获得全新的AR购物体验。据会员购后台数据统计,具备AR特效的商品销量更好,AR活动参与率是普通游戏参与率的2倍左右,助力会员购平台收入提升。
图1. Bilibili会员购效果图
传统的纯端侧2D图像跟踪方案,如果开发者要让新的图片支持AR特效就必须更新应用版本,有较高的版本维护成本,而且随着支持AR特性图片的增加,应用的体积也会不断增大。为此,AR Engine采用端云协同的架构解决该问题,开发者仅需将图片上传到云端即可快速发布新图片的AR特效,端侧应用版本无需更新,应用体积也不会因此而增加。
图2. 端云协同2D图像跟踪技术原理图
端云协同2D图像跟踪技术主要涵盖了:
云侧图像特征提取模块
云侧向量检索引擎
端侧视觉跟踪模块
在提升云端服务的响应速度方面,端云协同2D图像跟踪技术利用硬件平台加速,开发了软硬协同的高性能向量检索引擎,实现海量特征下的毫秒级检索响应。
3D物体跟踪技术
在文物介绍、商品展示、AR教育等场景,AR Engine还提供了端云协同3D物体实时跟踪技术。该技术能够实现3D物体全息式信息展示效果
图3. 端云协同3D物体实时跟踪技术效果图
现实生活中,会存在不同纹理材质的3D物体,例如雕塑类的纯色弱纹理材质,或者金属器皿类的反光现象,3D物体也会受光线变化导致表面出现阴影,这些场景都对3D物体跟踪带来很大的挑战。为了实现在各种场景下均能快速准确的进行识别跟踪,AR Engine使用多个AI网络组合完成3D识别定位功能,分别完成对象检测、位姿粗定位、位姿优化。
图4. 端云协同3D物体跟踪技术原理图
端云协同3D物体实时跟踪技术主要涵盖了:
云侧训练样本AI合成模块
云侧AI网络自动训练模块
云侧AI网络推理模块
端侧视觉跟踪模块
在对AI网络进行算法训练时,传统的训练样本人工标注方式,往往存在工作量大、开发周期长等问题。为此,AR Engine结合海量的离线数据和对抗生成策略,设计了训练样本的AI合成算法,能够免人工标注,仅依赖合成样本就可以实现复杂场景下3D物体的精准识别。
端云协同3D物体跟踪技术在文物介绍场景,已助力华为河图为莫高窟实现全息式文旅导游体验,帮助游客随时探究洞窟的内部细节。
图5. 华为河图的莫高窟全息式文旅导游效果图
以上技术来自华为2012中央媒体技术院,通过AR Engine面向开发者开放,在广告营销、教育、文旅等场景为用户带来差异化的AR体验。
更多AR技术的信息,欢迎收看5月27日19:00-20:00 HMS Core Discovery第15期直播,让我们一起探索HMS Core AR Engine是如何帮助开发者们构筑立体世界,打造沉浸式营销的服务体验。
欢迎访问华为开发者联盟官网-HMS Core AR Engine
了解更多详情>>
访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHub、Gitee
关注我们,第一时间了解 HMS Core 最新技术资讯~
HMS Core AR Engine 2D图片/3D物体跟踪技术 助力打造更智能AR交互体验的更多相关文章
- 全场景AI推理引擎MindSpore Lite, 助力HMS Core视频编辑服务打造更智能的剪辑体验
移动互联网的发展给人们的社交和娱乐方式带来了很大的改变,以vlog.短视频等为代表的新兴文化样态正受到越来越多人的青睐.同时,随着AI智能.美颜修图等功能在图像视频编辑App中的应用,促使视频编辑效率 ...
- 介绍用C#和VS2015开发基于Unity架构的2D、3D游戏的技术
[Unity]13.3 Realtime GI示例 摘要: 分类:Unity.C#.VS2015 创建日期:2016-04-19 一.简介 使用简单示例而不是使用实际示例的好处是能让你快速理解光照贴图 ...
- 如何让照片中的人物笑起来?HMS Core视频编辑服务一键微笑功能,让人物笑容更自然
最近一键"露齿笑"席卷全网,无论是短视频用户还是社交App用户都在使用这项黑科技.当三两好友聚会拍集体照留念时,为了处理个别人的表情"瑕疵",让大家都尽量保持微 ...
- 【HMS Core 6.0全球上线】华为钥匙环服务,打造跨应用跨形态无缝登录体验
华为钥匙环服务(Keyring),是HMS Core在安全领域开放的全新服务,为全球开发者提供用户认证凭据(以下简称"凭据")本地存储和跨应用.跨形态共享能力,帮助您在安卓应用.快 ...
- HMS Core Keyring携手航班管家和高铁管家,打造美好出行体验
高铁管家是国内最早⽀持⼿机⽀付购买⽕⻋票App之⼀,日活用户超380万,为⽤户提供一站式铁路出⾏服务.高铁管家母公司--深圳市活⼒天汇科技股份有限公司是国内智能⼤出⾏的开创者,先后推出航班管家.⾼铁管 ...
- 华为开发者大会2022:HMS Core 3D建模服务再升级,万物皆可驱动
11月4日,HDC2022华为开发者大会在东莞松山湖举办.在本次大会的HMS Core创新图形能力分论坛中,HMS Core重点介绍了其在3D技术领域的创新应用方向,其中3D建模服务展示了创新的自动骨 ...
- HMS Core在MWC2022展示最新开放能力,助力开发者构建精品应用
[2022年2月28日,巴塞罗那]世界移动通信大会MWC2022在巴塞罗那开幕.HMS Core设立了3个展台(Fira Gran Via,Hall 1),向全球开发者展示HMS Core 6的全新开 ...
- HMS Core图形图像技术展现最新功能和应用场景,加速构建数智生活
[2022年7月15日,杭州]HUAWEI Developer Day(华为开发者日,简称HDD)杭州站拉开帷幕.在数字经济不断发展的今天,开发者对图形图像的开发需求更加深入和多样化,从虚拟环境重构到 ...
- Insights直播回顾,对话专家,HMS Core 6创新能力解读
HMS Core Insights第八期直播–对话专家,HMS Core 6创新能力解读,已于11月25日圆满结束,本期直播与小伙伴们一同了解了HMS Core 6在图形.媒体以及连接与通信领域推出的 ...
随机推荐
- 第一天·浏览器内核及Web标准
一·浏览器及浏览器内核 1.常见的浏览器 (1)IE浏览器 IE是微软公司旗下浏览器,是目国内用户量最多的浏览器.IE诞生于1994年,当时微软为了对抗市场份额占据将近百分之九十的网景Netscape ...
- Anaconda安装tensorflow和keras(gpu版,超详细)
本人配置:window10+GTX 1650+tensorflow-gpu 1.14+keras-gpu 2.2.5+python 3.6,亲测可行 一.Anaconda安装 直接到清华镜像网站下载( ...
- 在Android中区分点击和滑动操作
转自:http://blog.csdn.net/do168/article/details/51587933 最近在写一个图片浏览安卓应用,想要弄成全屏显示,只在单击时显示工具栏和状态栏,在触摸滑动时 ...
- Java连接数据库报错:com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failure
解决方案 连接Mysql报错 The last packet sent successfully to the server was 0 milliseconds ago. The driver ha ...
- c++对c的拓展_指针的引用
套用引用公式:Type & ref =val; 假设:type 类型为int * 由公式得 int * & ref = val; // int * *const ref=&va ...
- MongoDB 提供的工具
MongoDB 提供的工具 官网 https://www.mongodb.com/ 工具 MongoDB 提供了一些工具,: MongoDB Compass: MongoDB数据库可视化工具(类似PL ...
- 搭建springboot集成mybatis
1.new project创建新项目选择spring initializr: 2.选择依赖需要选择web.mybatis.mysql就够了,后续需要其他的直接pom引入依赖就好了: 3.自己在java ...
- 想减少代码量,快设置一个有感知的 Aware Spring Bean
摘要:正常情况下,Spring 中的 Bean 对 Spring 是无感知的,Spring 框架提供了这种扩展能力,能让一个 bean 成为有感知的. 本文分享自华为云社区<有感知的 Aware ...
- 7-19(排序) 寻找大富翁 (25 分)(归并排序)(C语言实现)
7-19(排序) 寻找大富翁 (25 分) 胡润研究院的调查显示,截至2017年底,中国个人资产超过1亿元的高净值人群达15万人.假设给出N个人的个人资产值,请快速找出资产排前M位的大富翁. 输入格式 ...
- 【分享汇总】25个主题分享,360°领略OpenHarmony最新技术版图
2021年10月,开放原子开源基金会旗下开源项目 OpenAtom OpenHarmony (以下简称"OpenHarmony") 应邀参加华为2021 HDC 开发者大会,并组织 ...