AR介绍

AR介绍

AR全名扩增实境，是一种实时融合现实与虚拟的图像技术。

AR技术的三板斧：感知（寻找目标定位位置-与环境交互），渲染（实现产品交互-与客户交互），追踪（捕捉目标运动轨迹-客户环境上下文）。

目前很多照相软件都可以实时地让视频里的用户吐出狗舌头，戴上猫耳朵，画上萌萌的胡须，甚至有些软件可以让用户实现AR试妆。这些软件都具备成熟的人脸感知能力，包括人脸的位置，嘴巴的开合，甚至五官的位置与轮廓。但是这些感知是有局限性的，聚焦在相对成熟的人脸感知领域；要让机器感知人类感情或者大千万物是更为艰难的任务。

基于深度学习的云识别服务

深度学习在图像上的应用已经十分成熟，包括目标识别模型，图像分类模型等。我们结合了两者来实现图像感知功能，以下简述两者的特点：

• 目标识别模型：可以感知目标物的内容的位置，缺点是感知能力较弱

• 图像分类模型：拥有高感知能力的“分类模型”，缺点是无法确定目标位置

透过结合分类模型与识别模型优点，对于大部分的物体可以用识别模型识别位置，而难以感知的物体交给分类模型，并且“猜”一个物体出来。

训练数据多样性问题(深度学习需要大量的数据支持，但是大量且多样化的资料采集是非常难且费时)

图像合成是解决多样性问题的一种利器。透过图像合成，我们可以自动化的将任意的目标物，放置在任意的背景：

• 在绿幕搭配图像采集工具，大量采集目标物图像

• 搭配自动绿幕抠图，抠出图像目标

• 与任意背景图像合成，并将目标色彩转换至与背景相近的色彩分布

值得注意的是，图像合成不在乎合成结果是否合乎逻辑，例如大小与物理定律。合成目的在于教导机器区分前景与背景。

色彩与成像模拟(类似生成毕加索似的画)是另一种利器。利用两种自动化算法，可以从已有的图像转换成其他摄像头采集的模拟图像：

• 纯色彩变化：以图像B的色彩当作参考，将图像A的色彩分布转化与图像B一致
• 响应曲线模拟：将摄像头A的响应曲线用另一款摄像头B的响应曲线替代，模拟摄像头B的生成图像