Playing for Data: Ground Truth from Computer Games

ECCV 2016

　　Project Page：http://download.visinf.tu-darmstadt.de/data/from_games/index.html

　　arXiv Paper : http://arxiv.org/pdf/1608.02192.pdf

　　

　　摘要： 本文有意思哦，从游戏中的视频帧中得到新的训练数据，为什么用这些数据呢？众所周知，最近的计算机视觉很大程度上依赖于海量数据，但是数据总是有限的，那么，如何得到这些精致标注的数据呢？半监督？还是用无监督的方法来做呢？？ 哦，对了，前两天刚玩的 GTA5 游戏画面不错哦，对了，能否用那些图像作为新的数据来源呢？毕竟，现在的游戏技术，已经使得画面“逆天”了。那么，本文就是将这些从现代电脑游戏中提取出来的像素级的分割图像映射。虽然，游戏的 source code 和 中间的游戏操作不可访问，本文表明图像 patches 之间的联系可以在游戏 和 图像硬件之间重建出来。这样就使得游戏中的图像之间可以快速传递 semantic labels，而不用访问 source code 或者 content 。实验证明利用这些产生的图像来协助语义分割可以大幅度的提升分割的性能：利用游戏截图得到的model 和 1/3 的 CamVid training set 超过了用光 CamVid training data 所得到的精度。

　　所用的游戏截图如下所示，可以看出精湛的游戏画面，已经能够和现实相匹敌了：

　　

　　文章动机：本文从深度学习需要海量有标签数据 和 有限的标注能力 之间的矛盾作为起始点，开始展开讲述本文。精细化的标注一张图像，会耗费很长的时间，此处作者举了例子，然后对比本文提出的方法，则较大程度上减少了标注时间。

　　本文探索利用了电脑游戏来构建大型的像素级标注来训练 semantic segmentation 系统。现代的开放游戏世界，如：GTA-5，看门狗，杀手47 等等高度的还原了一个真实的世界。他们的理想化，不仅在于高质量的物质材料外观 和 光线变化模拟；他们也涉及到游戏世界的内容：物体和环境的外部摆放，真实的纹理结构，车辆的运动，小物体出现增添了细节信息，玩家和环境的交互等等。

　　游戏世界的尺寸，外观 和 行为都远比沙盒游戏更好，因为其缺乏这些充分的元素。但是，由于其中间的操作和游戏的内容都几乎不可见，那么细节的 semantic annoation 是非常具有挑战性的，这个问题可以通过一种称为 “detouring”的技术来解决。我们在游戏 和 操作系统之间添加了一种 wrapper 来允许我们记录，修改，和重新产生 render commands。更关键的是，其允许进行标签的传递，随着时间和物体，共享不同的资源。

　　在同样的标注程度上，我们的方法节省了 3个数量级的时间。

　　打破数据标注的鸿沟：

　　

　　

　　

论文笔记之：Playing for Data: Ground Truth from Computer Games的更多相关文章

  1. Deep Learning 16：用自编码器对数据进行降维_读论文“Reducing the Dimensionality of Data with Neural Networks”的笔记

    前言 论文“Reducing the Dimensionality of Data with Neural Networks”是深度学习鼻祖hinton于2006年发表于<SCIENCE > ...

  2. Self-paced Clustering Ensemble自步聚类集成论文笔记

    Self-paced Clustering Ensemble自步聚类集成论文笔记 2019-06-23 22:20:40 zpainter 阅读数 174  收藏 更多 分类专栏: 论文   版权声明 ...

  3. 深度学习论文笔记：Fast R-CNN

    知识点 mAP:detection quality. Abstract 本文提出一种基于快速区域的卷积网络方法(快速R-CNN)用于对象检测. 快速R-CNN采用多项创新技术来提高训练和测试速度,同时 ...

  4. 论文笔记：Towards Diverse and Natural Image Descriptions via a Conditional GAN

    论文笔记:Towards Diverse and Natural Image Descriptions via a Conditional GAN ICCV 2017 Paper: http://op ...

  5. 论文笔记 SSD: Single Shot MultiBox Detector

    转载自:https://zhuanlan.zhihu.com/p/33544892 前言 目标检测近年来已经取得了很重要的进展,主流的算法主要分为两个类型(参考RefineDet):(1)two-st ...

  6. 论文笔记：目标检测算法（R-CNN，Fast R-CNN，Faster R-CNN，FPN，YOLOv1-v3）

    R-CNN(Region-based CNN) motivation:之前的视觉任务大多数考虑使用SIFT和HOG特征,而近年来CNN和ImageNet的出现使得图像分类问题取得重大突破,那么这方面的 ...

  7. YOLO v1论文笔记

    You Only Look Once:Unified, Real-Time Object Detection   论文链接:https://arxiv.org/abs/1506.02640 Homep ...

  8. 《Hyperspectral Image Classification With Deep Feature Fusion Network》论文笔记

    论文题目<Hyperspectral Image Classification With Deep Feature Fusion Network> 论文作者:Weiwei Song, Sh ...

  9. Online Object Tracking: A Benchmark 论文笔记（转）

    转自:http://blog.csdn.net/lanbing510/article/details/40411877 有博主翻译了这篇论文:http://blog.csdn.net/roamer_n ...

随机推荐

  1. SharePoint 2013 Nintex Workflow 工作流帮助（二）

    博客地址 http://blog.csdn.net/foxdave 工作流动作 1. Action Set(Logic and flow分组) 它是一个工作流的集合,可以理解为容器的东西.所以它本身并 ...

  2. C# Inject

    using System; using System.Collections.Concurrent; using System.Collections.Generic; using System.Di ...

  3. c++形参和实参同名时，如何单步执行观察形参的变化。

    c++形参和实参同名时,如何单步执行观察形参的变化? 方法:当程序运行到函数中时,添加变量观察即可.

  4. String创建对象的个数--西北狼

    public class StringDemo { /** * @param args */ public static void main(String[] args) { // TODO Auto ...

  5. 提示错误#165 too few argument in function call

    调用函数时,参数个数少于函数定义.检查一下函数定义和参数调用,两个要一致.

  6. html<textarea>标签

    最近在项目中页面回显<textarea>的值,可是设置了value属性怎么也回显不出来,后来才弄清楚,原来想要设置<textarea>的文本,不是使用value,而是如下方式: ...

  7. eclipse安装hibernate

  8. 用python做些有意思的事——分析QQ聊天记录

    ####################################### 已更新续集,戳这里. ######################################## 是这样的,有位学 ...

  9. VM设置BIOS延长时间

    更改文件中的 bios.bootDelay = "XXXX"

  10. IE6-8支持css3属性

    方法一.让IE6-8支持css3属性 <!--[if lt IE 9]> <script src="https://oss.maxcdn.com/libs/html5shi ...