论文笔记之：Playing for Data: Ground Truth from Computer Games

Playing for Data: Ground Truth from Computer Games

ECCV 2016

　　Project Page：http://download.visinf.tu-darmstadt.de/data/from_games/index.html

　　arXiv Paper : http://arxiv.org/pdf/1608.02192.pdf

　　

　　摘要： 本文有意思哦，从游戏中的视频帧中得到新的训练数据，为什么用这些数据呢？众所周知，最近的计算机视觉很大程度上依赖于海量数据，但是数据总是有限的，那么，如何得到这些精致标注的数据呢？半监督？还是用无监督的方法来做呢？？ 哦，对了，前两天刚玩的 GTA5 游戏画面不错哦，对了，能否用那些图像作为新的数据来源呢？毕竟，现在的游戏技术，已经使得画面“逆天”了。那么，本文就是将这些从现代电脑游戏中提取出来的像素级的分割图像映射。虽然，游戏的 source code 和 中间的游戏操作不可访问，本文表明图像 patches 之间的联系可以在游戏 和 图像硬件之间重建出来。这样就使得游戏中的图像之间可以快速传递 semantic labels，而不用访问 source code 或者 content 。实验证明利用这些产生的图像来协助语义分割可以大幅度的提升分割的性能：利用游戏截图得到的model 和 1/3 的 CamVid training set 超过了用光 CamVid training data 所得到的精度。

　　所用的游戏截图如下所示，可以看出精湛的游戏画面，已经能够和现实相匹敌了：

　　

　　文章动机：本文从深度学习需要海量有标签数据 和 有限的标注能力 之间的矛盾作为起始点，开始展开讲述本文。精细化的标注一张图像，会耗费很长的时间，此处作者举了例子，然后对比本文提出的方法，则较大程度上减少了标注时间。

　　本文探索利用了电脑游戏来构建大型的像素级标注来训练 semantic segmentation 系统。现代的开放游戏世界，如：GTA-5，看门狗，杀手47 等等高度的还原了一个真实的世界。他们的理想化，不仅在于高质量的物质材料外观 和 光线变化模拟；他们也涉及到游戏世界的内容：物体和环境的外部摆放，真实的纹理结构，车辆的运动，小物体出现增添了细节信息，玩家和环境的交互等等。

　　游戏世界的尺寸，外观 和 行为都远比沙盒游戏更好，因为其缺乏这些充分的元素。但是，由于其中间的操作和游戏的内容都几乎不可见，那么细节的 semantic annoation 是非常具有挑战性的，这个问题可以通过一种称为 “detouring”的技术来解决。我们在游戏 和 操作系统之间添加了一种 wrapper 来允许我们记录，修改，和重新产生 render commands。更关键的是，其允许进行标签的传递，随着时间和物体，共享不同的资源。

　　在同样的标注程度上，我们的方法节省了 3个数量级的时间。

　　打破数据标注的鸿沟：