【论文阅读】Retrieving Similar Similar Styles to Parse Clothing（相关工作）

发表于2015年5月PAMI

作者：

Kota Yamaguchi,

M.Hadi Kiapour,

Luis E. Ortiz,

Tamara L. Berg

相关工作：

【服装检索Clothing Retrieval】越来越多的人对clothing recognition problem增加兴趣，Automatic clothing recognition methods可以推动natural and semantic image search，这反映在论文3,4,5,6,7,8中：越来越多有关clothing recognition for retrieval or recommendation applications的论文出现。

其中论文【3】提出一个street-to-shop应用：想要根据现实生活照片从网店中匹配服装图片。使用稀疏编码的transfer matrix进行mapping(street image / shopping image)，防止不同的two distribution差异对检索结果造成影响。论文【5】采用类似的cross-scenario检索方法，实例化一个服装解析器显式表现每个衣物件。论文【8】关注的是同一个问题，但是更在意mobile scenarios的效率问题。除了直接关注clothing retrieval的应用外，还有服装外观相似度的应用，如在视频集中找到同一个人【9】。除了与服装相关的应用增长，与服装相关的数据集也越来越多【1】【10】【11】。为了推动应用的发展，我们需要改进图片中衣服的识别准确度，方法之一就是clothing parsing：其目的是对一个人的每个像素给出一个语义标记，如衬衫、裤子、鞋子。本论文的目标就是提供一种clothing parsing方法，可以被有效的运用于很多服装应用中。

【属性识别Attribute Recognition】一般来说，属性和物体的显式特点相关，如：颜色、图案或者形状。对于衣服属性的研究有论文6,12,13,14,15。通常，属性分析建立在检测和定位衣服件或者衣服部位。衣服属性识别这个想法源于论文【16】，该文主要专注于上半身衣服识别。近来Berg等人【12】则提出使用text description自动发现属性并定位。Bossard等人【15】提供了一种从含噪音的Web图像中获取attribute classification的方法。Bourdev等人【13】提出的使用poselets、discriminative image patches（可以捕获图片中小的视觉图案）去检测衣服属性，如“戴着帽子”。因为属性通常不会孤立存在，Chen等人【14】使用CRF考虑属性间的co-occurrence。衣服属性识别的一个应用是retrieval scenarios。使用细粒度（fine-grained）属性检测器或者human-in-the-loop方法交互式的减少搜索结果，找到什么是用户搜索的或者建立用户搜索的具体目标模型。

【衣服或者人体确定】clothing recognition的一个重要应用就是person identification。论文有【19】【20】【21】【22】【23】【24】。

【服装解析clothing parsing】服装解析是一个相对比较新的话题，但是对于解决以上提出的应用、找到有效的服装表示（clothing representations）具有很重要的作用。衣服表示相关的论文【30】将衣服语法上建模成sketch templates。别的论文采用子空间的方法，描述衣服变形（clothing deformations）或者可变空间先验值（deformable spatial priors）【33】。这些方法主要专注于how to model shape deformations用于衣服识别，与他们不同，我们则采用clothing parsing。

继承上一篇论文《Parsing clothing in fashion photographs - 2012》阐述clothing parsing：形式化为一个使用CRF的超像素标记MAP估计，该方法主要亮点就是使用姿态估计用于clothing parsing。Dong等人之后提出将clothing parsing视为一个关于parselets的推理问题：一组最基础的图像块（image region）组成衣服原件（clothing items）【34】。Liu等人提出一个方法：在训练中消除像素级的指导而使用图像级的颜色标签【35】。

本文不同之处在于：1）在没有任何关于图片的先验信息的情况下，识别细粒度的衣服类别。2）本方法不依赖任何over-segmentation，克服了假设超像素均匀分布的限制。3）本方法利用了在关注时装的社会网络中的大量免费的、弱标记的网络图片。