【论文阅读】Parsing Clothing in Fashion Photographs（翻译与理解）

发表于2012年

作者：Kota Yamaguchi

　　M.Hadi Kiapour

　　Luis E.Ortiz

　　Tamara L.Berg

摘要：展示了一个从时装图片中解析衣服的有效方法，提供了一个一般数据库和标记时装的工具。提出一个初步尝试：使用衣服估计改进姿态估计，并展示了一个原型系统：姿态独立的视觉服装检索系统。

1：介绍

想一想：穿着茶礼、服戴着珍珠的路人，穿着定制的西装、皮鞋的银行家，还有穿法兰绒衬衫、紧身牛仔裤、搭配黑框眼镜的时尚潮人……论文中服装的选择都是这种紧密贴近社会的衣服。

识别衣服方法具有很好的潜在适用性，它能改进social understaing、person identification、surveillance、computer graphics、content-based image retrieval等多方面的研究。另外，电子商务越来越火爆，创建一个根据视觉相似度自动识别并检索服装的应用将会获得巨大收益（这个应用的原型大致如图1所示）。还有，衣服和人体部件具有很强的关联，比如说我们在头上戴帽子而不是在脚上。知道一个人的衣服穿着，对于像人物检测、姿态估计等问题具有很大的帮助。

一些研究者已经开始探索衣服识别问题，大多数研究都是限定在有限范围内、只识别少数几种服装类型。我们的方法将处理现实生活中的一般图片，考虑很多种的服装类型：鞋、袜子、背带、裙子、帽子等，而且我们还研究了精确解析人物穿着衣物的方法。我们从两个不同方向分析了衣服和姿态的关系：给定姿态进行服装提取；给定服装进行姿态估计。我们发现本文提出的服装解析方法对于姿态估计有可喜的结果，该方法可能会对姿态估计有改进作用。最后，我们展示了视觉服装检索应用原型的一些结果。

本文贡献：

• 建立了含近16万时装图片、附有相关标记文本的数据库，基于网页的标记工具；
• 识别和精确解析服装的模型；
• 关于服装预测可能改进姿态估计效果的初步试验；
• 独立于姿态的视觉服装检索应用原型；

服装解析很有挑战性：服装类型本身具有多样性，再加上姿态的不同、服装外观的不同、服装叠加多件、时装图片的场景多样性，使得精确提取服装很困难。因此，限定一个范围：来自chictopia.com的时装图片，可以简化问题，标记问题只需考虑两种情况：1）将含用户噪音和不完全标记作为解析标记的可能结果；2）候选标记只考虑收集到的服装类型；

2：相关工作

服装识别[Clothing recognition]：先前的服装解析(clothing parsing)相关工作只考虑特定场景下的上半身服装识别[2]，之后的研究专注于使用语法表示[6]。Freifeld和Blanck[13]将衣服表示为人体轮廓的变形，使用主成分分析的方式从训练样本中学习到衣服特征。近来的大部分研究一直都是将衣物（如t-shirt、jeans）视为人体的语义属性，但都局限于少数的衣物。和这些不同，我们考虑：基于普通图片中个人的外形着装标记，获取完整的、精确的服装区域，图片中人物的衣物包括任何可能的类型。

姿态估计[Pose Estimation]：姿态估计方面，之前的方法将其视为一个标记问题：标记超像素[18]或者三角区域[20]为最可能的人体部位。目前的方法通常使用条件随机场(conditional randown fields)[19,9,15,10]、识别模型(dicriminative models)[8]将人体建模成一个部件集合，然后建模部件间的关系。为了获得更好的结果，近来有人将patches扩展为更一般的姿态表示(poselet representations)[5,3]，或者合并的部件混合(incorporated mixtures of parts)[27]。我们的姿态估计建立在[27]方法上，将该方法扩展到合并的服装估计上。

图像提取[Image Parsing]：服装提取是处于图片理解的阶段[21,12,24]。我们和他们考虑的是同一个问题，采用了一个类似的方法——基于标记的条件随机场，但是我们主要关注估计感兴趣对象、也就是人的标记，然后建立一模型将人的着装解析成衣服件(but focus on estimating labelings for a particularly interesting type of object -people - and build models to estimate an intricate parse of a person's outfit into constituent garments)，我们也将有区别训练模型(discriminatively trained models)[8]用到了解析过程。

3：方法总览

考虑两个问题：1）给定姿态估计去解析服装；2）给出衣服估计然后进行姿态估计。服装解析是一个标记问题：图片划为超像素集，然后在CRG模型中对每个块进行服装标记。一元势(Unary potentials)考虑服装外观和衣服件的位置、成对势(pairwise potentials)把标签平滑，和衣服件同现。姿态估计是flexible part models[27]的一个扩展：将估计的服装作为一个附加的特性。

sec2：数据集和标记工具；

sec3：衣服解析和姿态估计方法；

sec4：视觉衣服检索原型应用；

sec5：总结和后期工作。