ShapeNet： An Information-Rich 3D Model Repository 阅读笔记

ShapeNet： An Information-Rich 3D Model Repository

注：本论文只是讲述数据库建立方法

摘要

ShapeNet是一个有丰富注释的大型形状存储库，由对象的3D CAD模型表示，这是一组数据集，对每个3D模型提供多种予以注释，包括一致性的刚性对齐，零件等等。

1. Introduction

1.计算三维形状的分割并建立它们之间的对应关系是几何形状分析中的两个基本问题。

2.计算机视觉现在比较火热的从2D图像中理解场景是视觉领域的一大挑战，这些研究的根源在于需要将语义附加到三维形状的表示中，并在大规模上这样做。

3.但是对于3D内容采用数据驱动方法所面临的一个关键瓶颈是缺乏可供社区使用的大规模、经过策划的3D模型数据集。

提出数据库的目标：

• 收集并集中三维模型数据集，帮助组织研究社区的工作。
• 支持需要3D模型数据的数据驱动方法。
• 能够评估和比较涉及几何的基本任务（例如，分割、对齐、对应）的算法。
• 用作表示真实世界对象及其语义的知识库。

2.Background and Related Work

在线3D模型数量大幅增长，但是很少3D模型集合可以提供有效的组织和注释，很少为单个模型提供有意义的文本描述，所以利用率低。

Princeton Shape Benchmark可能是迄今为止最著名和最常用的3D形状集合，但是比较小。相比之下，在计算机视觉和相关领域，已经有了一系列收集、组织和标记大型数据集的活动。

因此……

3.ShapeNet: An Information-Rich 3D Model Repository

ShapeNet是一个大型、信息丰富的3D模型存储库。它包含跨越多种语义类别的模型。与以前的三维模型存储库不同，它为每个模型提供了大量的注释集，以及存储库中的模型与存储库外的其他多媒体数据之间的链接。

在以下部分中，将讨论如何为ShapeNet收集3D模型，将添加哪些注释，如何生成这些注释，随着数据集的发展，注释将如何更新，以及将为社区提供哪些工具来搜索、浏览和利用现有数据，以及贡献新数据。

3.1 Data Collection

1.原始3D模型数据来自公共在线存储库或现有研究数据集。

2.虽然为这个项目开发的工具是通用的，但我们打算只包括日常世界中人们遇到的物体的三维模型。

3.2 Annotation Types

ShapeNet将包含一组丰富的注释，这些注释提供关于这些模型的语义信息，在它们之间建立链接，并链接到其他形式的数据（例如图像）。

• 与语言相关的注释：按基本类别命名对象对于索引、分组和链接到相关数据源非常有用。
• 几何注释：将ShapeNet与图像和视频数据集区分开来的一个关键特性是3D几何图形表示真实世界结构的保真度。1.刚性对齐：为每个模型建立一致的规范方向（例如，垂直和正面）对于各种任务非常重要；2.零件和关键点；3.对称；4.对象大小
• 功能注释：许多物品，尤其是人造物品，如家具和电器，都可以被人类使用。功能注释描述了这些使用模式。1.功能部件：部件对于理解物体结构、涉及3D形状的人类活动和人体工程学产品设计至关重要。2.启示：我们对功能和活动特定的启示注释感兴趣。此类注释的示例包括支持平面注释和用于各种对象操作的可抓取区域注释。
• 物理注释：真实对象存在于物理世界中，通常具有固定的物理属性，如尺寸和密度。1.表面材料；2.重量

3.3 Annotation Methodology

纯粹使用人工收集注释看似合理，但是通常使用混合方法。对可能的注释类型，首先通过算法预测每个模型实例的注释，然后，我们将通过crowd-sourcing pipelines和人类专家的检查来验证这些预测

3.4 Annotation Schema and Web API

4.Annotation Acquisition and Validation

构建ShapeNet的一个关键挑战是获取和验证注释的方法。我们的目标是提供高精度的所有注释。在尚未进行全面验证的情况下，我们的目标是估计每个注释的置信度，并记录其来源。这将使其他人能够正确估计我们提供的信息的可信度，并将其用于不同的应用。

4.1 类别注释

将每个3D模型分配给WordNet分类法中的一个或多个语法集。总体来说还是采用混合方式。

4.2 Hierarchical Rigid Alignment

这一步的目标是为每个类别中的模型建立一致的规范化方向。

尽管一致取向的概念似乎很自然，但有一个问题必须解决。我们用一个例子来解释。“扶手椅”、“椅子”和“座椅”是我们分类法中的三个类别，每个类别都是其后续类别的子类别。通过检查手臂、腿部和背部，可以很好地为“扶手椅”类别中的形状定义一致的方向。然而，很难定义“椅子”类别。例如，“侧椅”和“转椅”都是“椅子”的子类别，然而，转椅的腿结构与大多数侧椅截然不同。对“座椅”的定义变得更加模糊，它有“凳子”、“沙发”和“椅子”等子类别。然而，直立方向的概念仍然适用于分类学的大部分层次。

在上述讨论之后，自然会提出一种分层对齐方法，其基本思想是按照ShapeNet的分类法，以自下而上的方式对模型进行分层对齐。

4.3. Parts and Keypoints

对于零件，通过算法生成分割，然后让用户接受或修改这些分割中的零件，可以加快获取速度。

4.4. Symmetry Estimation

4.5. Physical Property Estimation

在给定的绝对尺寸下，我们现在通过填充体素化计算每个模型的总实体体积。

5.Current Statistics

在撰写本技术报告时，ShapeNet已经为大约300万个模型编制了索引。

6. Discussion and Future Work

• Additional annotation types
• Correspondences
• RGB-D data ：传感器捕捉现实世界
• Annotation coverage

7.总结

作者坚信，ShapeNet将在以下几个方面为多个研究社区提供非常有用的资源：

• Data-driven research
• Training resource
• Benchmark dataset