3D点云的深度学习

使用卷积神经网络（CNN）架构的深度学习（DL）现在是解决图像分类任务的标准解决方法。但是将此用于处理3D数据时，问题变得更加复杂。首先，可以使用各种结构来表示3D数据，所述结构包括：

1  体素网格
 2   点云
 3  多视图
 4  深度图

对于多视图和深度图的情况，该问题被转换为在多个图像上使用2D CNN解决。通过简单定义3D卷积核，可以将2D CNN的扩展用于3D Voxel网格。但是，对于3D点云的情况，目前还不清楚如何应用DL工具。但是之前也已经有几种解决办法了，具体可以参看 http://www.cnblogs.com/li-yao7758258/p/8182846.html 的总结

以及最近山东大学研究者们提出的PointCNN，对于pointCNN 这篇论文是一种为基于点云的特征学习提出了一种简单且通用的框架。CNN成功的关键是要能利用数据中以网格形式密集表示的空间上的局部相关性（比如图像）。但是，点云是不规则和无序的，因此在这些点关联的特征上直接求核的卷积会导致形状信息的丢失，同时还会因顺序不同而不同。为了解决这些问题，提出了根据输入点学习一种X变换，然后将其用于同时加权与点关联的输入特征和将它们重新排列成潜在隐含的规范顺序，之后再在元素上应用求积和求和运算。我们提出的方法是典型CNN向基于点云的特征学习的泛化，因此将其称为PointCNN。实验表明，PointCNN能在多种有挑战性的基准数据集和任务上实现与之前最佳方法媲美或更好的表现。

PointCNN与其他方法的对比

其次，图像的可用数据比较多，尽管最近3D数据集的数量有所增加 。但是，对于3D情况，可以容易地生成合成数据。

下面附有在3D数据上使用DL工具的论文列表

1. Voxel Grid – Volumetric CNN:
   • Voxnet: A 3D convolutional neural network for real-time object classification
   • Volumetric and multi-view CNNs for object classification on 3d data– compared volumetric CNNs to Multi-view CNNs for object classification. They showed that the multi-view approach performs better, however, the resolution of the volumetric model was limited
   • 3D shapenetes: A deep representation for volumetric shapes
2. Multi-View CNNs:
   • Volumetric and multi-view CNNs for object classification on 3d data
   • Multi-View Convolutional Neural Networks for 3D Shape Recognition
3. Point clouds:
   • Pointnet: Deep learning on point sets for 3d classification and segmentation – In this work they applied a convolution kernel on each point separately, creating a higher dimensional representation of each point and then max-pooling over the entire point set (max pooling used as a symmetric function) to get invariance to permutations of the input cloud (since there is no geometrical significance to the point order).
4. Hand-crafted features + DNN :
   • 3D  deep shape descriptor – fed heat kernel signatures (HKS) descriptor into an NN to get an Eigen-shape descriptor and a Fischer shape descriptor.

有问题请指出，同时欢迎大家关注微信公众号

或者加入3D视觉微信群一起交流分享