点云上的深度学习及其在三维场景理解中的应用（PPT内容整理PointNet）

  这篇博客主要是整理了PointNet提出者祁芮中台介绍PointNet、PointNet++、Frustum PointNets的PPT内容，内容包括如何将点云进行深度学习，如何设计新型的网络架构，如何将架构应用的3D场景理解。

作者主页：https://stanford.edu/~rqi/

B站视频：https://www.bilibili.com/s/video/BV1HE411g7tA

PPT下载链接:https://pan.baidu.com/s/105MRbBmCv4Tj6GYTMbS67w 提取码:z930

参考：https://www.cnblogs.com/Libo-Master/p/9759130.html

  该PPT中涉及到的文献有：

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation

PointNet++： Deep Hierarchical Feature Learning on Point Sets in a Metric Space

Frustum PointNets：Frustum PointNets for 3D Object Detection from RGB-D Data

PiointNet++总结：

1、pointnet局部特征学习，平移和视角变换的不变性。

2、部分填充数据丢失的鲁棒性。

3、采样率变化的鲁棒性。

4、外形相似的分类鲁棒性。

FQA：

1、pointnet没有考虑点与点之间的关系

2、关键点是可视化出来的

3、未来的主流是结合2D和3D，3D有精确的几何信息，但是它的分辨率比较低，近期传感器还不能跟上图像的分辨率，图像有很高的分辨率，还有精细的textures(纹理)

4、激光雷达采样是近密远疏，pointnet++本身有些能够处理采样不均的问题，如果你知道点云的分布，你可以加一些位置，加一些权重，调节权重。

5、未来发展趋势？point net++结果不太稳定，怎么取的最佳结果？一定程度由modelnet的datasize限制的，建议对test shape多次旋转取平均的结果。

6、pointnet++中的code中没有用到T-Net，release code 中没有用到T-Net,因为他们发现，在modelnet中T-Net对分类性能提升不大，pointnet++已经学到了局部特征，所以它对旋转不敏感。

7、pointnet++具有对局部几何变换的不变性吗？局部加一些T-Net结构是不合理的，因为局部变换了，并不能保证不同局部的变换是统一的，如果要实现统一性，实际上需要一些capsulenet 的work。

8、点云特征提取和2D的颜色信息有关吗？在最简单的假设下可以是无关的，光是xyz的坐标就已经提高了几何的信息，理论上不用其他的信息就已经完成了很多的任务，RGB是锦上添花的特征。

9、为什么用1024维这么高的数据集？bottle net layer 这一维是很关键的，太小，会限制网络的capability能力。

10、为什么采用FPS这种采样方法？因为这种采样方法是采尽可能远的点，最终实现的结果是对空间的比较均匀的降采样，希望达到均匀采样的结果，其他方法有很多，比如随机采样，但是效果可能没有FPS方法好，最近也有这方面的许多工作，这里的研究空间比较大。

11、点云的表达会是3D未来的方向吗？会是一个主要的方向，3D本身的应用场景很多，不同的场景对不同的数据类型有不同的倾向，在3D的场景理解中点云是重要的形式，在其他中就不一定了，比如建模中、可视化中、仿真中可能会倾向于不同的数据类型。

12、如何看待GCN在点云中的应用？GCN和pointnet++有很多相通的地方，两者都是在3D中寻找局部，然后在局部定义某种操作，然后形成多级的网络架构，其实是非常相似的，甚至可以相互变换。point net++的优点是，不仅限制在2D和3D，也适合3D，有的网络结构只能处理3D。