点云上的深度学习及其在三维场景理解中的应用(PPT内容整理PointNet)
这篇博客主要是整理了PointNet提出者祁芮中台介绍PointNet、PointNet++、Frustum PointNets的PPT内容,内容包括如何将点云进行深度学习,如何设计新型的网络架构,如何将架构应用的3D场景理解。
作者主页:https://stanford.edu/~rqi/
B站视频:https://www.bilibili.com/s/video/BV1HE411g7tA
PPT下载链接:https://pan.baidu.com/s/105MRbBmCv4Tj6GYTMbS67w 提取码:z930
参考:https://www.cnblogs.com/Libo-Master/p/9759130.html
该PPT中涉及到的文献有:
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation
PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space
Frustum PointNets:Frustum PointNets for 3D Object Detection from RGB-D Data




















































PiointNet++总结:
1、pointnet局部特征学习,平移和视角变换的不变性。
2、部分填充数据丢失的鲁棒性。
3、采样率变化的鲁棒性。
4、外形相似的分类鲁棒性。




















FQA:
1、pointnet没有考虑点与点之间的关系
2、关键点是可视化出来的
3、未来的主流是结合2D和3D,3D有精确的几何信息,但是它的分辨率比较低,近期传感器还不能跟上图像的分辨率,图像有很高的分辨率,还有精细的textures(纹理)
4、激光雷达采样是近密远疏,pointnet++本身有些能够处理采样不均的问题,如果你知道点云的分布,你可以加一些位置,加一些权重,调节权重。
5、未来发展趋势?point net++结果不太稳定,怎么取的最佳结果?一定程度由modelnet的datasize限制的,建议对test shape多次旋转取平均的结果。
6、pointnet++中的code中没有用到T-Net,release code 中没有用到T-Net,因为他们发现,在modelnet中T-Net对分类性能提升不大,pointnet++已经学到了局部特征,所以它对旋转不敏感。
7、pointnet++具有对局部几何变换的不变性吗?局部加一些T-Net结构是不合理的,因为局部变换了,并不能保证不同局部的变换是统一的,如果要实现统一性,实际上需要一些capsulenet 的work。
8、点云特征提取和2D的颜色信息有关吗?在最简单的假设下可以是无关的,光是xyz的坐标就已经提高了几何的信息,理论上不用其他的信息就已经完成了很多的任务,RGB是锦上添花的特征。
9、为什么用1024维这么高的数据集?bottle net layer 这一维是很关键的,太小,会限制网络的capability能力。
10、为什么采用FPS这种采样方法?因为这种采样方法是采尽可能远的点,最终实现的结果是对空间的比较均匀的降采样,希望达到均匀采样的结果,其他方法有很多,比如随机采样,但是效果可能没有FPS方法好,最近也有这方面的许多工作,这里的研究空间比较大。
11、点云的表达会是3D未来的方向吗?会是一个主要的方向,3D本身的应用场景很多,不同的场景对不同的数据类型有不同的倾向,在3D的场景理解中点云是重要的形式,在其他中就不一定了,比如建模中、可视化中、仿真中可能会倾向于不同的数据类型。
12、如何看待GCN在点云中的应用?GCN和pointnet++有很多相通的地方,两者都是在3D中寻找局部,然后在局部定义某种操作,然后形成多级的网络架构,其实是非常相似的,甚至可以相互变换。point net++的优点是,不仅限制在2D和3D,也适合3D,有的网络结构只能处理3D。
点云上的深度学习及其在三维场景理解中的应用(PPT内容整理PointNet)的更多相关文章
- 华为云ModelArts图深度学习,学习知识还能考取微认证
作为人工智能最前沿的技术之一,图深度学习被公认是人工智能认识世界实现因果推理的关键,也是深度学习未来发展的方向.但深度学习对图数据模型的支持性差一直是众多研究者难以攻克的难点,因此图深度学习在实际生产 ...
- 从零开始在ubuntu上配置深度学习开发环境
从零开始在ubuntu上配置深度学习开发环境 昨天一不小心把原来配置好的台式机的开发环境破坏了,调了半天没有调回来,索性就重装一次ubuntu系统.这篇文章主要记录一个简单的.‘傻瓜式’教程. 一.U ...
- 利用Tengine在树莓派上跑深度学习网络
树莓派是国内比较流行的一款卡片式计算机,但是受限于其硬件配置,用树莓派玩深度学习似乎有些艰难.最近OPENAI为嵌入式设备推出了一款AI框架Tengine,其对于配置的要求相比传统框架降低了很多,我尝 ...
- github上热门深度学习项目
github上热门深度学习项目 项目名 Stars 描述 TensorFlow 29622 使用数据流图进行可扩展机器学习的计算. Caffe 11799 Caffe:深度学习的快速开放框架. [Ne ...
- 用TVM在硬件平台上部署深度学习工作负载的端到端 IR 堆栈
用TVM在硬件平台上部署深度学习工作负载的端到端 IR 堆栈 深度学习已变得无处不在,不可或缺.这场革命的一部分是由可扩展的深度学习系统推动的,如滕索弗洛.MXNet.咖啡和皮托奇.大多数现有系统针对 ...
- zz深度学习在美团配送 ETA 预估中的探索与实践
深度学习在美团配送 ETA 预估中的探索与实践 比前一版本有改进: 基泽 周越 显杰 阅读数:32952019 年 4 月 20 日 1. 背景 ETA(Estimated Time of A ...
- 深度学习在美团配送ETA预估中的探索与实践
1.背景 ETA(Estimated Time of Arrival,“预计送达时间”),即用户下单后,配送人员在多长时间内将外卖送达到用户手中.送达时间预测的结果,将会以”预计送达时间”的形式,展现 ...
- 深度学习菜鸟的信仰地︱Supervessel超能云服务器、深度学习环境全配置
并非广告~实在是太良心了,所以费时间给他们点赞一下~ SuperVessel云平台是IBM中国研究院和中国系统与技术中心基于POWER架构和OpenStack技术共同构建的, 支持开发者远程开发的免费 ...
- 深度学习利器:TensorFlow在智能终端中的应用——智能边缘计算,云端生成模型给移动端下载,然后用该模型进行预测
前言 深度学习在图像处理.语音识别.自然语言处理领域的应用取得了巨大成功,但是它通常在功能强大的服务器端进行运算.如果智能手机通过网络远程连接服务器,也可以利用深度学习技术,但这样可能会很慢,而且只有 ...
随机推荐
- 如何在Linux下部署Samba服务?
Samba简介 Samba是在Linux和UNIX系统上实现SMB协议的一个免费软件,由服务器及客户端程序构成.SMB(Server Messages Block,信息服务块)是一种在局域网上共享文件 ...
- 使用阿里云服务器部署jupyter notebook远程访问
安装annaconda 与jupyter notebook annaconda在已经自带了jupyter notebook.jupyter lab.ipython 等一系列工具,不需要再单独安装这些工 ...
- DL基础补全计划(一)---线性回归及示例(Pytorch,平方损失)
PS:要转载请注明出处,本人版权所有. PS: 这个只是基于<我自己>的理解, 如果和你的原则及想法相冲突,请谅解,勿喷. 前置说明 本文作为本人csdn blog的主站的备份.(Bl ...
- 什么是CAP?
1. 什么是CAP 是一种定理,多用于描述分布式架构,CAP这三个字母对应三种理念,且这三种理念只能两两组合,不能CAP三种理念同时共存(为什么?下面说). C:Consisteny(一致性) A:A ...
- Android Studio用上国产杰出代表夜神模拟器
背景介绍 在Windows上除了官方的AVD(Android Virtual Device)我们还可以使用更加便捷的国产安卓模拟器,比如杰出的代表就是夜神模拟器. 我们现在是假设你已经安装好了Andr ...
- Elasticsearch中的Term查询和全文查询
目录 前言 Term 查询 exists 查询 fuzzy 查询 ids 查询 prefix 查询 range 查询 regexp 查询 term 查询 terms 查询 terms_set 查询 t ...
- 24、dhcp服务搭建
1.dhcp介绍: DHCP(Dynamic Host Configuration Protocol),动态主机配置协议,DHCP 协议主要是用来自动为局域网中的客户机分配 TCP/IP 信息的网络协 ...
- KDE桌面环境下konsole,kate等软件无法切换中文输入法
解决方案(arch): 修改/etc/profile,增加以下语句: #fcitxexport XIM_PROGRAM=fcitxexport XIM=fcitxexport GTK_IM_MODUL ...
- 明明是企业管理软件,CRM系统为何被抵触?
小编在昨天的文章<CRM系统为什么没有达到预期效果?>中曾说过,CRM客户管理系统没有达到预期效果的其中一个原因是CRM系统的使用率太低,而根本的原因是员工的抵触.明明是企业管理大师,CR ...
- AcWing 1140. 最短网络
农夫约翰被选为他们镇的镇长! 他其中一个竞选承诺就是在镇上建立起互联网,并连接到所有的农场. 约翰已经给他的农场安排了一条高速的网络线路,他想把这条线路共享给其他农场. 约翰的农场的编号是1,其他农场 ...