使用Kinect2.0获取点云以在GLUT中显示
这篇文章用来记录Kinect2.0如何生成点云.
以下示例源自Kinect提供的example修改完成,其名称会在小标题下方注解.
首先,要获取点云需要获取图像的深度数据和颜色数据.最后再将深度数据与颜色数据转为点云.
1.获取图像深度数据:
基于Depth Basic -D2D Example修改
HRESULT CMotionRecognition::GetDepthImage(){ if (!m_pDepthFrameReader)
{
return E_FAIL;
} IDepthFrame * pDepthFrame = nullptr; HRESULT hr = m_pDepthFrameReader->AcquireLatestFrame(&pDepthFrame); if (SUCCEEDED(hr)){
IFrameDescription * pFrameDescription = nullptr;
USHORT nDepthMinReliableDistance = ;
USHORT nDepthMaxDistance = ;
UINT16 *pBuffer = NULL;
UINT nBufferSize = ; if (SUCCEEDED(hr))
{
hr = pDepthFrame->get_FrameDescription(&pFrameDescription);
} if (SUCCEEDED(hr))
{
hr = pFrameDescription->get_Width(&nDepthWidth);
} if (SUCCEEDED(hr))
{
hr = pFrameDescription->get_Height(&nDepthHeight);
} if (SUCCEEDED(hr))
{
hr = pDepthFrame->get_DepthMinReliableDistance(&nDepthMinReliableDistance);
} if (SUCCEEDED(hr))
{
// In order to see the full range of depth (including the less reliable far field depth)
// we are setting nDepthMaxDistance to the extreme potential depth threshold
nDepthMaxDistance = USHRT_MAX;
// Note: If you wish to filter by reliable depth distance, uncomment the following line.
//// hr = pDepthFrame->get_DepthMaxReliableDistance(&nDepthMaxDistance);
} if (SUCCEEDED(hr))
{
hr = pDepthFrame->AccessUnderlyingBuffer(&nBufferSize, &pBuffer);
} if (SUCCEEDED(hr))
{
ConvertMat_depth(pBuffer, nDepthMinReliableDistance, nDepthMaxDistance);
} SafeRelease(pFrameDescription);
} SafeRelease(pDepthFrame); return hr;
}
2.获取图像颜色数据:
基于Color Basic-D2D Example修改
HRESULT CMotionRecognition::GetColorImage(){ if (!m_pColorFrameReader)
{
return E_FAIL;
} IColorFrame* pColorFrame = NULL; HRESULT hr = m_pColorFrameReader->AcquireLatestFrame(&pColorFrame); if (SUCCEEDED(hr))
{
INT64 nTime = ;
IFrameDescription* pFrameDescription = NULL;
ColorImageFormat imageFormat = ColorImageFormat_None;
UINT nBufferSize = ;
RGBQUAD *pBuffer = NULL; hr = pColorFrame->get_RelativeTime(&nTime); if (SUCCEEDED(hr))
{
hr = pColorFrame->get_FrameDescription(&pFrameDescription);
} if (SUCCEEDED(hr))
{
hr = pFrameDescription->get_Width(&nColorWidth);
} if (SUCCEEDED(hr))
{
hr = pFrameDescription->get_Height(&nColorHeight);
} if (SUCCEEDED(hr))
{
hr = pColorFrame->get_RawColorImageFormat(&imageFormat);
} if (SUCCEEDED(hr))
{
if (imageFormat == ColorImageFormat_Bgra)
{
hr = pColorFrame->AccessRawUnderlyingBuffer(&nBufferSize, reinterpret_cast<BYTE**>(&pBuffer));
}
else if (m_pColorRGBX)
{
pBuffer = m_pColorRGBX;
nBufferSize = nColorWidth * nColorHeight * sizeof(RGBQUAD);
hr = pColorFrame->CopyConvertedFrameDataToArray(nBufferSize, reinterpret_cast<BYTE*>(pBuffer), ColorImageFormat_Bgra);
}
else
{
hr = E_FAIL;
}
} if (SUCCEEDED(hr))
{
ConvertMat_color(pBuffer, nColorWidth, nColorHeight);
} SafeRelease(pFrameDescription); } SafeRelease(pColorFrame); return hr; }
3.处理图像数据函数
1/2中有一个ConvertMat_*函数,他是负责处理获取的图像颜色数据的,因为点云的转换需要深度数据和图像颜色数据,注意在这还可以创建OpenCV的Mat.
但这里只给出将获取的数据转存到pDepthBuffer(类中的一个成员)中的案例.
ConvertMat_depth()
void CMotionRecognition::ConvertMat_depth(const UINT16* _pBuffer, USHORT nMinDepth, USHORT nMaxDepth)
{
const UINT16
* pBuffer = _pBuffer,
* pBufferEnd = _pBuffer + (nDepthWidth * nDepthHeight); UINT16 * pDepthBufferTmp = pDepthBuffer; while (pBuffer < pBufferEnd)
{
*pDepthBufferTmp = *pBuffer; ++pDepthBufferTmp;
++pBuffer;
} }
ConvertMat_color()
void CMotionRecognition::ConvertMat_color(const RGBQUAD* _pBuffer, int nWidth, int nHeight)
{
const RGBQUAD
* pBuffer = _pBuffer,
* pBufferEnd = pBuffer + (nWidth * nHeight); RGBQUAD * pBufferTmp = m_pColorRGBX; while (pBuffer < pBufferEnd)
{
*pBufferTmp = *pBuffer;
++pBufferTmp;
++pBuffer;
} }
4.合成为点云:
基于CoordinateMappingBasics-D2D Example修改
osg::ref_ptr<osg::Node> CMotionRecognition::AssembleAsPointCloud(float _angle, int _axisX, int _axisY, int _axisZ)
{
if (!m_pKinectSensor)
{
return E_FAIL;
}
// osg空间坐标
osg::ref_ptr<osg::Vec3Array> point3dVec = new osg::Vec3Array();
// osg颜色值
osg::ref_ptr<osg::Vec4Array> colorVec = new osg::Vec4Array(); ICoordinateMapper * m_pCoordinateMapper = nullptr; HRESULT hr = m_pKinectSensor->get_CoordinateMapper(&m_pCoordinateMapper); for (size_t y = ; y != nDepthHeight; y++)
{
for (size_t x = ; x != nDepthWidth; x++)
{
DepthSpacePoint depthSpacePoint = { static_cast<float>(x), static_cast<float>(y) };
UINT16 currDepth = pDepthBuffer[y * nDepthWidth + x];
// Coordinate Mapping Depth to Color Space
ColorSpacePoint colorSpacePoint = { 0.0f, 0.0f };
m_pCoordinateMapper->MapDepthPointToColorSpace(depthSpacePoint, currDepth, &colorSpacePoint);
int colorX = static_cast<int>(std::floor(colorSpacePoint.X + 0.5f)),
colorY = static_cast<int>(std::floor(colorSpacePoint.Y + 0.5f));
if (( <= colorX) && (colorX < nColorWidth) && ( <= colorY) && (colorY < nColorHeight))
{
RGBQUAD color = m_pColorRGBX[colorY * nColorWidth + colorX];
colorVec->push_back(osg::Vec4f((float)color.rgbBlue / , (float)color.rgbGreen / , (float)color.rgbRed / , ));
}
// Coordinate Mapping Depth to Camera Space
CameraSpacePoint cameraSpacePoint = { 0.0f, 0.0f, 0.0f };
m_pCoordinateMapper->MapDepthPointToCameraSpace(depthSpacePoint, currDepth, &cameraSpacePoint);
if (( <= colorX) && (colorX < nColorWidth) && ( <= colorY) && (colorY < nColorHeight))
{
point3dVec->push_back(osg::Vec3(cameraSpacePoint.X, cameraSpacePoint.Y, cameraSpacePoint.Z));
}
}
} // 叶节点
osg::ref_ptr<osg::Geode> geode = new osg::Geode(); // 用来存储几何数据信息 构造图像 保存了顶点数组数据的渲染指令
osg::ref_ptr<osg::Geometry> geom = new osg::Geometry();
geom->setVertexArray(point3dVec.get()); geom->setColorArray(colorVec.get());
// 每一个颜色对应着一个顶点
geom->setColorBinding(osg::Geometry::BIND_PER_VERTEX);
// 指定数据绘制的方式
geom->addPrimitiveSet(new osg::DrawArrays(osg::PrimitiveSet::POINTS, , point3dVec->size()));
// 加载到Geode中
geode->addDrawable(geom.get());
return geode;
}
下面是使用GLUT显示的结果:
可以看到帧率只有2.1左右,在后期要是在需要做处理的话则要更小了.
若谁还有更好的办法生成点云的话,欢迎留言 : )
使用Kinect2.0获取点云以在GLUT中显示的更多相关文章
- Kinect2.0获取数据
最近事情真是多,今天抽空研究一下Kinec2.0的数据获取! 系统要求 https://developer.microsoft.com/en-us/windows/kinect/hardware-se ...
- Kinect2.0获取关节姿态(Joint Orientation)
Bones Hierarchy 骨骼层次结构从SpineBase作为根节点开始,一直延伸到肢体末端(头.指尖.脚): 层级结构如下图所示: 通过IBody::GetJointOrientations函 ...
- 38)PHP,获取数据库数据并在html中显示(晋级5)
还有一个加了单例模式的,在第52个. 首先是我的文件关系: 我的主php文件是index.php,我的配置文件php是BBB.php 我的数据库操作文件是 b.php 我的html文件是lo ...
- 37)PHP,获取数据库数据并在html中显示(晋级4)
我的php文件和html文件的位置关系: 然后我的主php文件是b.php,我的那个配置文件是BBB.php,我的html文件是login.html 然后我的b.php代码展示: <?php c ...
- 36)PHP,获取数据库数据并在html中显示(晋级3)
首先展示我的html代码和php文件的位置关系: 然后我的php文件: <?php class db { public $host ;//= "localhost";//定义 ...
- 37)PHP,获取数据库值并在html中显示(晋级2)
下面的是上一个的改进版,我知道为啥我的那个有问题了,因为我的__construct()这个函数的里面的那个变量名字搞错了,哎,这是经常犯得毛病,傻了吧唧,气死我了. 之前的那个变量的代码样子: cla ...
- Kinect2.0点云数据获取
接上一篇:Kinect2.0获取数据 http://blog.csdn.net/jiaojialulu/article/details/53087988 博主好细心,代码基本上帖过来就可以用,注释掉的 ...
- C#微信公众号开发-高级接口-之网页授权oauth2.0获取用户基本信息(二)
C#微信公众号开发之网页授权oauth2.0获取用户基本信息(一) 中讲解了如果通过微信授权2.0snsapi_base获取已经关注用户的基本信息,然而很多情况下我们经常需要获取非关注用户的信息,方法 ...
- 使用Kinect2.0控制VREP中的虚拟模型
VREP中直接设置物体姿态的函数有3个: simSetObjectOrientation:通过欧拉角设置姿态 simSetObjectQuaternion:通过四元数设置姿态 simSetObject ...
随机推荐
- 安卓ROOT后禁用/隐藏导航栏/虚拟按键
安卓ROOT后禁用/隐藏导航栏/虚拟按键 提醒:提前装好EASY TOUCH 等类似工具. 用ROOT EXPLORER 或 ROOT BROWSER system\bulid.prop 最后加一行: ...
- IOS中UIWebView停止加载
方法一: [webView loadRequest:[NSURLRequest requestWithURL:[NSURL URLWithString:@"about:blank" ...
- C#继承的用法
using System; namespace 继承 { public class cat { private string _name = null; private int _age = 0; p ...
- [转][色彩 A] – 永远不要使用纯黑
原文地址:http://www.cgjoy.com/forum.php?mod=viewthread&tid=110762&extra=page%3D1%26filter%3Dtype ...
- Segment fault及LINUX core dump详解 (zz)
C 程序在进行中发生segment fault(core dump)错误,通常与内存操作不当有关,主要有以下几种情况: (1)数组越界. (2)修改了只读内存. (3)scanf("%d&q ...
- DBA_Oracle Erp R12安装虚拟机镜像IP修正(案例)
2014-07-12 Created By BaoXinjian
- HDU 4539 郑厂长系列故事――排兵布阵(曼哈顿距离)
这虽然是中文题,然而没看懂,不懂的地方,就是在曼哈顿距离这块,网上搜索了一下,写了个程序,是测试曼哈顿距离的. 曼哈顿距离:两点(x1,y1)(x2,y2)的曼哈顿距离为|x1-x2|+|y1-y2| ...
- [ Redis ] Redis 未授权访问漏洞被利用,服务器登陆不上
一.缘由: 突然有一天某台服务器远程登陆不上,试了好几个人的账号都行,顿时慌了,感觉服务器被黑.在终于找到一个还在登陆状态的同事后,经查看/ect/passwd 和/etc/passwd-异常,文件中 ...
- Mongodb(1)如何存储以及简介
在学习一个数据库之前应该了解这个数据库是如何存储的,是不是适合你所需要的存储方式. 如果上来就说命令,理解起来似乎有点麻烦. 不管学习什么数据库都应该学习其中的基础概念,在mongodb中基本的概念是 ...
- 30天轻松学习javaweb_http头信息实例
package com.wzh.test.http; import java.io.ByteArrayOutputStream;import java.io.IOException;import ja ...