Kinect 开发 —— Kinect for windows SDK

开发 —— 基本的SDK和Windows 编程技巧（彩色图像视频流，深度图像视频流的采集，骨骼跟踪，音频处理，语音识别API）

深度数据，就是Kinect的精髓和灵魂，很多问题都转换为深度图像的模式识别问题

AForge.NET 是一套C#编写的Framework，提供计算机视觉，机器学习 www.aforgenet.com

图像处理需要消耗大量的计算资源，使用C#这类托管语言并不明智，应多使用OpenCV

应用层API详解

NUI API

Kinect Audio DMO ：提供束波成形和音源定位功能

Windows Speech SDK ： 提供音频，语音，多媒体API集以及微软的语言识别功能

---

Kinect 的核心 NUI API

最多支持4个Kinect设备连接在同一个计算机上，但应用程序只能指定其中一个Kinect启用“骨骼跟踪”功能。多个应用程序无法同时共用一个kinect传感器

1，获得 Kinect 实例

KinectSensor sensor=(from sensorToCheck inKinectSensor.KinectSensors where sensorToCheck.Status==KinectStatus.Connected select sensorToCheck).FirstOrDefault();

foreach(KinectSensor KinectSensor indexer KinectSensor.KinectSensors)
{
    if(KinectSensor.Status==KinectStatus.Connected)
    {
        KinectSensor=kienct;
        break;
    }
}

2,调用 KinectSensor.Start 方法初始化并启动Kinect 传感器

3,注册相关事件,(如视频流或深度数据到来的事件,骨骼跟踪事件,并基于这些事件调用SDK提供的API进行处理)

KinectSensor.ColorFrameReady

KinectSensor.DepthFrameReady

KinectSensor.SkeletonFrameReady

KinectSensor.AllFrameReady

4,调用KinectSensor.Stop 方法关闭Kinect传感器

Kinect NUI API 通过 “管道”的方式处理来自Kinect传感器的数据。在初始化时，应用程序指定它所需要的传感器数据。（色彩，深度，深度和用户编号，骨骼跟踪）

这些选项必须在初始化中设定，否则将无法使用数据。

---

Kinect Audio DMO

提高音频质量      波束成形

回声消除  回声抑制  自动增益控制（当用户靠近或远离麦克风时，自动增益算法使得声音振幅保持一致）   波束成形

Microsoft.Speech 类库的关键对象是 SpeechRecognitionEngine，负责从Kinect传感器获取降噪预处理过的音频数据流，然后分析和解释，从而进一步匹配出最合适的语音命令

SpeechRecognitionEngine 基于一定的语法表达来进行语音命令识别，Grammar 对象由一系列的单个单词或词组组成，由类GrammarBuilder来表达，语法可以基于选择Choices类和通配符来表达。

---

数据流概述

1，彩色图像数据

图像质量的高低将影响到Kinect传感器与计算机间的传输速率

应用程序可以设定彩色图像的编码格式，包括RGB，YUV两种编码

30帧每秒的传输速度和320*240的分辨率

2，用户分割数据

深度图像的每个像素由2字节，共16位组成

每个像素的高13位代表从Kinect红外摄像头到最近物体对象的距离，以毫米为单位

低3位字节表示被跟踪的用户索引编号，这3位字节会被转换为整数值类型，并不作为标志位

在代码编写过程中不要引用特定的“用户索引号”，即使针对同一个人，Kinect骨骼跟踪返回的“用户索引编号”也可能发生变化

通过 “用户分割数据”可以将用户深度图像从原始深度图像中分离出来，通过坐标映射，也可以进一步将用户彩色图像从原始彩色图像中分离出来 —— 达到“增强现实”的效果

3，深度图像数据

每一个像素包含了特定的距离信息

对于Kinect红外摄像头，可以通过 DepthImageStream.DepthRange枚举类型了解当前摄像头的工作模式：

TooFarDepth

TooNearDepth

UnknowDepth

深度图像的每个像素为16位，定义一个short数据来存储深度图像：

short[] depthPixelData=new showrt[depthFrame.PixelDataLength];
depthFrame.CopyPixelDataTo(depthPixelData);

对应深度图像中的每个点 p(X,Y),depthFrame.Width为深度图像宽度，通过位运算来计算某个像素所表达的目标物体与Kinect的距离

Int32 depth = depthPixelData[pixelIndex]>>DepthImageFrame.PlayerIndexBitmaskWidth;

---

如何获取数据流

1，轮询模（拉）

首先开启图像数据流，然后请求帧数据并设置等待时间为T，单位为毫秒；如果帧数据尚未就绪，则系统将等待T时间后返回。如果帧数据成功返回，则应用程序可请求下一帧数据，并在同一线程执行其他操作

OpenNextFrame（T）  T—— 等待新数据返回的最长时间

2，事件模型

应用程序注册数据流的FrameReady事件，当事件触发时，将会调用事件的属性 FrameReadyEventArgs 来获取数据帧

不能对同一数据流同时使用者两种模式

AllFrameReady 事件包括了三种数据流，如应用程序注册了AllFrameReady事件，任何试图以采用“拉”（轮询）的方式获取流中的数据都会产生 InvalidOperationException

在某些应用中，为了保持深度图像和彩色图像尽可能的同步，可以采用轮询模式 —— 通过 Timestamp属性

---

骨骼跟踪

骨骼信息检索

1，轮询模式  SkeletonStream.OpenNextFrame

2，事件模型  KinectSensor.AllFramesReady 事件，一旦新的骨骼数据准备好，该事件触发，调用 SkeletonFrameReadyEventArgs.OpenSkeletonFrame 来获取该帧

骨骼跟踪对象选择

如果需要手动选择跟踪对象，需要使用 AppChoosesSkeletons 属性 和ChooseSkeletons 方法。

---

NUI 坐标转换

MapDepthToColorImagePoint —— 深度图像坐标系——彩色图像坐标系

MapDepthToSkeletonPoint  ——  深度图像坐标系 —— 骨骼跟踪坐标系

MapSkeletonPointToColor —— 骨骼跟踪坐标系 —— 彩色图像坐标系

MapSkeletonPointToDepth ——骨骼跟踪坐标系——深度图像坐标系

即使使用同样的分辨率，深度图象帧的像素也无法一一对应到彩色图像帧中去 —— 因为两个摄像头位于Kinect的不同位置

深度图像帧的DepthImageFrame类中有3个坐标转换方法

MapFromSkeletonPoint 将骨骼关节点坐标映射为深度图像点坐标

MapToColorImagePoint 将深度图像中的某点坐标映射为同步对应的彩色图像帧的点坐标

MapToSkeletonPoint 将审图图像中的某点坐标映射为同步对应的骨骼数据帧的点坐标

Z轴表示红外摄像头光轴，与图像平面垂直。光轴与图像平面的交点，即为图像坐标系的原点

深度图像坐标系和骨骼跟踪坐标系都是Kinect摄像头坐标系，原点为红外摄像头中心，X轴Y轴与图像的X轴Y轴平行，Z轴位红外摄像头光轴，它与图像平面垂直

屏幕坐标系 —— 左上角为原点，X轴向右为正，Y轴向下为正

深度图像空间坐标 —— 以毫米为单位

骨骼空间坐标 —— 以米为单位

传感器阵列和倾斜补偿

每个骨骼帧都包括一个描述重力的值。该值是由内部的三轴加速度计和传感器图像测量来配合计算得到的。在运动情况下，加速度计测量重力的方向，并将其余水平垂直的的向量

骨骼镜像

SDK 中没有提供非镜像的骨骼跟踪

实现镜像骨骼很简单 —— 反转骨骼节点的eX坐标值就可以实现此效果