用Kinect为听障人士架一座沟通的桥梁

编者按：这是微软亚洲研究院和中国科学院共同进行的一个合作项目，希望通过使用Kinect来帮助提升手语的识别率，从而为听力受损的残障人士（以下简称听障人士）架起一座与外界沟通的桥梁。

文章译自：Digital
Assistance for Sign-Language Users

对于听障人士来说，手语是他们与外界沟通最主要的语言。然而，不是每个人都懂得手语，即使是人工手语翻译也是可遇不可求。通过计算机来识别手语，然后进行翻译，听上去是一个很好的想法，但这个想法到今天为止却还未真正得以实现。正因如此，近些年来研究人员花费了大量时间攻克手语识别领域所存在挑战。他们曾研究过诸如数据手套或特殊摄像头这样的输入传感器潜在的发展空间。虽然前者在识别方面表现很好，但因为难以穿戴和过于昂贵很难投入广泛使用。而网络摄像头或立体摄像头虽然能够保证追踪手部运动的精度和速度，却很难处理好复杂背景和光照。

然后，一种叫做Kinect的设备进入人们视野。微软亚洲研究院的研究员与中国科学院计算技术研究所的同僚展开合作，对Kinect的肢体追踪功能如何应用于手语识别进行了研究。结果让人欣慰！这项技术让以手语为主要沟通手段的听障人士像使用语音识别一样，与电脑进行更为自然和流畅的互动。

“在我们看来，这个项目最显著的贡献是它向我们展示了通过3-D和2-D传感器构建手语识别的可能。”中国科学院陈熙霖教授表示。

在微软研究院学术合作部的帮助和支持下，这项成果被总结成为论文《基于Kinect的手语识别和翻译》，联合作者为中国科学院柴秀娟、李广、陈熙霖等研究员，以及微软亚洲研究院首席研究员周明。

正因为Kinect能够同时提供深度信息和色彩数据，它让准确、快速追踪手部和肢体动作变得更加容易。

近日，微软研究院第14届教育高峰会（Faculty
Summit 2013）在微软总部举行，其中的展示环节Demo
Fest 与超过400名学术研究者们分享了具有深远影响力的研究，其中就包括该手语识别项目。这是一个3-D运动轨迹校准并将手语和单词逐一对应的过程。当一个手语词汇被分析时，这些词语先通过Kinect
for Windows SDK的手部动作轨迹生成，然后规范化，继而计算匹配分数，最后识别出最相关的候选。

反过来，3-D轨迹匹配的算法又为构建一个手语识别和翻译的系统创建了基础。这一系统包括两个模式。第一是翻译模式，将手语翻译成文本或者语音，包括对单词或单句的识别。第二是交流模式，通过使用虚拟形象使正常人和听障人士的沟通变成可能。以键盘输入的文本为引导，虚拟形象可以表现出相应的手语。而听障人士通过手语进行回应，系统会将其转换为文本进行回答。

Kinect手语识别项目真实场景演示片段

这样有效吗？出乎意料地有效！

“这个项目一个独特的贡献是联合了计算机研究员和听障人士的共同努力，”周明说，“一群来自特殊学院的教师和学生加入了这个项目，使得我们的算法数据来源于真实的世界”。

这刚好与项目的目标相契合。该研究在视觉信息处理领域颇具价值，与此同时，也为那些极需此类援助的人群提供了帮助。

“自从Kinect问世以来，我们已经不止一次惊喜地看到它被研究人员进行‘再创造’”，微软研究院学术合作部，负责自然用户界面相关学术研究合作的主管Stewart
Tansley表示，“该项目是学术界与微软研究院紧密合作的一个范例，也证明了科技的潜力——跨越语言和文化的界限，潜移默化地改善我们的生活，最终让我们彼此之间联系得更为紧密。”

这项研究在视觉信息处理领域具有巨大的价值，同时它也旨在为那些主要依赖手语进行交流的人们提供实际援助。

“我们相信IT应该被用来提升所有人的日常生活质量，”微软亚洲研究院研究项目经理吴国斌说，“希望这项成果在不久的将来能够为听障人士提供一个日常互动工具，在他们和拥有正常听力的人之间架起一座桥梁。”

微软教育高峰会对Kinect手语识别项目进行访谈

____________________________________________________________________________

相关阅读：

Kinect for Windows带着创新与机遇登陆中国

Kinect掀起外科手术的革命

创新改变生活

欢迎关注

微软亚洲研究院官方微博：http://e.weibo.com/msra/profile

微软亚洲研究院人人主页：http://www.renren.com/600674137