在unity3d游戏中添加中文语音控制

最近打算尝试一下OLAMI在游戏中应用的可能性，这里做一下记录。

unity官方教程中的几个项目很精简，但看起来很不错，里面有全套的资源。最后我选择了tanks-tutorial来做这个实验。

下载和修改项目

首先按照教程下好项目，把坦克移动和射击的代码加上。这时就已经可以称的上是一个“游戏”了，可以控制坦克在地图上环游，也可以开炮。虽然缺少了挨揍的敌人，但是对设想的用语音控制坦克移动和射击已经足够了。这里我把地图扩大了一些，把坦克的速度降了一些，这样不至于几下就开到了地图的边缘。

准备语义理解服务

接下来就可以开始加入语音功能了。OLAMI官网有c#的示例，示例中分别有cloud-speech-recognition和natural-language-understanding两个部分，前者字面意思似乎是语音识别，后者看起来是自然语义理解，里面又分为speech-input和text-input两部分，只是speech-input是空的。看看readme，原来已经包含在cloud-speech-recognition了。由于在这里不关心语音识别，所以就把他俩当作一样使用了，一个对应语音理解，是我们需要的部分，一个对应文字理解，可以用来测试，正好。

把SpeechApiSample.cs和NluApiSample.cs拖入unity里，稍作修改就可以直接使用。

在移动和射击脚本中添加语音控制接口

因为打算实现的方案是语音和键盘混合输入，键盘输入能打断语音控制的输入，所以这里要保存一些状态，记录是否是通过语音在控制行动或转向，以及语音转向的角度和当前已经转过的角度。代码如下：

TankMovement.cs

  // 语音控制中已经转过的角度
  private float turnAmount = 0f;
  // 语音控制中希望转到的角度
  private float turnTarget = 0f;
  // 记录是否是语音控制移动的状态
  private bool voiceMove;
  // 记录是否是语音转向的状态
  private bool voiceTurn;

  private void Update () {
		// Store the value of both input axes.
		float movement = Input.GetAxis (m_MovementAxisName);
		if (movement != 0) {
			voiceMove = false;
			m_MovementInputValue = movement;
		} else if (!voiceMove) {
			m_MovementInputValue = 0f;
		}

		float turn = Input.GetAxis (m_TurnAxisName);
		if (turn != 0) {
			voiceTurn = false;
			m_TurnInputValue = turn;
		} else if (!voiceTurn) {
			m_TurnInputValue = 0f;
		}
		EngineAudio ();
	}

  private void Turn () {
		// Determine the number of degrees to be turned based on the input, speed and time between frames.
		float turn = m_TurnInputValue * m_TurnSpeed * Time.deltaTime;

		if (turnTarget != 0) {
			turnAmount += turn;
			if (turnTarget > 0) {
				if (turnAmount > turnTarget) {
					m_TurnInputValue = 0f;
					turnTarget = 0f;
					turnAmount = 0f;
					voiceTurn = false;
				}
			} else {
				if (turnAmount < turnTarget) {
					m_TurnInputValue = 0f;
					turnTarget = 0f;
					turnAmount = 0f;
					voiceTurn = false;
				}
			}
		}

		// Make this into a rotation in the y axis.
		Quaternion turnRotation = Quaternion.Euler (0f, turn, 0f);

		// Apply this rotation to the rigidbody's rotation.
		m_Rigidbody.MoveRotation (m_Rigidbody.rotation * turnRotation);
	}

	public void VoiceMove(float movement) {
		if (movement != 0) {
			voiceMove = true;
			m_MovementInputValue = movement;
		} else {
			voiceMove = false;
			m_MovementInputValue = 0f;
		}
	}

	public void VoiceTurn(float turn) {
		if (turn == 0) {
			voiceTurn = false;
			return;
		}
		turnTarget = turn;
		voiceTurn = true;
		if (turn > 0) {
			m_TurnInputValue = 1.0f;
		} else {
			m_TurnInputValue = -1.0f;
		}

	}

转向和移动稍有些不同，移动时只要模拟按键值一直是1就可以，转向就有一个转到多少度的问题。所以Turn的代码里加了一些处理。

TankShootin中就比较简单，直接添加方法：

public void VoiceFire() {
	m_CurrentLaunchForce = m_MaxLaunchForce / 2;
	Fire ();
}

考虑到语音输入本身需要时间，这里没有加入冷却的代码，而且蓄力直接定为满格的1/2。

为了方便之后在录音和输入文本后使用，将语音控制包装到TankVoiceControl中，并将脚本附加到tank上。

TankVoiceControl.cs

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class TankVoiceControl : MonoBehaviour {

	TankMovement move;

	TankShooting shooting;

	// Use this for initialization
	void Start () {
		move = GetComponent<TankMovement> ();
		shooting = GetComponent<TankShooting> ();
	}

	// Update is called once per frame
	void Update () {

	}

	public void VoiceMove(float movement) {
		move.VoiceMove (movement);
	}

	public void VoiceTurn(float turn) {
		move.VoiceTurn (turn);
	}

	public void VoiceFire() {
		shooting.VoiceFire ();
	}

  // 处理OLAMI解析出来的语义
	public void ProcessSemantic(Semantic sem) {
		if (sem.app == "game") {
			string modifier = sem.modifier [0];
			Slot[] slots = sem.slots;
			switch (modifier) {
			case "move":
				{
					string move = "0f";
					foreach (Slot slot in slots) {
						if (slot.name == "movement") {
							move = slot.value;
						}
					}
					VoiceMove (float.Parse (move));
				}
				break;
			case "stop":
				{
					VoiceMove (0f);
				}
				break;
			case "leftturn":
				{
					string turn = "0f";
					foreach (Slot slot in slots) {
						if (slot.name == "turn") {
							turn = slot.value;
						}
					}
					VoiceTurn (0 - float.Parse (turn));
				}
				break;
			case "rightturn":
				{
					string turn = "0f";
					foreach (Slot slot in slots) {
						if (slot.name == "turn") {
							turn = slot.value;
						}
					}
					VoiceTurn (float.Parse (turn));
				}
				break;
			case "fire":
				{
					VoiceFire ();
				}
				break;
			}
			return;
		}
	}
}

ProcessSemantic方法用来处理OLAMI接口返回的语义。

在OLAMI平台添加语义

其实我的语义是在ProcessSemantic之前就写好了的，不过先规划好语义再去OLAMI添加也没什么问题。

加完之后别忘了发布，再在应用管理页面配置上刚加的NLI模块。

用文本来测试语义解析

现在可以来测试一下语义能不能起作用了。这里是场景增加一个InputField，on end edit的回调函数中调用NluApiSample的GetRecognitionResult方法的。当然这其中少不了一些封装。

on end edit的回调函数

public void OnSubmitText(string text) {
		string result = VoiceService.GetInstance().sendText (text);
		VoiceResult voiceResult = JsonUtility.FromJson<VoiceResult> (result);
		if (voiceResult.status.Equals ("ok")) {
			Nli[] nlis = voiceResult.data.nli;
			if (nlis.Length != 0) {
				foreach (Nli nli in nlis) {
					if (nli.type == "game") {
						foreach (Semantic sem in nli.semantic) {
							voiceControl.ProcessSemantic (sem);
							return;
						}
					}
				}
			}
		}
	}

VoiceService的sendText方法

public string sendText(string text) {
		return nluApi.GetRecognitionResult ("nli", text);
	}

保存脚本，测试。文本的语义理解速度非常快，虽然是通过http请求的方式拿结果，但在我的机器上测试时感觉不到延时，坦克的转向、移动都很顺畅。

增加录音功能

unity中提供了一个Microphone类来实现麦克风的功能，可以直接得到AudioClip对象。这里采用按下F1开始录音，松开结束录音的方式。录音长度暂定为5秒。由于olami接口支持的是wav格式的PCM录音，所以在github上找到一个WavUtility来做转换。

VoiceController.cs

using System.Collections;
using System.Collections.Generic;
using UnityEngine.UI;
using UnityEngine;
using System;
using System.Threading;

public class VoiceController : MonoBehaviour {
	AudioClip audioclip;

	bool recording;

	[SerializeField]
	TankVoiceControl voiceControl;

	// Use this for initialization
	void Start () {
	}

	// Update is called once per frame
	void Update () {
		if (Input.GetKeyDown (KeyCode.F1)) {
			recording = true;
		} else if (Input.GetKeyUp(KeyCode.F1)) {
			recording = false;
		}
	}

	void LateUpdate() {
		if (recording) {
			if (!Microphone.IsRecording (null)) {
        // 开始录音
				audioclip = Microphone.Start (null, false, 5, 16000);
			}
		} else {
			if (Microphone.IsRecording(null)) {
				Microphone.End (null);
				if (audioclip != null) {
          // WavUtility中有方法必须在主线程中执行，所以只能放在这里转换
					byte[] audiodata = WavUtility.FromAudioClip (audioclip);
          // 将发送录音的过程放到新线程里，减少主线程卡顿
					Thread thread = new Thread (new ParameterizedThreadStart(process));
					thread.Start ((object) audiodata);
				}
			}

		}
	}

	void process(object obj) {
		byte[] audiodata = (byte[]) obj;
		string result = VoiceService.GetInstance ().sendSpeech (audiodata);
		audioclip = null;
		Debug.Log (result);
		VoiceResult voiceResult = JsonUtility.FromJson<VoiceResult> (result);
		if (voiceResult.status.Equals ("ok")) {
			Nli[] nlis = voiceResult.data.nli;
			if (nlis != null && nlis.Length != 0) {
				foreach (Nli nli in nlis) {
					if (nli.type == "game") {
						foreach (Semantic sem in nli.semantic) {
							voiceControl.ProcessSemantic (sem);
						}
					}
				}
			}
		}
	}
}

// 下面的几个class用于解析json数据。
[Serializable]
public class VoiceResult {
	public VoiceData data;
	public string status;
}

[Serializable]
public class VoiceData {
	public Nli[] nli;
}

[Serializable]
public class Nli {
	public DescObj desc;
	public Semantic[] semantic;
	public string type;
}

[Serializable]
public class DescObj {
	public string result;
	public int status;
}

[Serializable]
public class Semantic {
	public string app;
	public string input;
	public Slot[] slots;
	public string[] modifier;
	public string customer;
}

[Serializable]
public class Slot {
	public string name;
	public string value;
	public string[] modifier;
}

测试

现在可以启动游戏，试试语音的控制了。在我的机器上，从录音结束到坦克开始行动大概要一两秒的时间。不过说前进，后退之后不用一直按着按键，感觉还是不错的。还可以说“左转1800度”来看坦克傻傻的转圈。

总结

总的来说，虽然是在线语义理解，但OLAMI还是可以用在游戏中实时性要求不是特别高的场景，比如自动向前跑动。OLAMI在文本语义理解上的速度表现更是出乎意料的好。如果能提高语音识别的速度，例如提供离线包，相信语音控制应用的范围会更大一些。

附录

游戏试玩下载连接：

链接: http://pan.baidu.com/s/1pLDgq9t 密码: dmxx

源码下载：

链接: http://pan.baidu.com/s/1qYWcuYC 密码: gh3n