SLAM+语音机器人DIY系列：（三）感知与大脑——4.音响麦克风与摄像头

摘要

在我的想象中机器人首先应该能自由的走来走去，然后应该能流利的与主人对话。朝着这个理想，我准备设计一个能自由行走，并且可以与人语音对话的机器人。实现的关键是让机器人能通过传感器感知周围环境，并通过机器人大脑处理并输出反馈和执行动作。本章节涉及到的传感器有激光雷达、IMU、轮式里程计、麦克风、音响、摄像头，和用于处理信息的嵌入式主板。关于传感器的ROS驱动程序开发和在机器人上的使用在后面的章节会展开，本章节重点对机器人传感器和嵌入式主板进行讲解，主要内容：

1.ydlidar-x4激光雷达

2.带自校准九轴数据融合IMU惯性传感器

3.轮式里程计与运动控制

4.音响麦克风与摄像头

5.机器人大脑嵌入式主板性能对比

6.做一个能走路和对话的机器人

---

---

4.音响麦克风与摄像头

要让机器人能跟人进行对话，需要麦克风和音响。其实麦克风就相当于机器人的耳朵，音响就相当于机器人的嘴巴。摄像头作为机器人的眼睛，摄像头可以用来帮助机器人定位或认识环境。

4.1.音响

（图29）音响

如图29，为音响的基本配件。这里需要说明一下，由于后面使用树莓派3作为机器人的大脑，不过树莓派3的自带声卡不好用，驱动容易崩溃，所以这里推荐使用免驱的USB声卡。其实，声卡就是DA转换器，就是将数字音频信号转换为模拟电压信号；音响就是将声卡输出的模拟电压进行放大并通过喇叭播放出来。

4.2.麦克风与摄像头

（图30）麦克风与摄像头

如图30，摄像头上直接集成了麦克风。这里选用的是四麦阵列指向性麦克风，可以对特定方向上的声音拾取，并过滤其他方向上的杂音。这里的摄像头是640x480像素60fps。

4.3.在机器人中使用音响麦克风与摄像头

（图31）麦克风与摄像头

我们只需要在机器人上安装对应的ROS驱动，就可以通过发布和订阅相应的主题来实现对传感器的访问了。如图31，iat语音识别节点用于驱动麦克风，并将麦克风采集的语音转换为文字；问答（QA）和自然语言处理（NLP）节点处理iat语音识别节点发布的文字，并将处理结果发布给tts语音合成节点；tts语音合成节点订阅问答（QA）和自然语言处理（NLP）节点发布的文字，并驱动声卡将文字转换为语音；摄像头ROS驱动将摄像头数据直接发布到相应的话题。这样机器人上的其他节点都可以通过订阅与发布相应的节点来访问麦克风、声卡和摄像头。关于图像、语音、文字等处理的具体应用将在后面详细展开。

后记

------SLAM+语音机器人DIY系列【目录】快速导览------

第1章：Linux基础

1.Linux简介

2.安装Linux发行版ubuntu系统

3.Linux命令行基础操作

第2章：ROS入门

1.ROS是什么

2.ROS系统整体架构

3.在ubuntu16.04中安装ROS kinetic

4.如何编写ROS的第一个程序hello_world

5.编写简单的消息发布器和订阅器

6.编写简单的service和client

7.理解tf的原理

8.理解roslaunch在大型项目中的作用

9.熟练使用rviz

10.在实际机器人上运行ROS高级功能预览

第3章：感知与大脑

1.ydlidar-x4激光雷达

2.带自校准九轴数据融合IMU惯性传感器

3.轮式里程计与运动控制

4.音响麦克风与摄像头

5.机器人大脑嵌入式主板性能对比

6.做一个能走路和对话的机器人

第4章：差分底盘设计

1.stm32主控硬件设计

2.stm32主控软件设计

3.底盘通信协议

4.底盘ROS驱动开发

5.底盘PID控制参数整定

6.底盘里程计标

第5章：树莓派3开发环境搭建

1.安装系统ubuntu_mate_16.04

2.安装ros-kinetic

3.装机后一些实用软件安装和系统设置

4.PC端与robot端ROS网络通信

5.Android手机端与robot端ROS网络通信

6.树莓派USB与tty串口号绑定

7.开机自启动ROS节点

第6章：SLAM建图与自主避障导航

1.在机器人上使用传感器

2.google-cartographer机器人SLAM建图

3.ros-navigation机器人自主避障导航

4.多目标点导航及任务调度

5.机器人巡航与现场监控

第7章：语音交互与自然语言处理

1.语音交互相关技术

2.机器人语音交互实现

3.自然语言处理云计算引擎

第8章：高阶拓展

1.miiboo机器人安卓手机APP开发

2.centos7下部署Django(nginx+uwsgi+django+python3)

----------------文章将持续更新，敬请关注-----------------

如果大家对博文的相关类容感兴趣，或有什么技术疑问，欢迎加入下面的《SLAM+语音机器人DIY》QQ技术交流群，一起讨论学习^_^