人形机器人 —— Figure 01机器人亮相 | OpenAI多模态能力加持 | 与人类流畅对话交互 | 具身智能的GPT-4时刻

视频地址：

https://www.youtube.com/watch?v=vO1wnHA0tZg

---

Figure AI 公司主页：

https://www.figure.ai/

根据Figure 01机器人的工作示意图可以得到下面的流程示意图：

人形机器人可以分为软件和硬件两部分，硬件部分包括电子控制、机械设计制造、电池、电机设计/控制、传感器，等等；软件包括图像识别模块(物体识别)、语音识别模块、语音转文字模块/文字转语音模块、大模型的对话系统模块、大模型的多模态系统模块、导航模块（SLAM等）、3D点云（计算机视觉）、NeRF（Neural Radiance Fields）（计算机视觉）、强化学习（智能决策），等等。

需要知道，硬件是软件的载体，没有硬件的支撑软件是无法发挥作用的，很多公司搞humanoid的主要桎梏是硬件而不是软件，但是硬件往往需要耗费主要的费用和精力，并且硬件的发展是极有可能被其他公司的技术替代掉的（某公司新设计一个电源、某公司新设计一个扭矩更好的电机、某公司新设计一个灵敏度更高的机械手，等等），可以说搞人形机器人的真正的门槛其实是硬件而不是软件。

但是硬件往往费用高，积累多，设计周期长，如果一个公司的目标不是自己搞出一个可以面世的人形机器人，而是要做这方面的积累和尝试，也或者是想要入门这个领域，那么可以从软件层面上先入手，比较人形机器人的软件领域也是要求极难其极为广泛的。

可以说，人形机器人的软件层面其实只有：

1. 视觉模块/导航模块；
2. 语言模块；
3. 决策模块；

视觉模块，可以有3D点云（计算机视觉）、NeRF（Neural Radiance Fields）等等；导航模块，如:SLAM等等，但是由于导航模块可以和视觉模块耦合在一起，，并且导航模块往往可以和决策模块或规划模块耦合在一起，所以导航模块可以不单独列成一个模块。

语言模块，这里是指大模型，但是往往语言模块和视觉模块也有很强的耦合，比如都交给多模态大模型模块处理。人形机器人的直接输入输出并不是语言而是语音，因此我们还需要语音与语言转换模块。

决策模块，根据视觉模块和语言模块提供的信息，也包括从导航系统提供的模块，也包括从多模态模糊提供的信息，得到下一步动作，该动作往往不是对电机的扭矩的直接控制，而是电压等信息，这个动作还需要交给电子控制器转为扭矩控制信息，最终的扭矩信息交给电机进行具体执行。