人形机器人｜星动纪元开源端到端强化学习训练框架“Humanoid-Gym”，实现「sim-to-real」 功能

相关：

https://www.leiphone.com/category/robot/cJo6GYgVkx8iQ9T7.html

开源的 Humanoid-Gym 框架，主要实现的技术有：

1. 通过精心设计的奖励函数；
2. 域随机化技术；

该开源项目实现 sim-to-real 的功能，实现了强化学习训练从模拟环境向真实世界迁移（即 sim-to-real transfer）的问题克服。

目前，该框架已在星动纪元旗下的两款机器人——小星（1.2米高）和小星max（1.65米高）上成功验证。

项目的相关访问地址：

Project page: https://sites.google.com/view/humanoid-gym/

Github 代码库: https://github.com/roboterax/humanoid-gym

同时该项目还给出了一个新的验证的方式，那就是先用计算效率比较高端NVIDIA ISAAC仿真环境做训练，获得一个初步的模型，然后在将这个模型放到计算效率较差但精度高的 mujoco 环境下做调整训练（相当于微调），然后再用在mujoco环境下调整后的模型放到真实环境下采集数据并进行最后的校准操作，从而实现sim2real的目的。

可以看到该项目中的这个sim2sim的操作其实少见，不过对于这个操作的有效性还需验证，不过这个idea还是蛮新奇的。

星动纪元表示，除了 用sim-to-real 验证以外，另一个常见的做法是用第二个更高精度的仿真环境来做初步做验证（sim-to-sim）。本次Humanoid-Gym开源后，用户可以通过该框架轻松运用sim-to-sim转换功能，先在更高精度的仿真环境Mujoco中进行初步验证与筛选，从而提升sim-to-real转换的效率和成功率。

除此之外，该开源项目还引入了若干评估指标，用以衡量训练策略的效果，包括但不限于速度追踪、动作丝滑程度等。