目前国内全地形能力最强的双足机器人 —— 逐际动力 —— 提出迭代式预训练（Iterative Pre-training）方法的强化学习算法

相关：

https://weibo.com/1255595687/O5k4Aj8l2

该公司对其产品的强化学习训练算法给出了较少的描述：

提出迭代式预训练（Iterative Pre-training）方法，把通用机器人的基础运动能力划分为不同级别，进行循序渐进的预训练，这个过程让训练的结果更可控，从而高效地产出和收集有效数据，训练出高性能的策略（Policy）。

Real2Sim2Real闭环，从Real2Sim到Sim2Real，打通数据到数据的自动闭环，不管是采集物理世界数据生成仿真模型，还是把仿真后的策略部署到硬件上，从数据的生成、迁移到部署，逐际动力的目标是实现全过程自动化，最大限度降低人工干预，缩小仿真和现实之间的差距，提高训练的效率和质量。

---

从公司的技术宣传中可以看出该公司的机器人在使用强化学习训练是是一种Real2Sim2Real的循环迭代的方法；个人理解的这个方法就是先用仿真环境训练模型，然后把训练好的的模型放到真实环境下去采集数据，然后再根据真实真实环境收集的数据训练（微调）模型，然后再将该模型放到仿真环境下继续训练（微调），如此往复循环；在该算法的循环迭代过程中是不断的提升真实环境和仿真环境的训练难度的，以此起到渐进式提升算法性能的目的；这里还有一点需要注意，那就是该算法的仿真环境也是不断的根据真实环境的采集数据进行修正的，这也说明仿真环境的精度高低对算法的最终训练结果有重要影响。