Unity ML-agents 一、初次尝试

前言

曾在高二寒假的时候，跟表哥在外面玩，当时他问我有没有想过以后要做什么，我愣了一下，回答不上来。是的，从没想过以后要做什么，只是一直在完成学校、老师安排的任务，于是那之后半年，我一直在思考，大学要学什么。在大二下期中之后，我觉得自己还是对游戏更感兴趣，便想到以后想做游戏。于是，高考后填志愿，填的都是计算机专业。在大一的时候，自学了一段时间的 Unity，到大二在实验室接触强化学习之后，就想着用 RL 来做游戏 AI，但后来一直在做数据挖掘相关的内容，基本上以参加比赛为主。直到去年参加上海的谷歌开发者节，了解到 ML-agents 之后，就十分的想尝试。

然后由于疫情，直到现在还在家里咸鱼，前段时间一边咸鱼一边投简历，奈何自己水平太低又偏偏想投算法岗，直到现在也没有几次面试机会 orz。最近就想继续当年未完成的 Unity 的学习，顺便学习 ML-agents，回到原点，重新出发。

初试 ML-agents

环境配置

既然要尝试，肯定免不了环境配置

目前我的环境为：

1. Win10
2. Tensorflow 2.0
3. ML-agents 0.15.0
4. Unity 2019.3.1f1
   
   关于 Tensorflow 2.0 的安装，参考我之前的博客，Unity 的安装，推荐先下载 Unity Hub，通过 Unity Hub 可以管理不同版本的 Unity，下载戳这里

ML-agents 的安装有两种方式

一是直接 pip

pip install mlagents

二是从官方 github 中 clone 整个项目，然后 cd 到目录中

pip install -e ./ml-agents-envs
pip install -e ./ml-agents

到这里，环境配置就算完成了

跑个 Demo 先吧

在 Unity Hub 中导入刚刚从 github 上 clone 的项目

选择 Unity 版本之后打开

然后打开 3DBall 这个场景

点击运行的话可以直接看到效果

接着，开始尝试自己训练，打开命令行，进入到之前 clone 下来的项目目录中，并在目录中创建一个名为 summaries 的文件夹

然后输入

mlagents-learn config/trainer_config.yaml --run-id=test --train

在出现图标之后，切换到 Unity 运行项目，就可以看见开始训练了

可以看出来一开的效果是很差的，完全控制不好，这次训练大概训练 40w+ 步，到后面就很稳了

注：项目目录中尽量不要出现中文，下午在尝试的时候一直报错，后来更改目录之后发现成功了，不清楚是不是路径中有中文的原因

报错内容

 "The Unity environment took too long to respond. Make sure that :\n"
mlagents_envs.exception.UnityTimeOutException: The Unity environment took too long to respond. Make sure that :
         The environment does not need user interaction to launch
         The Agents are linked to the appropriate Brains
         The environment and the Python interface have compatible versions.

训练完成后，我们可以在 models 目录下看到刚刚训练好的模型，重命名一下，然后把模型拖到 TFModel 目录中

接着打开 prefabs 中的 3DBall，点击其中的 agent，然后将 Behavior 改成我们刚刚拖到 TFModel 目录中的模型

点击运行，发现控制的十分稳定，跟一开始差不多。至此，初试完毕。

小节

这里我们安装配置了 ML-agnets 的相关环境，并运行了个 Demo 来熟悉了遍流程，后面将开始尝试自己搭建环境，训练 AI，也不知道能不能捣鼓出来，23333。