再探 游戏 《 2048 》 —— AI方法—— 缘起、缘灭（5） —— 第一个用于解决2048游戏的Reinforcement learning方法——《Temporal Difference Learning of N-Tuple Networks for the Game 2048》

《2048》游戏在线试玩地址：

https://play2048.co/

如何解决《2048》游戏源于外网的一个讨论帖子，而这个帖子则是讨论如何解决该游戏的最早开始，可谓是“缘起”:

What is the optimal algorithm for the game 2048?

关于该游戏的相关内容前面已经写过一些内容：

再探 游戏 《 2048 》 —— AI方法—— 缘起、缘灭（1） —— Firefox浏览器下自动运行游戏篇

==============================================

在What is the optimal algorithm for the game 2048?的讨论中有一位AI方向的研究者，他提出了与其他不同的解决方法那就是使用reinforcement learning的方法来解决《2048》游戏，而整个讨论组中大家都是再讨论如何通过启发式的方法来解决。虽然最后证明他所提出的使用Reinforcement learning的方法来解决该游戏的得分要远远差于优化后的启发式算法，但是他所提出的RL方法也还是具备一些启发式方法所不具备的特点的，那就是他所提出的RL方法在训练好后不进行树搜索，在测试时游戏运行速度可以是那些使用启发式方法进行树搜索方法的5000倍，而改名研究者也为此撰写了一片论文，即《Temporal Difference Learning of N-Tuple Networks for the Game 2048》。

这里不得不说的一句感慨就是，在计算机领域学者和工程师的区别往往就是会不会撰写论文，哈哈哈。

=====================

针对论文《Temporal Difference Learning of N-Tuple Networks for the Game 2048》，个人做了些失败的复现，虽然可以运行但最后的性能十分糟糕，该项目的算法性能远没有随机选择的好，无奈之下也就将这个项目废弃掉，不过也是作为学习之用同时也是为了留念于是将代码做了保存，可以通过下面地址进行访问：

https://gitee.com/devilmaycry812839668/td-tuple-net-for-2048