Dota2冠军如何被AI碾压？OpenAI

Dota2冠军如何被AI碾压？OpenAI


Team OG，Dota2世界冠军战队。
在人工智能OpenAI Five面前，OG不堪一击。五个人类组成的战队，此前全程毫无悬念地以0:2败下阵来，两局加在一起，OG只推掉了两座外塔。
不过，这还不是AI的巅峰。
现在OpenAI又训练出了一个全新的AI，名叫Rerun。面对碾压OG的OpenAI Five，Rerun的胜率达到了……呃……98%。

听到这个消息，一位推特网友发图明志。
主要依靠自学，就能在Dota2这么复杂的游戏中称雄，人工智能是怎么做到的？今天，有关于此的答案揭晓。
没错，OpenAI不单发布了Rerun，还把自己三年多来对于Dota2项目的研究，通过一篇论文，正式公布出来。
在这篇论文中，OpenAI解释了整套系统的原理、架构、计算量、参数等等诸多方面的内容。OpenAI指出通过增加batch size和总训练时间等方法，扩展了计算规模，进而表明当今的强化学习技术可以在复杂的电子竞技游戏中，达到超越人类的水平。
这些研究，可以进一步应用于各种两个对手持续的零和博弈中。
（可能是阅读之后）OG战队发推：“Wow！这篇论文看起来太棒了！”
此情此景，有网友无深情的感叹道：Wow！OG战队夸了一篇论文好看？真是活久见……
这篇论文到底说了什么？
我们总结了几个要点。
要点一：Dota2比下围棋更复杂
与棋类对弈相比，电子竞技游戏要更复杂。
攻克这一难题的关键是，把现有的强化学习系统规模，扩展到前所未有的水平，这耗费了数千块GPU和好几个月的时间。OpenAI为此构建了一个分布式的训练系统。
训练中的一个挑战是，环境和代码会不断变化。为了在每次更改后无需从头开始，OpenAI开发了一套工具，可以在不损失性能的情况下恢复训练，这套工具称为：surgery。
每局Dota2比赛时长大约45分钟，每秒钟会生成30帧的游戏画面。OpenAI Five每4帧做出一个动作。国际象棋一局下约80步，围棋下一局约150步，作为对比，Dota2打一局，AI需要“下”大概20000步。
而且由于战争迷雾的存在，Dota2中对战的双方，只能看到全盘游戏中的局部情况，其他部分的信息都是隐藏状态。
与下围棋的AlphaGo相比，打Dota2的AI系统，batch size要大50-150倍，模型大20倍，训练时间长25倍。
要点二：AI如何学会打Dota2
人类玩Dota2通过键盘鼠标等，实时作出决定。刚才提到，OpenAI Five每4帧做出一个动作，这被称为一个timestep。每个timestep期间，OpenAI会接收血量、位置等数据。
同样的信息，人类和OpenAI Five接收的方式完全不同。