乾明 鱼羊 栗子 发自 凹非寺 仅剩 0.2% 的星际 2 玩家，还没有被 AI 碾压。 这是匿名混入天梯的 AlphaStar，交出的最新成绩单。 同时，DeepMind 也在Nature上完整披露了 AlphaStar 的当前战力和全套技术： AlphaStar，已经超越了99. 8%的人类玩家，在神族、人族和虫族三个种族上都达到了宗师（Grandmaster）级别。 在论文里，我们还发现了特别的训练姿势： 不是所有智能体都为了赢 DeepMind 在博客里说，发表在 Nature 上的 AlphaStar 有四大主要更新：
具体到 AI 的学习过程，DeepMind 强调了特别的训练目标设定： 不是每个智能体都追求赢面的最大化。
因为那样智能体在自我对战 (Self-Play) 过程中，很容易陷入某种特定的策略，只在特定的情况下有效，那面对复杂的游戏环境时，表现就会不稳定了。 于是，团队参考了人类选手的训练方法，就是和其他玩家一起做针对性训练：一只智能体可以通过自身的操作，把另一只智能体的缺陷暴露出来，这样便能帮对方练出某些想要的技能。 这样便有了目标不同的智能体：第一种是主要智能体，目标就是赢，第二种负责挖掘主要智能体的不足，帮它们变得更强，而不专注于提升自己的赢率。DeepMind 把第二种称作“剥削者 (Exploiter) ”，我们索性叫它“陪练”。 AlphaStar 学到的各种复杂策略，都是在这样的过程中修炼得来的。 比如，蓝色是主要玩家，负责赢，红色是帮它成长的陪练。小红发现了一种 cannon rush 技能，小蓝没能抵挡住：
然后，一只新的主要玩家 (小绿) 就学到了，怎样才能成功抵御小红的 cannon rush 技能：
同时，小绿也能打败之前的主要玩家小蓝了，是通过经济优势，以及单位组合与控制来达成的：
后面，又来了另一只新的陪练 (小棕) ，找到了主要玩家小绿的新弱点，用隐刀打败了它：
循环往复，AlphaStar 变得越来越强大。 至于算法细节，这次也完整展现了出来。 AlphaStar 技术，最完整披露 许多现实生活中的 AI 应用，都涉及到多个智能体在复杂环境中的相互竞争和协调合作。 而针对星际争霸这样的即时战略（RTS）游戏的研究，就是解决这个大问题过程中的一个小目标。 也就是说，星际争霸的挑战，实际上就是一种多智能体强化学习算法的挑战。 AlphaStar 学会打星际，还是靠深度神经网络，这个网络从原始游戏界面接收数据 (输入) ，然后输出一系列指令，组成游戏中的某一个动作。
AlphaStar 会通过概览地图和单位列表观察游戏。 采取行动前，智能体会输出要发出的行动类型（例如，建造），将该动作应用于谁，目标是什么，以及何时发出下一个行动。 动作会通过限制动作速率的监视层发送到游戏中。
而训练，则是通过监督学习和强化学习来完成的。 最开始，训练用的是监督学习，素材来自暴雪发布的匿名人类玩家的游戏实况。 这些资料可以让 AlphaStar 通过模仿星际天梯选手的操作，来学习游戏的宏观和微观策略。 最初的智能体，游戏内置的精英级 (Elite) AI 就能击败，相当于人类的黄金段位 (95%) 。 而这个早期的智能体，就是强化学习的种子。 在它的基础之上，一个连续联赛 (Continuous League) 被创建出来，相当于为智能体准备了一个竞技场，里面的智能体互为竞争对手，就好像人类在天梯上互相较量一样： 从现有的智能体上造出新的分支，就会有越来越多的选手不断加入比赛。新的智能体再从与对手的竞争中学习。 这种新的训练形式，是把从前基于种群 (Population-Based) 的强化学习思路又深化了一些，制造出一种可以对巨大的策略空间进行持续探索的过程。 这个方法，在保证智能体在策略强大的对手面前表现优秀的同时，也不忘怎样应对不那么强大的早期对手。 随着智能体联赛不断进行，新智能体的出生，就会出现新的反击策略 (Counter Strategies) ，来应对早期的游戏策略。 一部分新智能体执行的策略，只是早期策略稍稍改进后的版本；而另一部分智能体，可以探索出全新的策略，完全不同的建造顺序，完全不同的单位组合，完全不同的微观微操方法。 除此之外，要鼓励联赛中智能体的多样性，所以每个智能体都有不同的学习目标：比如一个智能体的目标应该设定成打击哪些对手，比如该用哪些内部动机来影响一个智能体的偏好。
而且，智能体的学习目标会适应环境不断改变。 神经网络给每一个智能体的权重，也是随着强化学习过程不断变化的。而不断变化的权重，就是学习目标演化的依据。 权重更新的规则，是一个新的 off-policy 强化学习算法，里面包含了经验重播 (Experience Replay) ，自我模仿学习 (Self-Imitation Learning) 以及策略蒸馏 (Policy Distillation) 等等机制。 历时 15 年，AI 制霸星际 《星际争霸》作为最有挑战的即时战略（RTS）游戏之一，游戏中不仅需要协调短期和长期目标，还要应对意外情况，很早就成为了 AI 研究的“试金石”。 因为其面临的是不完美信息博弈局面，挑战难度巨大，研究人员需要花费大量的时间，去克服其中的问题。 DeepMind 在 Twitter 中表示，AlphaStar 能够取得当前的成绩，研究人员已经在《星际争霸》系列游戏上工作了 15 年。
但 DeepMind 的工作真正为人所知，也就是这两年的事情。 2017 年，AlphaGo 打败李世石的第二年后，DeepMind 与暴雪合作发布了一套名为 PySC2 的开源工具，在此基础上，结合工程和算法突破，进一步加速对星际游戏的研究。 之后，也有不少学者围绕星际争霸进行了不少研究。比如南京大学的俞扬团队、腾讯 AI Lab、加州大学伯克利分校等等。 到今年 1 月，AlphaStar 迎来了 AlphaGo 时刻。 在与星际 2 职业选手的比赛中，AlphaStar 以总比分 10-1 的成绩制霸全场，人类职业选手 LiquidMaNa 只在它面前坚持了 5 分 36 秒，就 GG 了。
全能职业选手 TLO 在落败后感叹，和 AlphaStar 比赛很难，不像和人在打，有种手足无措的感觉。 半年后，AlphaStar 再度迎来进化。 DeepMind 将其 APM (手速) 、视野都跟人类玩家保持一致的情况下，实现了对神族、人族、虫族完全驾驭，还解锁了许多地图。
与此同时，并宣布了一个最新动态：AlphaStar 将登录游戏平台战网，匿名进行天梯匹配。 现在，伴随着最新论文发布，AlphaStar 的最新战力也得到公布：击败了 99.8% 的选手，拿到了大师级称号。 DeepMind 在博客中表示，这些结果提供了强有力的证据，证明了通用学习技术可以扩展人工智能系统，使之在复杂动态的、涉及多个参与者的环境中工作。 而伴随着星际 2 取得如此亮眼的成绩，DeepMind 也开始将目光投向更加复杂的任务上了。 CEO 哈萨比斯说：
那么，DeepMind 下一步要做什么？ 哈萨比斯也多次说过，星际争霸“只是”一个非常复杂的游戏，但他对 AlphaStar 背后的技术更感兴趣。 但也有人认为，这一技术非常适合应用到军事用途中。 不过，从谷歌与 DeepMind 的态度中，这一技术更多的会聚焦在科学研究上。 其中包含的超长序列的预测，比如天气预测、气候建模。 或许对于这样的方向，最近你不会陌生。 因为谷歌刚刚实现的量子优越性，应用方向最具潜力的也是气候等大问题。 现在量子计算大突破，DeepMind AI 更进一步。 未来更值得期待。你说呢？ One more thing 虽然 AlphaStar 战绩斐然，但有些人它还打不赢。 当时 AlphaStar 刚进天梯的时候，人类大魔王 Serral 就公开嘲讽，它就是来搞笑的。
但人家的确有实力，现在依旧能正面刚 AI。 不过，敢这样说话的高手，全球就只有一个。 传送门 Nature 论文： https://doi.org/10.1038/s41586-019-1724-z 论文预印版： https://storage.googleapis.com/deepmind-media/research/alphastar/AlphaStar_unformatted.pdf 博客文章： 对战录像： https://deepmind.com/research/open-source/alphastar-resources |
