首页 > 评论 > 关键词 > 王者荣耀最新资讯 > 正文

不服SOLO:腾讯绝悟AI击败王者荣耀顶尖职业玩家,论文入选AAAI,未来将开源

2019-12-24 11:16 · 稿源:机器之心公众号

声明:本文来自于机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载”,作者:机器之心编辑部,授权站长之家转载发布。

腾讯王者荣耀人工智能「绝悟」的论文终于发表了。在研究测试中,AI 玩露娜和顶级选手单挑时也赢了个 3:0。

王者荣耀,cos,公孙离,手游

围棋被攻克之后,多人在线战术竞技游戏(MOBA)已经成为测试检验前沿人工智能的动作决策和预测能力的重要平台。基于腾讯天美工作室开发的热门 MOBA 类手游《王者荣耀》,腾讯 AI Lab 正努力探索强化学习技术在复杂环境中的应用潜力。本文即是其中的一项成果,研究用深度强化学习来为智能体预测游戏动作的方法,该论文已被 AAAI-2020 接收。

据介绍,此技术支持了腾讯此前推出的策略协作型 AI「绝悟」1v1 版本,该版本曾在今年 8 月上海举办的国际数码互动娱乐展览会 China Joy 首次亮相,在 2100 多场和顶级业余玩家体验测试中胜率达到 99.8%。

王者荣耀 1v1 游戏 UI 界面。在主屏幕中,左上角的 A 为小地图、右上角 B 为控制面板、左下角 C.1 为移动控制、右下角的 C.2 为技能控制。实验表明,AI 智能体能在多种不同类型的英雄上能击败顶级职业玩家。

此外,腾讯 AI Lab 告诉机器之心,本文提出的框架和算法将在未来开源,而且为了促进对复杂模拟场景的进一步研究,腾讯也将在未来把《王者荣耀》的游戏环境提供给社区使用,并且还会通过虚拟云的形式向社区提供计算资源。

腾讯 AI Lab 表示,AI+游戏的研究成果,短期看,可以给游戏行业、电竞行业带来直接的推动和帮助,同时也能应用到教育、医疗、农业等更多行业中。长期来看,AI+游戏的研究,会推进 AI 的终极目标——通用人工智能问题的探索和发展。

除了本次研究提出的王者 1v1 智能体,腾讯 AI Lab 与王者荣耀还将联合推出「开悟」AI+游戏开放平台。

王者荣耀会开放游戏数据、游戏核心集群(Game Core)和工具,腾讯 AI Lab 会开放强化学习、模仿学习的计算平台和算力,邀请高校与研究机构共同推进相关 AI 研究,并通过平台定期测评,让「开悟」成为展示多智能体决策研究实力的平台。

目前「开悟」平台已启动高校内测,预计在 2020 年 5 月全面开放高校测试,并且在测试环境上,支持 1v1,5v5 等多种模式;2020 年 12 月,腾讯计划举办第一届的 AI 在王者荣耀应用的水平测试。想想是不是就很有趣?

王者荣耀 SOLO 人类

为了评估智能体的能力,研究者将模型部署到王者荣耀中,并与专业的顶级玩家对战。比赛确保了智能体每做一次决策的反应时间与人类差不多。

表 3 给出了 AI 和 5 名顶级职业选手的比赛结果,需要指出这些职业玩家玩的都是他们擅长的英雄。可以看到 AI 能在多种不同类型的英雄上击败职业选手。

 表 3:AI 与职业选手使用不同类型英雄比赛的结果

绝悟选择了每个人类玩家擅长的英雄进行了 1v1 的五局三胜对战,用到的英雄包括貂蝉、狄仁杰、露娜、韩信和花木兰。

当然,与 5 位顶级玩家的对战并不能说明智能体已经无敌了,因此在 ChinaJoy 2019 中,腾讯 AI Lab 举行了大型公开赛。如果玩家在 1v1 比赛中击败了游戏 AI,那么能获得价值 4200 元人民币的智能手机,而且现场参赛设置了门槛:挑战 AI 的玩家需要达到排位前 1%(即在天梯上达到「荣耀王者」级别)。在所有 2100 次匹配赛中,游戏 AI 只输了 4 次(其中国服第一后羿拿下了一局),更详细的对战信息可查看文后实验部分。

王者荣耀为什么很难打

在竞争环境中学习具备复杂动作决策能力的智能体这一任务上,深度强化学习(DRL)已经得到了广泛的应用。在竞争环境中,很多已有的 DRL 研究都采用了两智能体游戏作为测试平台,即一个智能体对抗另一个智能体(1v1)。Atari 和围棋等游戏目前已经有很多优秀的解决方案,但更复杂的推塔类游戏又该怎么解?

这篇研究就在探讨这种更复杂的 MOBA 1v1 游戏,其中 MOBA 1v1 游戏就是一种需要高度复杂的动作决策的 RTS 游戏。相比于棋盘游戏和 Atari 系列等 1v1 游戏,MOBA 的游戏环境要复杂得多,AI 的动作预测与决策难度也因此显著提升。

以 MOBA 手游《王者荣耀》中的 1v1 游戏为例,其状态和所涉动作的数量级分别可达 10^600 和 10^18000,而围棋中相应的数字则为 10^170 和 10^360,参见下表 1。

 表 1:围棋与 MOBA 1v1 游戏的比较

此外,MOBA 1v1 的游戏机制也很复杂。要在游戏中获胜,智能体必须在部分可观察的环境中学会规划、攻击、防御、控制技能组合以及诱导和欺骗对手。除了玩家与对手的智能体,游戏中还有其它很多游戏单位,比如小兵和炮塔。这会给目标选择带来困难,因为这需要精细的决策序列和相应的动作执行。

此外,MOBA 游戏中不同英雄的玩法也不一样,因此就需要一个稳健而统一的建模方式。还有一点也很重要:MOBA 1v1 游戏缺乏高质量人类游戏数据以便进行监督学习,因为玩家在玩 1v1 模式时通常只是为了练习英雄,而主流 MOBA 游戏的正式比赛通常都采用 5v5 模式。

需要强调,本论文关注的是 MOBA 1v1 游戏而非 MOBA 5v5 游戏,因为后者更注重所有智能体的团队合作策略而不是单个智能体的动作决策。考虑到这一点,MOBA 1v1 游戏更适合用来研究游戏中的复杂动作决策问题。

这么难, AI Lab 怎么解?

为了解决这些难题,腾讯 AI Lab 设计了一种深度强化学习框架,并探索了一些算法层面的创新,对 MOBA 1v1 游戏这样的多智能体竞争环境进行了大规模的高效探索。文中设计的神经网络架构包含了对多模态输入的编码、对动作中相关性的解耦、探索剪枝机制以及攻击注意机制,以考虑 MOBA 1v1 游戏中游戏情况的不断变化。

腾讯 AI Lab 表示,这篇论文的贡献在于,对需要高度复杂的动作决策的 MOBA 1v1 游戏 AI 智能体的构建进行了全面而系统的研究。

  • 在系统设计方面,研究者提出了一种深度强化学习框架,能提供可扩展的和异步策略的训练。

  • 在算法设计方面,研究者开发了一种用于建模 MOBA 动作决策的 actor-critic 神经网络。

网络的优化使用了一种多标签近端策略优化(PPO)目标,并提出了对动作依赖关系的解耦方法、用于目标选取的注意机制、用于高效探索的动作掩码、用于学习技能组合 LSTM 以及一个用于确保训练收敛的改进版 PPO——dual-clip PPO。

下面,我们来看看这个强大的智能体,在算法和效果上都是什么样的。

论文地址:https://arxiv.org/abs/1912.09729

  • 相关推荐
  • 大家在看
  • 腾讯申请“人脸活体检测”相关专利 用于人工智能领域

    据天眼查数据显示,近日,腾讯科技(深圳)有限公司新增数条专利信息,其中之一为:一种人脸活体检测的方法、相关装置、设备及存储介质。专利摘要显示,本申请公开了一种人脸活体检测的方法,该方法应用于人工智能领域。本申请由于同时考虑人脸图像的三维几何信息和表面材质信息,从而能够辨识出人脸图像的真实性,有效地抵御不同的人脸活体攻击方式。

  • 智能变革:英特尔HPC高性能计算与AI人工智能解决方案和实例

    在竞争日益激烈的环境中,数据中心作为传统信息化的基础,伴随着全面AI时代与5G、物联网的不断临近,企业希望获得出色的模拟和建模、人工智能(AI)和大数据分析功能,以便取得突破性的发现与创新,而高性能计算(HPC)基础设施能够为这些工作负载带来优势。 企业如果想在相同的 HPC 基础设施中运行 HPC、大数据分析和 AI 工作负载,优化的资源调度降低计算成本需要一个全面的融合HPC和AI集群的解决方案。 英特尔? 精选解决方案基于英

  • 活久见!研究称人工智能大脑也需要睡眠休息

    人工智能要达到人类智力的水平还有很长的路要走,最新研究发现,但它可能想人类一样需要睡眠。美国洛斯阿拉莫斯国家实验室的研究人员在开发与人脑学习方式相似的神经网络时发现了这一现象。研究人员发现,人工大脑在连续自动化词典训练后变得不稳定。该技术包括对目标进行分类,而不将它们与现有的示例进行比较,而这相当累人。接着,研究人员试图通过让网络处在在噪音信号来解决这个问题,,这

  • 最强 AI 企业!RealAI 荣获机器之心「2020 人工智能金炼奖」

    2020 年春节,一场突如其来的疫情打乱了所有人的节奏,但对于人工智能行业而言,疫情更是一场“危”中有“机”的考验。尽管产业环境和经济形势异常严峻,但真正优秀的人工智能公司必然是“内功深厚”,拥有硬核的技术实力、强大的抗风险能力以及灵活有效的战略调整能力。疫情冲击反而衡量出这些企业的真实力,他们将成为接下来人工智能产业落地中的中坚力量,甚至可以代表人工智能发展的未来。为了寻找这些良好应对特殊时期的最强?

  • 人工智能+大数据,新浪舆情通用更“智能”的数据助力决策

    人工智能技术的应用早已深入人们的生活,语言翻译、智能音箱、导航系统、城市安防系统之中都能有人工智能技术的参与,在推动国家治理、优化企业运营策略的过程中,也能见到人工智能技术的应用。近年来,政企机构越来越重视聆听新媒体平台上的声音,并通过大数据分析和数据简报等方式挖掘信息价值,洞察民意以辅助自身决策。随着数字基础设施建设的逐步加速,互联网信息将成倍增长,并且以更复杂多样的形态和方式出现,人工智能技术

  • 编程猫CEO李天驰谈人工智能如何赋能教育

    【TechWeb】6月29日消息,编程猫创始人兼CEO李天驰受邀参加人民网联合全国高等学校计算机教育研究会举办的“共创智慧教育新生态”在线研讨会,就后疫情时代智慧教育建设分享了自己的观点。在谈及智慧教育如何落地、人工智能如何赋能教育方面,李天驰表示编程猫在普及人工智能教育以及编程教育上,发现在线教育在全国中小学落地,遇到的最大问题是缺少好的老师,为了解决在人工智能教育以及编程教育领域师资不匹配的问题,编程猫以

  • 工程师们为人工智能瓶颈提供了聪明、及时的解决方案

    莱斯大学的研究人员展示了设计创新的以数据为中心的计算硬件的方法,以及将硬件与机器学习算法共同设计的方法,这两种算法可以将能源效率提高两个数量级。机器学习是自动驾驶汽车和许多其他高科技应用背后的人工智能形式,它的进步开创了一个新的计算时代——以数据为中心的时代,并迫使工程师们重新思考75年来几乎没有受到挑战的计算体系结构的各个方面。电气与计算机工程助理教授林英彦(音)说:“问题是,对于目前机

  • AI落地最新前沿,达观数据携多款机器人新品将亮相世界人工智能大会

    备受关注的“ 2020 世界人工智能大会云端峰会”即将拉开帷幕。此次峰会由上海市政府主办。世界人工智能大会自从 2018 年以来成功举办了两届,伴随着上海人工智能产业发展从起步到壮大,已成为行业内具有一定国际影响力的品牌活动。本届大会在上海市经济和信息化委员会及相关委办局、区政府的指导下,国内文本智能处理领军企业达观数据携手浦东青联将举办“智能时代,‘语’你同行”行业论坛。 疫情之下,各行各业对线上自动化与?

  • 中关村数智人工智能产业联盟正式成立

    中关村作为我国高科技企业具体的重要载体,汇集了一大批在人工智能领域有引领地位的企业,在推动人工智能与经济社会各领域深度融合、加快传统行业数字化转型方面显现出良好的技术带动能力。为更好的发挥先进技术企业的带动和辐射作用,培育良好的人工智能产业生态,在中关村科技园区管理委员会的指导支持下,中关村数智人工智能产业联盟正式成立。 2020 年 4 月 9 日,中关村数智人工智能产业联盟(以下简称“联盟”)在北京市首钢?

  • 艾瑞:云测试——应用人工智能帮助企业降本增效

    撰写人: 王巍令、穆春阳关键词:云测试、人工智能导语:测试作为软件开发后到上线的最后一个环节,对于产品体验和质量,起着至关重要的作用。测试的发展先后经历了纯人工测试、工具化测试和云测试的三个阶段,目前,以深度学习为代表的人工智能技术与云测试紧密结合,可大幅提升测试的效率,降低测试的成本。测试行业的发展阶段国内测试企业服务主要经历了三个阶段:人工时代、工具时代、云测试时代。第一个阶段是人工测试时代,基本?

  • 人工智能人才紧缺,玖富数科集团践行国家战略培养AI人才

    如今,人工智能已经成为改善居民生活、促进区域经济发展的有力工具,但人工智能人才紧缺也成为正在面临的问题。而玖富数科集团已与高等院校、企业签约,在人工智能教育、研发等领域深入合作,培养优秀专业人才,助力国家人工智能高质量发展!人工智能人才紧缺,玖富数科集团践行国家战略培养AI人才玖富数科集团作为一家14年的数字金融科技企业,一直以来投入大量资金、人力研究人工智能技术应用,基于玖富超级大脑推出自主研发的、

  • 百度:未来十年将继续加大在人工智能等新基建领域的投入

    DoNews 6月19日消息(记者 吴丽)6月19日,百度宣布未来十年将继续加大在人工智能、芯片、云计算、数据中心等新基建领域的投入。据悉,目前百度拥有涵盖北京、保定、苏州、南京、广州、阳泉、西安、武汉、香港等10多个地区的数据中心。未来五年,预计培养 AI 人才500万,为中国智能经济和智能社会的发展提供 AI 人才保障。未来十年,预计到2030年,百度智能云服务器台数超过500万台。目前,百度已经培养 AI 人才超过100万。与复旦?

  • 榕树贷款:深耕金融科技 探索人工智能应用新场景

    目前,全球许多国家都在积极推进垃圾分类分拣技术的发展,大力促进垃圾分类过程的机械化、自动化。 2020 年是“十三五”规划的收官之年,也是污染攻坚的关键一年。在日前结束的全国两会上,环境治理议题再次成为热点。随着疫情基本得到控制,经济建设正在回归“快车道”,如何实现绿色恢复也提上了议程。 6 月,一种集大数据分析功能、投口防夹手功能、满载警示预警、温度检测功能、便捷投递灯、定位等多种功能于一体的新型智能垃

  • 榕树贷款:人工智能大显身手 金融服务提质增效

    20 世界 50 年代末,人工智能的概念被首次提出,奠定了社会技术布局的战略架构。然而受限于算法和算力的不成熟,未能实现大规模的应用和推广。随着社会的发展,新一代的大数据、云计算、物联网等一系列突破性的成功因素,真正将人工智能发展成人类科技智慧的金字塔尖,展现出不可估量的巨大潜力。 我国一直高度重视人工智能在各行业的落地应用,先后出台了多项政策鼓励支持人工智能产业的发展。根据国际数据公司IDC的报告,未来 5

  • 外媒:韩国科技公司拟建立联盟 增强人工智能技术

    6月3日消息,据国外媒体报道,据业内人士周三透露,在韩国政府的倡议下,韩国科技公司正着手建立联盟,以增强人工智能(AI)技术。周三,韩国电信、LG电子和LG Uplus宣布,它们将打造一个名为“AI One Team”的开放式创新平台,这似乎是针对另一个具有竞争力的AI联盟(包括SK电讯、三星电子和Kakao)所采取的战略举措。这三家公司补充说,他们将合作开发一种人工智能解决方案,通过韩国电信的全球流行病预防平台,帮助

  • Adobe人工智能加持 拍照应用Photoshop Camera上架

    DoNews 6月11日消息(记者 刘文轩)Adobe去年发布一款名为“Adobe Photoshop Camera”的拍照应用,号称可以为你上传到Instagram的照片打造出与众不同的创意。现在这款应用已经在Google Play Store和苹果App Store上架了。和其他拍照应用不同的是,Photoshop Camera结合Adobe Sensei人工智能,自动分辨照片中的物体,并提供风格建议。这些滤镜可以应用到人像、食物、风景等画面的拍摄,比如给你的拍摄对象换个背景,或是把阴沉的天?

  • 人工智能上升为国家战略高度 玖富数科集团AI人才教育项目抢占高岭

    在人工智能上升为国家战略高度的大环境之下,如何培养出更高端的技术人才,将是企业、政府乃至国家层面需要考虑的问题,因为只有人才才是推动新技术发展的根本。值得一提的是,在高端技术人才培养这一方面,玖富数科集团一直以来均有独到见解,尤其是玖富数科集团本身就是一个数字科技型的企业,它对于人工智能的理解更透彻,自然,在技术人才的培养这一方面,亦能从更全方位的角度去统筹,并为更多同行带来启发。人工智能教育应从

  • 工信部公示《科技抗疫表现突出的人工智能企业》,普渡科技抗疫表现突出

    6 月 19 日,中国工业和信息化部科技司公布《在科技支撑抗击新冠肺炎疫情中表现突出的人工智能企业》名单(排名不分先后),以示对科技抗疫的人工智能企业的肯定和鼓励。普渡科技因用智能技术在防疫抗疫中发挥了积极作用,有效践行了企业社会责任,取得了良好社会效果,有效践行了企业社会责任,荣登本次名单前列。2020 年 2 月 4 日,工业和信息化部科技司向社会发布了《充分发挥人工智能赋能效用 协力抗击新冠疫情的倡议书》。普渡

  • 地处三市核心区,在稻谷人工智能产业园办公是一种什么样的体验?

    朋友,最近有没有肝“动森”?最近这款日本的休闲创造性小游戏刷爆朋友圈,游戏中的无人小岛,成为了当代年轻人对于理想工作和生活的寄托。游戏中的惬意悠闲,万物即刻拥有的特点,对比上朝九晚五,压抑麻木的工作生活,游戏生活让人羡慕,更让不少上班族心生向往。如果有一个机会,让你能楼上办公,楼下放松,仿佛身处花园森林,这样的办公地是不是也很有吸引力?森林式办公,工作亦是享受如今,刻板的办公场所成为了大众第一印象,

  • 大手笔!腾讯长三角人工智能超算中心开工 预估投资超过450亿元

    腾讯长三角人工智能超算中心及产业基地昨天在松江区举行开工仪式,从项目签约到土地摘牌仅用了 58 天,预估投资超过 450 亿元,占地 236 亩,拥有办公楼约 5 万平方米。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议

热文

  • 3 天
  • 7天