首页 > 评论 > 关键词 > 王者荣耀最新资讯 > 正文

不服SOLO:腾讯绝悟AI击败王者荣耀顶尖职业玩家,论文入选AAAI,未来将开源

2019-12-24 11:16 · 稿源:机器之心公众号

声明:本文来自于机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载”,作者:机器之心编辑部,授权站长之家转载发布。

腾讯王者荣耀人工智能「绝悟」的论文终于发表了。在研究测试中,AI 玩露娜和顶级选手单挑时也赢了个 3:0。

王者荣耀,cos,公孙离,手游

围棋被攻克之后,多人在线战术竞技游戏(MOBA)已经成为测试检验前沿人工智能的动作决策和预测能力的重要平台。基于腾讯天美工作室开发的热门 MOBA 类手游《王者荣耀》,腾讯 AI Lab 正努力探索强化学习技术在复杂环境中的应用潜力。本文即是其中的一项成果,研究用深度强化学习来为智能体预测游戏动作的方法,该论文已被 AAAI-2020 接收。

据介绍,此技术支持了腾讯此前推出的策略协作型 AI「绝悟」1v1 版本,该版本曾在今年 8 月上海举办的国际数码互动娱乐展览会 China Joy 首次亮相,在 2100 多场和顶级业余玩家体验测试中胜率达到 99.8%。

王者荣耀 1v1 游戏 UI 界面。在主屏幕中,左上角的 A 为小地图、右上角 B 为控制面板、左下角 C.1 为移动控制、右下角的 C.2 为技能控制。实验表明,AI 智能体能在多种不同类型的英雄上能击败顶级职业玩家。

此外,腾讯 AI Lab 告诉机器之心,本文提出的框架和算法将在未来开源,而且为了促进对复杂模拟场景的进一步研究,腾讯也将在未来把《王者荣耀》的游戏环境提供给社区使用,并且还会通过虚拟云的形式向社区提供计算资源。

腾讯 AI Lab 表示,AI+游戏的研究成果,短期看,可以给游戏行业、电竞行业带来直接的推动和帮助,同时也能应用到教育、医疗、农业等更多行业中。长期来看,AI+游戏的研究,会推进 AI 的终极目标——通用人工智能问题的探索和发展。

除了本次研究提出的王者 1v1 智能体,腾讯 AI Lab 与王者荣耀还将联合推出「开悟」AI+游戏开放平台。

王者荣耀会开放游戏数据、游戏核心集群(Game Core)和工具,腾讯 AI Lab 会开放强化学习、模仿学习的计算平台和算力,邀请高校与研究机构共同推进相关 AI 研究,并通过平台定期测评,让「开悟」成为展示多智能体决策研究实力的平台。

目前「开悟」平台已启动高校内测,预计在 2020 年 5 月全面开放高校测试,并且在测试环境上,支持 1v1,5v5 等多种模式;2020 年 12 月,腾讯计划举办第一届的 AI 在王者荣耀应用的水平测试。想想是不是就很有趣?

王者荣耀 SOLO 人类

为了评估智能体的能力,研究者将模型部署到王者荣耀中,并与专业的顶级玩家对战。比赛确保了智能体每做一次决策的反应时间与人类差不多。

表 3 给出了 AI 和 5 名顶级职业选手的比赛结果,需要指出这些职业玩家玩的都是他们擅长的英雄。可以看到 AI 能在多种不同类型的英雄上击败职业选手。

 表 3:AI 与职业选手使用不同类型英雄比赛的结果

绝悟选择了每个人类玩家擅长的英雄进行了 1v1 的五局三胜对战,用到的英雄包括貂蝉、狄仁杰、露娜、韩信和花木兰。

当然,与 5 位顶级玩家的对战并不能说明智能体已经无敌了,因此在 ChinaJoy 2019 中,腾讯 AI Lab 举行了大型公开赛。如果玩家在 1v1 比赛中击败了游戏 AI,那么能获得价值 4200 元人民币的智能手机,而且现场参赛设置了门槛:挑战 AI 的玩家需要达到排位前 1%(即在天梯上达到「荣耀王者」级别)。在所有 2100 次匹配赛中,游戏 AI 只输了 4 次(其中国服第一后羿拿下了一局),更详细的对战信息可查看文后实验部分。

王者荣耀为什么很难打

在竞争环境中学习具备复杂动作决策能力的智能体这一任务上,深度强化学习(DRL)已经得到了广泛的应用。在竞争环境中,很多已有的 DRL 研究都采用了两智能体游戏作为测试平台,即一个智能体对抗另一个智能体(1v1)。Atari 和围棋等游戏目前已经有很多优秀的解决方案,但更复杂的推塔类游戏又该怎么解?

这篇研究就在探讨这种更复杂的 MOBA 1v1 游戏,其中 MOBA 1v1 游戏就是一种需要高度复杂的动作决策的 RTS 游戏。相比于棋盘游戏和 Atari 系列等 1v1 游戏,MOBA 的游戏环境要复杂得多,AI 的动作预测与决策难度也因此显著提升。

以 MOBA 手游《王者荣耀》中的 1v1 游戏为例,其状态和所涉动作的数量级分别可达 10^600 和 10^18000,而围棋中相应的数字则为 10^170 和 10^360,参见下表 1。

 表 1:围棋与 MOBA 1v1 游戏的比较

此外,MOBA 1v1 的游戏机制也很复杂。要在游戏中获胜,智能体必须在部分可观察的环境中学会规划、攻击、防御、控制技能组合以及诱导和欺骗对手。除了玩家与对手的智能体,游戏中还有其它很多游戏单位,比如小兵和炮塔。这会给目标选择带来困难,因为这需要精细的决策序列和相应的动作执行。

此外,MOBA 游戏中不同英雄的玩法也不一样,因此就需要一个稳健而统一的建模方式。还有一点也很重要:MOBA 1v1 游戏缺乏高质量人类游戏数据以便进行监督学习,因为玩家在玩 1v1 模式时通常只是为了练习英雄,而主流 MOBA 游戏的正式比赛通常都采用 5v5 模式。

需要强调,本论文关注的是 MOBA 1v1 游戏而非 MOBA 5v5 游戏,因为后者更注重所有智能体的团队合作策略而不是单个智能体的动作决策。考虑到这一点,MOBA 1v1 游戏更适合用来研究游戏中的复杂动作决策问题。

这么难, AI Lab 怎么解?

为了解决这些难题,腾讯 AI Lab 设计了一种深度强化学习框架,并探索了一些算法层面的创新,对 MOBA 1v1 游戏这样的多智能体竞争环境进行了大规模的高效探索。文中设计的神经网络架构包含了对多模态输入的编码、对动作中相关性的解耦、探索剪枝机制以及攻击注意机制,以考虑 MOBA 1v1 游戏中游戏情况的不断变化。

腾讯 AI Lab 表示,这篇论文的贡献在于,对需要高度复杂的动作决策的 MOBA 1v1 游戏 AI 智能体的构建进行了全面而系统的研究。

  • 在系统设计方面,研究者提出了一种深度强化学习框架,能提供可扩展的和异步策略的训练。

  • 在算法设计方面,研究者开发了一种用于建模 MOBA 动作决策的 actor-critic 神经网络。

网络的优化使用了一种多标签近端策略优化(PPO)目标,并提出了对动作依赖关系的解耦方法、用于目标选取的注意机制、用于高效探索的动作掩码、用于学习技能组合 LSTM 以及一个用于确保训练收敛的改进版 PPO——dual-clip PPO。

下面,我们来看看这个强大的智能体,在算法和效果上都是什么样的。

论文地址:https://arxiv.org/abs/1912.09729

  • 相关推荐
  • 大家在看
  • 腾讯首次发布人工智能白皮书 阐述内部AI布局和理解

    在2020世界人工智能大会腾讯论坛上,腾讯公司副总裁、腾讯研究院院长司晓正式发布了《腾讯人工智能白皮书:泛在智能》(以下简称白皮书)。该白皮书首次揭露了腾讯内部对AI技术的理解以及智能业务布局的思考,主要分为5个纬度——宏观环境、技术研究、落地应用、创新经济、制度保障。腾讯公司副总裁、腾讯研究院院长司晓司晓谈到,“泛在智能”是腾讯对人工智能此后很长一段时间的状态描述。通俗来讲,?

  • 阿里、苏宁、腾讯巨头亮相世界人工智能大会,“AI+物流”玩出新花样

    以 “智联世界 共同家园”为主题的 2020 世界人工智能大会正如火如荼,首次“云端漫步”的线上展厅形式,一扫疫情阴霾,开启最新的AI“穿越之门”。作为中国领先的智慧零售服务商,苏宁携无人店、用户画像、智能货架等互联网运营和门店数字化方面的“AI+零售”最新研究应用成果惊艳亮相,吸睛无数。作为零售触达消费者的重要一环,苏宁智慧物流服务的数字化应用也引发关注。苏宁物流相关负责人表示,通过AI、大数据、5G等技术的深?

  • 马化腾因身体原因缺席世界人工智能大会:AI未知仍大于已知

    今日, 2020 世界人工智能大会开幕,马化腾由于身体原因没有出席,仅通过语音分享了自己对于AI的看法。马化腾表示:“人工智能本身就是一场跨国跨学科的探索,正在将人类的认知推向更快更高更强,也势必带给我们一场前所未见的科技和产业革命。

  • 世界人工智能大会在沪举办:腾讯QQ黄俊洪分享社交产品AI新玩法

    2020 年 7 月 9 日- 10 日,第三届“世界人工智能大会云端峰会”在上海举办,今年腾讯论坛给出的与会主题是“绽放视界想象力”。此次云端峰会汇聚全球人工智能领域的专家学者、业界精英、科技工作者等有识之士,腾讯论坛更是邀请国内外数十位重量级嘉宾,带来 5 场主题演讲和 1 场圆桌论坛,进行观点与经验的交流,思想与智慧的碰撞,探讨人工智能的应用与未来。 在腾讯专场论坛上,PCG平台与内容事业群社交基础技术部总经理、腾?

  • 李彦宏首提AI发展阶段论 对人工智能长期发展保持乐观

    百度创始人、董事长兼CEO李彦宏在2020年世界人工智能大会云端峰会上发表演讲,李彦宏表示,尽管当前很多人对技术、尤其是AI技术持有悲观情绪,但AI是堪比工业革命的大浪潮,它会彻底改变今天的每一个行业。在演讲中,李彦宏创新性地提出“AI发展阶段论”,将人工智能的发展归结为三个阶段。具体而言,第一个阶段是技术的智能化:人工智能60多年前被提出,近10年经历了算法的快速迭代和创新,通过云计算、

  • 2020世界人工智能大会直播入口 世界人工智能大会日程安排

    2020年世界人工智能大会将在7月9日开幕,这次世界人工智能大会将包含1 场开幕式、 2 场全体会议、 10 余场主题论坛和若干场行业论坛、特色活动,以下我们来了解下本次大会具体的安排和直播入口。

  • 网易丁磊:人工智能不是技术问题,是应用场景问题

    网易公司首席执行官丁磊谈到他对人工智能的看法,他表示,“人工智能这个名字不新鲜,我读大学的时候就有相关的称呼。”丁磊说,网易用人工智能比较多的就是教育领域,以及用人工智能帮助作曲。网易还在欧洲投资了一家利用人工智能作曲的初创公司。

  • 人工智能界最高奖项颁布:百度、IBM等获奖

    线上世界人工智能大会正式开幕,参会嘉宾有600多位,其中含有6位图灵奖得主和1位诺贝尔奖得主。作为世界人工智能大会的最高奖项,卓越人工智能引领者(Super AI Leader,简称SAIL奖)7月9日在2020世界人工智能大会云端峰会的开幕式上举行了颁奖仪式。获得2020 SAIL奖的项目是:“IBM Project Debater”“联影智能uAI新冠肺炎医学影像智能化诊断全栈解决方案”“百度文心(ERNIE)知?

  • 老虎证券基金超市:人工智能风口下 普通人如何上车?

    2020 年,新冠疫情对全球资产市场带来的冲击令不少投资者愈发关注资产配置。如何合理管理财富、调整投资品类的比重,以便在市场不确定性增大的大背景下,更有效地抵御市场波动成为当下的关键。为了满足投资者全球化资产配置的需求、丰富其投资选择的多样性,知名美港股券商老虎证券于 2020 年宣布正式进军财富管理,推出全新理财功能“基金超市(Fund Mall)”。该功能旨在为投资者提供一站式的全球基金投资服务,据悉,目前已有超10

  • 李彦宏世界人工智能大会演讲提“AI发展三阶段论”

    7月9日消息,第三届世界人工智能大会今天在上海正式开幕,百度创始人、董事长兼CEO李彦宏受邀出席并发题为“人工智能新起点:新基建加速智能经济和智能社会到来”的演讲。在演讲中,李彦宏首次提出了AI发展三阶段的理论。李彦宏认为,AI的发展分为技术智能化阶段、经济智能化阶段以及社会智能化阶段三个阶段。其中第二阶段又分为上下两个阶段,在前半段,人工智能的发展主要围绕通用能力的开发和作为一种资源的AI能力?

  • Verizon利用Google云开发人工智能联络中心

    【TechWeb】谷歌云周一宣布,Verizon正在试验其联络中心AI技术,以改善其客户体验。该交易显示,谷歌在其广泛计划中取得了进步,该计划旨在借助其云和AI工具赢得电信行业的青睐。Google的Contact Center AI软件已于去年11月全面上市,它使企业能够为基本的客户交互部署虚拟座席。通过自然语言识别,该服务有望提供更直观的客户支持。当客户通过语音,电话或聊天联系Verizon时,他们只需说出或键入请求即可-无需遵循菜单提示或选项

  • 马斯克:人工智能将在5年内超越人类

    【TechWeb】7月30日消息,据国外媒体报道,特斯拉、SpaceX和Neuralink的创始人埃隆·马斯克(Elon Musk)预测,人工智能(AI)将在5年内超越人类。马斯克表示,目前的趋势表明人工智能可能在2025年前超越人类。这不是马斯克第一次对人工智能表示担忧。早在2016年,他就曾表示,除非开发出可以将大脑连接到计算机的技术,否则AI可能会像对待家养宠物一样对待人类。他甚至将人工智能描述为对人类的“生存威胁”。2016年的时候,马斯

  • 榕树贷款:人工智能重塑金融服务 科技创新成为关键力量

    近日,上海市“科创板AI产业工作站”正式成立,工作站将围绕科创板为与人工智能(AI)产业关系密切的优质企业提供资本市场服务。这不仅是加快建设人工智能发展“上海高地”的重要措施,也是我国在金融创新方面大力支持人工智能产业发展的重要举措。 专家认为,科技与金融的深度融合,使金融业态发生了深刻变革。传统金融机构、金融科技公司积极面对机遇与挑战,金融业步入拥抱大数据、云计算、人工智能、区块链的新阶段。监管当局

  • 微软宣布将人工智能小冰业务分拆为独立公司运营

    今日,微软宣布将人工智能小冰业务分拆为独立公司运营,并委任沈向洋博士为新公司董事长,李笛为首席执行官,陈湛为日本分部总经理。微软将保持对新公司的投资权益,并授权新公司使用及继续研发完整的小冰技术。

  • 这届世界人工智能大会,马云、李彦宏等大佬都说了啥?

    今天上午, 2020 世界人工智能大会正式在上海开幕。大会将从从 7 月 9 日持续到 7 月 11 日,主题为“智联世界 共同家园”。在开幕式中,李彦宏、马云、马化腾等国内商业领袖均针对人工智能发表了自己的看法。一起来看看大佬们都说了啥?

  • 2020年世界人工智能大会

    7 月 9 日上午,2020世界人工智能大会云端峰会正式开幕​,大会开幕式在上海世博中心金厅正式举办。今年大会以“智联世界共同家园”为主题,主题论坛活动将围绕“AI技术趋势”、“AI赋能经济”、“AI温暖家园”三大议题。

  • 微软Carina“入职记”:人工智能助力各行业数字化转型

    近几年,越来越多的行业企业都会将“数字化转型”作为未来业务发展的重要战略方向,尤其是今年来,突如其来的新冠疫情,使得企业的传统业务模式遭遇了一次前所未有的“压力测试”,而一些数字化、智能化程度较高的企业,业务承压能力和恢复速度要远好于其他企业。经此一“疫”,人工智能技术的应用和需求出现了井喷式的爆发,尤其是在中国,5G商用和“数字新基建”的浪潮,更是让很多行业企业发现:数字化、智能化转型不再只是一?

  • 才云人工智能云平台全新上线,一键启动在线推理

    近几年,AI 技术在实体经济中寻找落地应用场景成了核心要义。根据去年 Gartner 发布的 CIO 调查报告,2019 年,中国有 34% 的企业已采用 AI 技术,其中金融、安防和交通领域市场份额最大,工业、医疗、教育等领域具有爆发潜力。今年上半年,一场突如其来的疫情倒逼了 AI 技术在上述行业的迅速落地,也显示了其在企业生产中的重要作用。在疫情监测分析、人员物资管控等应用场景中,以人脸检测、群体免疫动态监控为代表的 AI 解决方?

  • 点亮又一座“灯塔”,云天励飞正式入驻上海张江人工智能岛

    7 月 11 日,上海浦东新区人工智能高质量发展发布会在张江人工智能馆召开,上海云天励飞信息技术有限公司(简称“上海云天励飞”)作为人工智能重点项目,在发布会上签约落地浦东,正式入驻张江高科技园区(简称“张江园区”)人工智能岛。上海是云天励飞重要的“灯塔”城市,云天励飞已有多个标杆项目落地上海。在上海普陀区,云天励飞参与建设了上海普陀区雪亮工程,普陀区雪亮工程也是云天励飞城市级人员关系分析平台——“天图”的

  • 虎博科技即将亮相2020世界人工智能大会

    以“智联世界共同家园”为主题的 2020 世界人工智能大会(WAIC)将于 7 月 9 日- 11 日举办。虎博科技作为人工智能领域的领先企业受邀出席,虎博科技创始人兼CEO陈烨博士将亮相“智联万物 慧城新篇”未来城市主题论坛,并就NLP技术(自然语言处理)在智慧城市建设中的实践应用与价值发表主题演讲。据悉,本届WAIC集聚了全球智能领域最具影响力的科学家和企业家,以及相关政府的领导人,围绕智能领域的前沿技术、产业趋势和热点问题发表

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签

热文

  • 3 天
  • 7天