划重点:
1. 西雅图软件工程师Peter Whidden花费了几年时间训练一个强化学习算法,使其能够玩经典的《精灵宝可梦》游戏,该AI已经进行了超过5万小时的游戏训练。
2. AI的奖励模型奇特,它有时会陷入游戏中的某些地方,甚至停下来欣赏美丽的游戏场景,而不急于完成任务。
3. AI还表现出对某些事件的“情感”,例如失去一只宝可梦后对宝可梦中心产生负面情感。
站长之家(ChinaZ.com)10月19日 消息:AI似乎越来越变得无所不能了,那么AI是否能够玩《精灵宝可梦》?
多年来,西雅图的软件工程师Peter Whidden一直在训练一种强化学习算法,使其能够探索《精灵宝可梦》系列中的第一款经典游戏。在此期间,该AI已经进行了超过5万小时的游戏训练。
Whidden发布了一段时长33分钟的YouTube视频,讲述了AI的开发故事,仅仅在九天内,这段视频就吸引了220万次观看。他已经将自己使用的代码上传到GitHub,以及如何操作和训练AI的说明。
AI的强化模型是一种巴甫洛夫式(Pavlovian,)的模型,它通过奖励积分来鼓励AI提升宝可梦的级别、探索新区域、赢得战斗并击败道馆领主。然而,有时这些奖励并不完全与游戏进展相吻合,但AI的失败却有一种奇特的魅力,这可能是为什么Whidden的视频会走红的原因之一。
YouTube视频:https://www.youtube.com/watch?v=DcYLT37ImBY
在AI的尝试中,有一次它只是停下来凝视Pallet Town(游戏中的第一个地点)的水,然后一动不动。它陷入了一个充满动画水、草地和来回走动的NPC的地方,这意味着对AI来说,每一帧都像是一次新奇的体验,尽管它只是坐在那里,甚至还没有获得第一只宝可梦。但这个AI并不急着“抓住它们”,它只是在享受坎托地区的美丽(或者可能它是在道德上反对迫使这些可爱的小动物互相对战)。
Whidden在视频中解释说:“根据我们自己的目标,只是停下来欣赏风景比探索世界其他地方更有价值。这是一个在现实生活中我们经常遇到的悖论:好奇心引导我们做出最重要的发现,但同时它也使我们容易受到干扰,陷入困境。”
令人意外的是,这个AI在后来的游戏中经历了类似于创伤事件。它的成功部分取决于队伍中所有宝可梦的总等级。但当AI前往宝可梦中心并大量按按钮将一只宝可梦存入存储中时,所有宝可梦的总等级会急剧下降,向AI发送强烈的负面信号。队伍中有一只叫“AAAAAAAAAA”的宝可梦和一只Pidgey总等级是25,但一旦Pidgey被存入电脑,总等级就只有12了。
Whidden解释说:“它没有像人类一样的情感,但一个极高奖励值的单一事件仍然会对它的行为产生持久的影响。在这种情况下,只有一次失去宝可梦就足以让AI对整个宝可梦中心产生负面情感,并在以后的游戏中完全避开它。”
尽管这个AI能够经历创伤,欣赏Pallet Town的美丽,但它毕竟只是一台计算机。它无法阅读和解释游戏中的对话,因此在早期的尝试中,程序会在游戏中的一个十字路口卡住。当你到达《精灵宝可梦红版》的第二个城镇时,你会得到一个物品,需要带回Pallet Town的宝可梦教授那里。但AI很难回头交付包裹,这使得进一步的游戏进程变得不可能。因此,Whidden跳过了这一部分,使每个游戏都从交付包裹后开始,并以Squirtle作为AI的初始宝可梦,因为游戏的早期部分通常更容易使用水属性宝可梦。
Whidden表示:“在视频中,AI达到的最远地点是位于第一道馆和第二道馆之间的月见山(Mt. Moon)。在早期的《精灵宝可梦》游戏中,洞穴一直以来都令人沮丧,即使是拥有真正人类大脑的人也难以导航。” 但是,Whidden最近在他的代码中进行了一些奖励的调整,并尝试了不同的学习算法,最终,AI设法走出了洞穴,到达了蓝靛城。
其他研究人员已经使用强化学习来研究在游戏中使用AI,就像DeepMind的AlphaGo一样,它是第一个击败职业围棋选手的计算机程序。但Whidden的视频之所以引起如此多的关注,是因为他擅长通过人们熟悉的事物,如《精灵宝可梦》,来解释陌生的概念。
(举报)