首页 > 业界 > 关键词  > MediaTek最新资讯  > 正文

网易集团副总裁胡志鹏:AI 游戏新链路,端侧大模型大有可为

2024-05-07 19:36 · 稿源: 中关村在线

5月7日,MediaTek天玑开发者大会2024(MDDC2024)在深圳召开,本届MDDC 大会的主题为“AI予万物”,众多资深行业先驱、技术专家齐聚一堂,深入探讨了Al 技术在各个领域的应用和发展,以及AI 赋予终端侧的更多可能性。

在MDDC天玑高峰对话环节,主办方特别邀请了网易集团高级副总裁、网易雷火事业群负责人胡志鹏来到现场,与主持人暨蓝莲花研究机构创始人及CEO温天立,以及MediaTek董事、总经理暨运营长陈冠州等重磅嘉宾展开了以“生成式AI将如何重构移动生态”为主题的高峰对话,共同探讨行业未来发展趋势,分享知识、经验和先进技术成果。

近年来网易雷火成绩斐然,不仅先后推出了《倩女幽魂》《天谕》《逆水寒》《永劫无间》4大旗舰IP,近一年又连续推出《逆水寒》手游、《全明星街球派对》等各自品类赛道的标杆级作品,表现极为亮眼。尤其是去年推出的爆款MMO《逆水寒》手游,不仅率先利用光线追踪等前沿技术带来次世代画面品质,更因为对大模型AIGC技术的深度运用,被誉为“全球第一款AI游戏”。

对话中胡志鹏指出,网易早在2017年就成立了全球第一个专门服务于游戏的人工智能的实验室“网易伏羲”,早先用于研究强化学习(智能敌人和NPC),而后生成式AI时代来临时,率先开创“AI 游戏”理念,即利用AIGC技术大幅提升游戏研发产能,以AI作为基底,为玩家提供更好、更多、更有趣的优质游戏内容。

由于《逆水寒》手游去年6月底公测时超出预期的爆火,预约、新增等各项数据均突破网易历史记录,而游戏中又存在大量诸如智能NPC、智能捏脸、智能团本队友、智能作词作画等新潮的AIGC玩法,导致开发组多次面临AI云端算力吃紧的难题——AIGC相关玩法并发量巨大,即便与多家云服务厂商合作,云端算力供给既然非常紧张。

胡志鹏回忆,当时就在畅想充分利用玩家手中的终端设备来解决AI算力吃紧的问题。其实,很多AI玩法功能均可布置在端侧,如TTS(文本到语音)功能、ASR(语音识别)功能、AI敌人的强化学习等等,若有统一的端侧AI构架和开发环境,开发者不仅能直接节省很大的成本,同时AI的响应速度也会大幅度提升,这对开发者来说非常美妙——而MediaTek恰恰正在建立开发者所需要的终端AI构架和开发环境。

胡志鹏认为,虽然目前生成式AI的端侧开发目前还处于各厂商“各自为政”到慢慢建立标准的初期阶段,但很高兴看到MediaTekNeuronStudio正在成为生成式AI标准的建立者。只要广大开发者一起使用这样的引擎,开发者生态、社区会像滚雪球一样正反馈,迅速发展壮大。胡志鹏预测,待开发者社区生态成熟时,生成式AI“杀手级”的应用就会如雨后春笋一般诞生。

以下为胡志鹏相关对话分享节选:

AI 游戏,端侧大模型在游戏行业大有可为

温天立:

游戏是非常重的端侧应用,也是手机上非常大的应用,我非常希望邀请志鹏总跟我们分享一下目前游戏行业领域以及像网易头部公司在做的事情,即游戏行业如何利用端侧大模型、人工智能生成式AI,您有什么判断和规划?

胡志鹏:

很高兴来到MDDCMediaTek天玑开发者大会。

最早我强烈感受到新人工智能高潮来临,是2016年AlphaGo战胜李世石,因为我之前在微软亚洲研究院,那时候跟深蓝(AI)之父许峰雄老师共事过一段时间,当时许老师还和同事们一起讨论,在可见的未来我们觉得计算机要战胜人类围棋世界冠军,这件事情还很遥远,没想到没过几年这件事情就已经发生了。

后面在网易,我就在想,类似AI技术未来很有可能会颠覆整个游戏行业。

网易作为游戏行业最顶尖的公司之一,我们本身就计划投入比较大的精力去做AI,但是我们投入之后,也许未来10年20年没有像我们想象这样AI颠覆了行业,我们依然是一个头部公司,但如果这件事情成立了,我们没有做任何准备,我们会觉得我们会被淘汰。

所以基于这个想法,我们成立当时应该是全球第一个专门服务于游戏的人工智能的实验室,就是网易伏羲。

开始几年我们在做一些探索,主要是在强化学习方面,因为游戏跟人工智能首先结合,最容易想到强化学习,就是让游戏内的NPC(非玩家角色)能够模仿人类生命,就是像AlphaGo去击败人类的玩家、和人类玩家合作。

到了2019年的时候,我们看到了GPT2,以及后来的GPT3,我们发现AI除了能做强化学习,更能做很多游戏内容的生成。而游戏行业是一个内容需求极为旺盛的行业,游戏开发者的产能和玩家需求是一对永远无法解决的矛盾。通常我们一个几百人的团队花几个月时间制作内容,玩家两个星期就可以消耗完。

所以当我们看到GPT横空出世的时候,我们感受到了生成式AI很有可能它会为游戏开发者解决产能的问题。

这时候,因为我想系统学习AI、同时督促自己掌握人工智能的从底层到应用的整个行业的知识,加上机缘巧合,我回到浙大的母校去做了计算机的工程博士,然后开始系统学习AI。那时候要做很多的作业,其实是把底层的模型摸索个遍,当时要处理并形成图像,但是主要还是用GAN的技术(即对抗生成网络技术),我用我儿子的照片做了非常多的实践,发现在生成图像这方面,有非常多的AI应用,那么我们就开始尝试把这些技术应用到我们的游戏的整个研发过程中,从美术、文案生成,一直到程序生成的流程,去全面地运用。

这个过程其实走了蛮长时间,一直到2022年。之前陈总(陈冠州,MediaTek董事、总经理暨运营长)和小川(王小川,百川智能创始人、CEO)也谈过,ChatGPT的出世,让我们看到了这条路对于游戏行业是一定走得通的。

所以我们持续的投入,把我们想要做的AIGC的能力,集成到我们刚刚看到的逆水寒手游里。

逆水寒手游中,我们提出一个新的概念——以前的概念都是“游戏 AI”,那么《逆水寒》其实内部提出的概念叫“AI 游戏”,即我们以AI作为基底,所有的内容都是考虑在AI基底的情况下,我们如何给玩家提供更好、更多、更有趣的内容,这其实是我们坚持的一个方向。

这个方向做了两年,最后迎来了到去年6月份《逆水寒》手游的上线。

在上线的时候我们遇到一个非常严重的问题,就是算力怎么解决。因为我们当时预估我们第一波的玩家的数量非常大,如果我们要给每个玩家提供基于AI的游戏功能,我们其实需要在云端去预备非常大的AI算力。所以当时我们联系了国内几家头部AI算力云的厂商,去预定算力。这时候我发现一个很重要的问题——为什么我们不能更充分的去利用玩家手上的终端算力来解决我们的问题。

其实很多我们的功能像我们比如说TTS(文本到语音)功能,ASR(语音识别)功能,包括终端的NPC和AI敌人基于玩家强化学习的功能,我们都可以在终端去实现。

如果我们有统一的终端AI构架,给游戏开发者提供一个端侧AI环境,我们直接能省很大的成本,同时AI的响应速度也会大幅度提升,这对于我们游戏开发者来说是件非常美妙的事情。

可惜,当时我们还没有看到这种可能性,但我非常高兴看到MediaTek天玑肯定也是在那之前就在规划AI的端侧落地,所以今天我看到MediaTek的NeuronStudio感觉非常兴奋!

这就是我们想要的东西!我也是来对这个大会了。

探讨AIGC行业生态化和规范化:杀手级应用将诞生

温天立:聊到生成式AI的制度化、规范化的生态问题,游戏行业应该是一个比较有经验的行业,毕竟游戏行业经过了很多百花齐放的时代。从志鹏您多年游戏行业的观察来说,我们生成式AI行业现在的规范化目前处于什么阶段?您觉得还会经历哪些阶段?

胡志鹏:

拿游戏行业类比,有个近似的例子,就是图形渲染引擎的发展。

渲染引擎一开始也是各个游戏工作室各自用自己的技术,各种各样的技术“各自为政”,此时“行业的神”卡马克(JohnCarmackII)横空出世,他是第一个能够在EGA上面实现横版游戏“卷屏”的功能,然后第一个能够在巫毒显卡(Voodoo)上面去做3D模拟效果,他就是大神,建立起来非常高的一个技术门槛。此时很依赖行业大神的独家发挥,这就是行业早期的情况。

当越来越多的开发者加入这个行业,就促成了商业引擎的诞生。而商业引擎往往诞生于就是本身的游戏开发者,他们做了很长的时间游戏,他们觉得可以把能力共享出来,比如说像EPIC做完了《虚拟竞技场》,慢慢把自己的引擎也开放出来。

有了商业引擎之后,虽然大厂还有自研引擎,但普通开发者就会倾向于选择那几款商业引擎,慢慢地越来越统一。像我们现在手机上比较常用的有Unity、Cocos、Unreal…基本上大部分的开发者都是用这些开发引擎。此时,一位开发者就能够在不同的公司之间游走,并且个人技术在不同公司之间完全可以无损失地转换。

我觉得现在生成式AI的端侧开发,目前还处于从我刚才讲的第一阶段,就是大家“各自为政”到慢慢建立标准的阶段。

我也很高兴看到MediaTekNeuronStudio成为生成式AI标准的建立者,只要大家一起来用这样的引擎,那么它的开发者生态、社区会像滚雪球一样正反馈,会变得越来越好。

开发组成员都会分享自己的功能知识,我觉得在一两年左右,生态社区会很快建立起来,会比之前的游戏引擎的生态设施建立速度更快。

这样的生态社区建设需要一定的过程,我觉得2到3年左右,生成式AI“杀手级”的应用就会产生。

举报

  • 相关推荐
  • 大家在看
  • 万彩商图:快速更换商品图片背景,提升商品展示效果。

    万彩商图是一个在线设计工具,专注于帮助用户快速更换商品图片的背景,以提升商品的视觉效果和吸引力。它利用AI技术实现一键式操作,简化了传统图片编辑的复杂流程,使非专业用户也能轻松制作出专业的商品展示图。

  • AIEmoji:快速找到适合你情感的Emoji表情。

    AIEmoji是一个基于人工智能技术的Emoji搜索网站,它允许用户通过自然语言描述来搜索和找到匹配的Emoji表情。这项技术简化了Emoji的搜索过程,提高了用户在社交、写作和其他需要表情符号的场合的效率和表达能力。

  • Brev.ai:AI音乐生成器,几秒钟创作高质量音乐。

    Brev.ai是一款利用人工智能技术,根据用户输入的文本描述快速生成独特音乐作品的在线音乐创作工具。它基于Suno V3.5技术,支持多种音乐风格和流派,适用于视频、播客、游戏配乐等多场景。Brev.ai的主要优点包括高效率、成本效益高、易于使用,以及能够提供高质量的音乐输出。

  • 知了zKnown:致力于信息降噪 / 阅读提效的个人知识助手

    知了 zKnown 是一款 AI-Native 构建的个人知识助手,专注于信息降噪和阅读提效。它通过多端同步、多渠道总结、长文本支持等功能,帮助用户高效地管理和整理信息。产品的主要优点包括:- 多端同步:用户可以在移动app、桌面客户端、网页版、小程序等多个平台同步使用。- 多渠道总结:支持微信公众号、知乎、简书、36Kr、少数派等多个渠道的文章总结。- 长文本支持:最长支持总结3万字的文章内容。- 摘要导出:用户可以将摘要保存到 Notion、Flomo 等平台。- 产品背景:知了 zKnown 致力于通过 AI 技术提升用户的阅读和信息管理效率,适合需要高效处理大量信息的用户。

  • MBox AI Meet:实时转录与会议总结的谷歌会议扩展

    MBox AI Meet是一款免费Chrome扩展,专为Google Meet设计,提供实时转录和自动生成会议总结的功能。它利用AI技术帮助用户在会议中专注于讨论,而无需担心记笔记。该工具通过实时转录捕捉会议的每一个细节,并在会议结束后自动生成总结,确保用户不会错过任何重要信息。MBox AI Meet的隐私优先策略确保会议安全,不存储任何音频或视频内容。此外,该扩展还计划在未来更新中增加更多AI功能,如发言人识别、实时AI助手等。

  • Klee:本地安全AI,保障数据隐私。

    Klee是一款macOS原生的AI助手应用程序,专注于本地处理数据,确保数据安全和隐私。它使用先进的AI技术,如RAG(检索增强生成)和开源大型语言模型,如Llama 3和Mistral,为用户提供高效、智能的笔记、搜索和知识管理功能。Klee的主要优点包括本地运行以保护隐私、支持团队协作、免费使用以及优化的macOS体验。

  • Kipps.AI:快速构建AI助手,提升业务效率

    Kipps.AI 是一个在线平台,允许用户在短短两分钟内构建自己的AI助手,并将其集成到业务中。该平台支持多种数据源,如PDF、Notion、网站链接和文本,用户只需提供这些数据,Kipps.AI 会处理其余部分。它还与常用的工具如GoDaddy、Wordpress、Drupal、Squarespace、Magento和Wix等进行集成,使得用户可以轻松地将AI助手集成到现有的业务流程中。

  • CrossPrism for MacOS:图像识别、标注和关键词生成工具

    CrossPrism for MacOS 是一款专为摄影师设计的图像识别、标注和关键词生成工具。它利用多核 CPU、GPU 和神经引擎,能够识别物种、生成标题和描述,并支持模型训练的可定制性。用户可以在本地自动标注无限量的原始照片,确保所有照片安全地存储在 Mac 上,无需担心云服务中断、数据锁定或文件传输问题。其20多个专家模型可以对从鸟类到地标的各种内容进行分类,并提供新的视角来整理目录和重新发现旧照片。此外,它还支持视频处理、Lightroom 插件、图像质量评估等功能,使其成为一个强大的筛选工具。

  • ZETIC.ai:构建零成本的设备端AI。

    ZETIC.ai提供了一种革命性的设备端AI解决方案,使用NPU技术帮助企业减少对GPU服务器和AI云服务的依赖,从而显著降低成本。它支持任何操作系统、任何处理器和任何目标设备,确保AI模型在转换过程中不损失任何核心功能,同时实现最优性能和最大能效。此外,它还增强了数据安全性,因为数据在设备内部处理,避免了外部泄露的风险。

  • Kerqu.Ai:一站式AI内容生成器,助力跨境电商提升效率。

    Kerqu.Ai是一个为跨境电商卖家提供一站式AI解决方案的平台,整合了先进的AI技术,帮助用户节约成本、提升品牌影响力和销售转化率。产品通过AI技术实现模特换场景、AI图片创作、批量抠图、图片变高清等功能,同时提供一键撰写文案、优化文案和多语言翻译服务,满足多站点经营需求。

  • ReviewHawk:通过分析用户评论,降低用户流失率。

    ReviewHawk是一个专注于分析应用商店评论的工具,旨在帮助企业降低用户流失率,获取用户反馈,从而改善产品。它通过数据驱动的决策和用户满意度分析,帮助企业了解用户真正想要的功能,从而提升用户留存率和产品满意度。

  • Airtable Cobuilder:快速创建与管理数据的应用程序

    Airtable Cobuilder 是一款强大的应用程序构建工具,旨在通过简单的拖放界面和AI辅助功能,帮助用户快速创建和管理数据。它允许用户连接和简化他们最关键的数据,通过可视化数据、自定义视图和集成其他业务工具,提高团队协作和数据管理的效率。该工具特别适合需要高度定制化和灵活性的业务应用场景。

  • Alertfor:追踪网络信息,及时获取答案变化

    Alertfor 是一个在线平台,通过其专有的AQTA (Ask Question Track Answer) 流程,允许用户提交复杂问题,并在网页上寻找最相关的答案。它通过持续追踪提供连续的更新,确保用户能够获得准确且及时的信息。

  • Unskool:家长支持工具,助力家庭教育

    Unskool是一个由家长为家长制作的辅助工具,旨在简化家庭教育过程。它通过去除繁琐的行政工作,让家长能够专注于创造一个丰富的学习环境,让家长和孩子都能茁壮成长。Unskool提供了跟踪、记录和灵感激发的功能,并通过人工智能生成定制的、按需的课程计划,帮助家长更高效地进行家庭教育。

  • AI Generated Diagram:智能生成图表工具

    AI Generated Diagram 是一款利用人工智能技术生成图表的工具。它通过用户输入的提示(prompts)来创建图表,支持多种布局类型,如水平布局(Horizontal)。用户可以通过编辑、配置等操作来调整图表的细节,并支持导出为SVG格式或导出数据。该工具不仅提高了设计图表的效率,还通过AI技术提升了图表的美观度和准确性。

  • Free AI Image Extender:使用人工智能扩展图像边界

    AI Image Extender 是一款利用人工智能技术扩展图像边界的工具,通过生成新内容与现有图像无缝融合,增强图像的视觉延展性。该产品通过先进的AI算法,能够智能识别图像内容并生成自然过渡的扩展区域,适用于需要图像扩展或背景生成的各种场景。

  • Capacities:一个为你的思维打造工作室的APP

    Capacities是一个旨在改善人们思考方式和工作流程的应用程序。它通过使用对象而非传统文件和文件夹来组织信息,帮助用户更直观地理解和连接复杂的信息结构。该应用支持网络化笔记,使用户能够自然地构建信息网络,激发新的创意。Capacities还提供AI助手,帮助用户与笔记中的对象动态互动,并提高写作质量。此外,该应用注重数据安全和隐私保护,符合GDPR标准,数据存储在欧盟的加密服务器上。

  • CLASI:高质量、类人同声传译系统

    CLASI是一个由字节跳动研究团队开发的高质量、类人同声传译系统。它通过新颖的数据驱动读写策略平衡翻译质量和延迟,采用多模态检索模块来增强特定领域术语的翻译,利用大型语言模型(LLMs)生成容错翻译,考虑输入音频、历史上下文和检索信息。在真实世界场景中,CLASI在中英和英中翻译方向上分别达到了81.3%和78.0%的有效信息比例(VIP),远超其他系统。

  • image-matting:AI抠图项目,使用开源模型实现图像抠图。

    image-matting 是一个基于开源模型 briaai/RMBG-1.4 的AI抠图项目。该项目旨在通过学习AI技术、GUI开发、前端学习以及i18n国际化等技术,实现本地模型算法的图像抠图功能。它支持单张和批量抠图,用户可以通过拖拽和粘贴的方式快速进行图像处理。项目还提供了打包后的运行文件下载链接,方便用户使用。

  • OnlyPans:AI定制周晚餐计划

    OnlyPans是一个利用人工智能技术为用户提供定制化晚餐计划的应用程序。它通过与用户的简短聊天来了解用户的预算、口味偏好、语言习惯、饮食限制以及日常生活的忙碌程度,然后快速生成符合用户需求的晚餐计划。随着用户使用时间的增长,OnlyPans会不断学习和优化,提供更加个性化的服务。此外,OnlyPans还提供智能购物清单功能,帮助用户避免食品浪费和不必要的紧急购物。OnlyPans注重用户隐私保护,承诺不会出售用户的任何信息。

今日大家都在搜的词: