首页 > 业界 > 关键词  > MediaTek最新资讯  > 正文

网易集团副总裁胡志鹏:AI 游戏新链路,端侧大模型大有可为

2024-05-07 19:36 · 稿源: 中关村在线

5月7日,MediaTek天玑开发者大会2024(MDDC2024)在深圳召开,本届MDDC 大会的主题为“AI予万物”,众多资深行业先驱、技术专家齐聚一堂,深入探讨了Al 技术在各个领域的应用和发展,以及AI 赋予终端侧的更多可能性。

在MDDC天玑高峰对话环节,主办方特别邀请了网易集团高级副总裁、网易雷火事业群负责人胡志鹏来到现场,与主持人暨蓝莲花研究机构创始人及CEO温天立,以及MediaTek董事、总经理暨运营长陈冠州等重磅嘉宾展开了以“生成式AI将如何重构移动生态”为主题的高峰对话,共同探讨行业未来发展趋势,分享知识、经验和先进技术成果。

近年来网易雷火成绩斐然,不仅先后推出了《倩女幽魂》《天谕》《逆水寒》《永劫无间》4大旗舰IP,近一年又连续推出《逆水寒》手游、《全明星街球派对》等各自品类赛道的标杆级作品,表现极为亮眼。尤其是去年推出的爆款MMO《逆水寒》手游,不仅率先利用光线追踪等前沿技术带来次世代画面品质,更因为对大模型AIGC技术的深度运用,被誉为“全球第一款AI游戏”。

对话中胡志鹏指出,网易早在2017年就成立了全球第一个专门服务于游戏的人工智能的实验室“网易伏羲”,早先用于研究强化学习(智能敌人和NPC),而后生成式AI时代来临时,率先开创“AI 游戏”理念,即利用AIGC技术大幅提升游戏研发产能,以AI作为基底,为玩家提供更好、更多、更有趣的优质游戏内容。

由于《逆水寒》手游去年6月底公测时超出预期的爆火,预约、新增等各项数据均突破网易历史记录,而游戏中又存在大量诸如智能NPC、智能捏脸、智能团本队友、智能作词作画等新潮的AIGC玩法,导致开发组多次面临AI云端算力吃紧的难题——AIGC相关玩法并发量巨大,即便与多家云服务厂商合作,云端算力供给既然非常紧张。

胡志鹏回忆,当时就在畅想充分利用玩家手中的终端设备来解决AI算力吃紧的问题。其实,很多AI玩法功能均可布置在端侧,如TTS(文本到语音)功能、ASR(语音识别)功能、AI敌人的强化学习等等,若有统一的端侧AI构架和开发环境,开发者不仅能直接节省很大的成本,同时AI的响应速度也会大幅度提升,这对开发者来说非常美妙——而MediaTek恰恰正在建立开发者所需要的终端AI构架和开发环境。

胡志鹏认为,虽然目前生成式AI的端侧开发目前还处于各厂商“各自为政”到慢慢建立标准的初期阶段,但很高兴看到MediaTekNeuronStudio正在成为生成式AI标准的建立者。只要广大开发者一起使用这样的引擎,开发者生态、社区会像滚雪球一样正反馈,迅速发展壮大。胡志鹏预测,待开发者社区生态成熟时,生成式AI“杀手级”的应用就会如雨后春笋一般诞生。

以下为胡志鹏相关对话分享节选:

AI 游戏,端侧大模型在游戏行业大有可为

温天立:

游戏是非常重的端侧应用,也是手机上非常大的应用,我非常希望邀请志鹏总跟我们分享一下目前游戏行业领域以及像网易头部公司在做的事情,即游戏行业如何利用端侧大模型、人工智能生成式AI,您有什么判断和规划?

胡志鹏:

很高兴来到MDDCMediaTek天玑开发者大会。

最早我强烈感受到新人工智能高潮来临,是2016年AlphaGo战胜李世石,因为我之前在微软亚洲研究院,那时候跟深蓝(AI)之父许峰雄老师共事过一段时间,当时许老师还和同事们一起讨论,在可见的未来我们觉得计算机要战胜人类围棋世界冠军,这件事情还很遥远,没想到没过几年这件事情就已经发生了。

后面在网易,我就在想,类似AI技术未来很有可能会颠覆整个游戏行业。

网易作为游戏行业最顶尖的公司之一,我们本身就计划投入比较大的精力去做AI,但是我们投入之后,也许未来10年20年没有像我们想象这样AI颠覆了行业,我们依然是一个头部公司,但如果这件事情成立了,我们没有做任何准备,我们会觉得我们会被淘汰。

所以基于这个想法,我们成立当时应该是全球第一个专门服务于游戏的人工智能的实验室,就是网易伏羲。

开始几年我们在做一些探索,主要是在强化学习方面,因为游戏跟人工智能首先结合,最容易想到强化学习,就是让游戏内的NPC(非玩家角色)能够模仿人类生命,就是像AlphaGo去击败人类的玩家、和人类玩家合作。

到了2019年的时候,我们看到了GPT2,以及后来的GPT3,我们发现AI除了能做强化学习,更能做很多游戏内容的生成。而游戏行业是一个内容需求极为旺盛的行业,游戏开发者的产能和玩家需求是一对永远无法解决的矛盾。通常我们一个几百人的团队花几个月时间制作内容,玩家两个星期就可以消耗完。

所以当我们看到GPT横空出世的时候,我们感受到了生成式AI很有可能它会为游戏开发者解决产能的问题。

这时候,因为我想系统学习AI、同时督促自己掌握人工智能的从底层到应用的整个行业的知识,加上机缘巧合,我回到浙大的母校去做了计算机的工程博士,然后开始系统学习AI。那时候要做很多的作业,其实是把底层的模型摸索个遍,当时要处理并形成图像,但是主要还是用GAN的技术(即对抗生成网络技术),我用我儿子的照片做了非常多的实践,发现在生成图像这方面,有非常多的AI应用,那么我们就开始尝试把这些技术应用到我们的游戏的整个研发过程中,从美术、文案生成,一直到程序生成的流程,去全面地运用。

这个过程其实走了蛮长时间,一直到2022年。之前陈总(陈冠州,MediaTek董事、总经理暨运营长)和小川(王小川,百川智能创始人、CEO)也谈过,ChatGPT的出世,让我们看到了这条路对于游戏行业是一定走得通的。

所以我们持续的投入,把我们想要做的AIGC的能力,集成到我们刚刚看到的逆水寒手游里。

逆水寒手游中,我们提出一个新的概念——以前的概念都是“游戏 AI”,那么《逆水寒》其实内部提出的概念叫“AI 游戏”,即我们以AI作为基底,所有的内容都是考虑在AI基底的情况下,我们如何给玩家提供更好、更多、更有趣的内容,这其实是我们坚持的一个方向。

这个方向做了两年,最后迎来了到去年6月份《逆水寒》手游的上线。

在上线的时候我们遇到一个非常严重的问题,就是算力怎么解决。因为我们当时预估我们第一波的玩家的数量非常大,如果我们要给每个玩家提供基于AI的游戏功能,我们其实需要在云端去预备非常大的AI算力。所以当时我们联系了国内几家头部AI算力云的厂商,去预定算力。这时候我发现一个很重要的问题——为什么我们不能更充分的去利用玩家手上的终端算力来解决我们的问题。

其实很多我们的功能像我们比如说TTS(文本到语音)功能,ASR(语音识别)功能,包括终端的NPC和AI敌人基于玩家强化学习的功能,我们都可以在终端去实现。

如果我们有统一的终端AI构架,给游戏开发者提供一个端侧AI环境,我们直接能省很大的成本,同时AI的响应速度也会大幅度提升,这对于我们游戏开发者来说是件非常美妙的事情。

可惜,当时我们还没有看到这种可能性,但我非常高兴看到MediaTek天玑肯定也是在那之前就在规划AI的端侧落地,所以今天我看到MediaTek的NeuronStudio感觉非常兴奋!

这就是我们想要的东西!我也是来对这个大会了。

探讨AIGC行业生态化和规范化:杀手级应用将诞生

温天立:聊到生成式AI的制度化、规范化的生态问题,游戏行业应该是一个比较有经验的行业,毕竟游戏行业经过了很多百花齐放的时代。从志鹏您多年游戏行业的观察来说,我们生成式AI行业现在的规范化目前处于什么阶段?您觉得还会经历哪些阶段?

胡志鹏:

拿游戏行业类比,有个近似的例子,就是图形渲染引擎的发展。

渲染引擎一开始也是各个游戏工作室各自用自己的技术,各种各样的技术“各自为政”,此时“行业的神”卡马克(JohnCarmackII)横空出世,他是第一个能够在EGA上面实现横版游戏“卷屏”的功能,然后第一个能够在巫毒显卡(Voodoo)上面去做3D模拟效果,他就是大神,建立起来非常高的一个技术门槛。此时很依赖行业大神的独家发挥,这就是行业早期的情况。

当越来越多的开发者加入这个行业,就促成了商业引擎的诞生。而商业引擎往往诞生于就是本身的游戏开发者,他们做了很长的时间游戏,他们觉得可以把能力共享出来,比如说像EPIC做完了《虚拟竞技场》,慢慢把自己的引擎也开放出来。

有了商业引擎之后,虽然大厂还有自研引擎,但普通开发者就会倾向于选择那几款商业引擎,慢慢地越来越统一。像我们现在手机上比较常用的有Unity、Cocos、Unreal…基本上大部分的开发者都是用这些开发引擎。此时,一位开发者就能够在不同的公司之间游走,并且个人技术在不同公司之间完全可以无损失地转换。

我觉得现在生成式AI的端侧开发,目前还处于从我刚才讲的第一阶段,就是大家“各自为政”到慢慢建立标准的阶段。

我也很高兴看到MediaTekNeuronStudio成为生成式AI标准的建立者,只要大家一起来用这样的引擎,那么它的开发者生态、社区会像滚雪球一样正反馈,会变得越来越好。

开发组成员都会分享自己的功能知识,我觉得在一两年左右,生态社区会很快建立起来,会比之前的游戏引擎的生态设施建立速度更快。

这样的生态社区建设需要一定的过程,我觉得2到3年左右,生成式AI“杀手级”的应用就会产生。

举报

  • 相关推荐
  • 大家在看
  • Opera浏览器宣布接入端侧AI大模型

    5月29日,昆仑万维旗下海外信息分发与元宇宙平台Opera宣布,其旗舰浏览器OperaOne以及游戏浏览器OperaGX将正式接入端侧AI大模型,成为全球第一个接入端侧AI大模型的主流浏览器。2024年4月,Opera已通过AIFeatureDrops计划,在Opera开发者版浏览器中引入了端侧AI访问功能,成为全球第一个引入本地AI模型访问功能的浏览器。端侧AI大模型将被正式集成进Opera浏览器旗舰产品中,覆盖Windows、MacOS和Linux等全部设备。

  • 好衣库携手新疆那拉集团,共探乳业私域链路

    5月27日,私域电商平台好衣库与新疆乳业领头羊那拉集团与好衣库宣布达成战略合作伙伴关系,双方在那拉集团本源工厂成功举行了一场盛大的游学活动。此次活动不仅是一次深入的溯源之旅,更是双方合作共赢的新起点,标志着双方将在地方政府的高度关注下,强强联手,获得更加广泛深入的影响力!作为新疆地区乃至全国知名的乳业集团,那拉集团以其雄厚的规模实力和高端的产品质量,赢得了市场和消费者的广泛认可。好衣库与那拉集团的战略合作,是双方发展战略的重要一步,是企业与平台优势互补、资源共享的典范。

  • 全球首个!昆仑万维宣布Opera浏览器接入端侧AI大模型

    今日,昆仑万维宣布,其旗舰浏览器OperaOne以及游戏浏览器OperaGX将正式接入端侧AI大模型,成为全球第一个接入端侧AI大模型的主流浏览器。2024年4月,Opera已在开发者版本浏览器中首次接入了端侧AI大模型,并进行了全面测试。用户可在侧边栏聊天中上传图片给Aria,并向其询问有关图像的问题,Aria将理解图像内容,并围绕图像及相关背景信息为用户提供答案。

  • AI友“吃石头”闹得沸沸扬扬,谷歌副总裁发博回应:不是幻觉

    网上关于谷歌AIoverview的讨论沸沸扬扬,简直快要扛起X平台科技区的流量大旗。这款在2023年5月就推出测试版的AI搜索,在正式上线前已处理了超十亿次查询,却依旧没能逃过翻车的命运,原因是它仍无法判断“人能不能吃石头、喝胶水”。现在它连承认“圣诞老人不存在”也要被指控,因为这可能会“浇灭孩子们的童心”。

  • 蚂蚁集团CTO称大模型还在钻木取火阶段:仍未找到AI的本质

    快科技5月30日消息,在近日的在第九届蚂蚁技术日上,蚂蚁集团CTO(首席技术官)何征宇提出了对当前大模型技术发展的深刻见解。何征宇比喻说,尽管大模型技术有其用处,但目前的发展阶段还类似于原始人钻木取火,尽管我们能够利用AI技术,但还没有找到最高效的方法,导致成本依然高昂。何征宇认为:我们今天并没有找到AI产生如此效果的本质,没有人能用数学的方法描

  • 每日互动副总裁章玉珍:让数好用,把数用好

    让数好用把数用好|每日互动副总裁章玉珍在数据要素×数据流通利用数享会上做主题演讲5月18日,“瓯江论数数安中国”2024数据安全发展大会开幕。作为大会系列活动之一,数据要素×数据流通利用数享会正式举行。”最后,章玉珍表示很高兴能在数安大会的平台上,与各位生态伙伴分享每日互动在数据要素流通利用方面的一些经验分享,后续也期待能跟大家有更多的交流,共同促进整个数据要素流通生态的繁荣与发展。

  • 浅谈AI大模型的数据特点和应用问题

    【摘要】AI大模型的训练、推理及应用落地都需要大量的数据,其数据具有参数和数据量大、质量要求高、行业垂直属性强、资源消耗大等特点,由此带来的个人隐私泄露、数据中毒、数据篡改等数据安全风险已成为业界必须应对的重要议题。目前大模型的规模化应用还存在成本、性能、安全和商业变现等问题,其中的数据要素价值有待进一步挖掘。如何将大模型中的价值数据转化为可量化、可交易、可持续增值的资产,并推动大模型产业和数据要素市场的高质量健康发展,是当前大模型平台方、数据持有方、数据使用方和数据监管方等多元主体共同关心的话题。

  • AI大模型行业的618,走上价格战的老

    不管AI开发者愿不愿意,在互联网厂商主导的国内大模型行业,再次回到了十年前互联网式的“免费”逻辑,其商业化的决定权已经发生了转移——何时杀鸡,何时“取卵”,都不再自己说了算。任谁都没有想到,2024年618的第一枪,居然不是由“猫狗拼抖”任意一家电商发起,取代之的是大模型厂商。单纯因为价格贸然切换模型生态,反会付出比价格更沉重的代价。

  • 美国“AI大模型”不给外国用了?

    5月8日,美国联邦众议院外交事务委员会主席MichaelMcCaul,联合另外三位众议院代表,共同发起了一项新的立法提案——第118届国会H.R.8315,旨在进一步修订《2018年出口管制改革法案》,以防止包括中国在内的外国竞争对手开发和利用美国的人工智能及其他关键技术。《2018年出口管制改革法案》是一项美国联邦法律,最早于2018年2月15日正式提出。虽然理论上H.R.8315想要成为正式�

  • “数字中国”前瞻:谁是AI大模型时代的驯龙手?

    大模型圈最近都在讨论一个议题:GPT-4o为什么要免费?一个可见的事实是,ChatGPT的版本迭代速度在放缓。这预示着大模型行业进入平台期,向上攀登变得越来越困难。在大模型应用爆发前夜,移动云正在扮演“摆渡人”的角色,让每个市场参与者都能平等、高效地享受到AI大模型带来的增量价值大模型行业也从象牙塔走向千家万户。

  • Mistly:自动记录和分析产品反馈,快速构建更好的产品。

    Mistly是一个AI产品管理工具,能够自动从Slack频道、Zoom通话等地方记录产品反馈,并通过AI技术提供深入的洞察。它可以帮助团队快速了解用户需求,提取功能请求和bug报告,从而加速产品迭代和改进。Mistly还提供每周反馈总结和发布更新通知功能,使客户感到被重视,增强产品与用户之间的联系。

  • Omi:智能合同和文档管理平台

    Omi是一个集中化的平台,提供对财务、合同和供应商的全面监督和管理。它简化了采购流程,实现了财务控制,并通过自动化和实时数据提供决策支持,帮助企业提高效率、节约成本,并确保合规性。

  • iPadOS 18:,带来全新的工作方式和个性化体验。

    iPadOS 18是苹果公司为iPad设备推出的最新操作系统,它通过Apple Pencil、应用程序体验和个性化定制等新功能,进一步增强了iPad的生产力和创造力。该系统利用Apple Intelligence技术,根据用户的个人上下文提供最有帮助和相关的智能服务。

  • 雅意信息抽取大模型:基于大规模数据的高质量信息抽取模型

    雅意信息抽取大模型(YAYI-UIE)由中科闻歌算法团队研发,是一款在百万级人工构造的高质量信息抽取数据上进行指令微调的模型。它能够统一训练信息抽取任务,包括命名实体识别(NER)、关系抽取(RE)和事件抽取(EE),覆盖了通用、安全、金融、生物、医疗、商业等多个场景的结构化抽取。该模型的开源旨在促进中文预训练大模型开源社区的发展,并通过开源共建雅意大模型生态。

  • macOS Sequoia:Mac体验新高度,智能化与生产力的飞跃。

    macOS Sequoia是苹果公司推出的下一代桌面操作系统,它通过iPhone镜像、Safari浏览器的更新、苹果智能技术以及一系列新游戏,为Mac带来了全新的工作方式和变革性的智能特性。它利用了苹果芯片和神经引擎的强大能力,提供了深度集成的个人智能系统,注重隐私保护,并简化了日常任务。

  • iOS 18:iPhone个性化、功能强大、智能化的新高度。

    iOS 18是苹果公司推出的最新操作系统,它通过全新的个性化选项、前所未有的照片应用重设计、强大的连接方式更新以及苹果智能(Apple Intelligence)个人智能系统,为iPhone带来更深层次的个性化体验和智能化功能。

  • Invisibility:您的个人助手,集成到您的操作系统中。

    Invisibility 是一款集成到操作系统中的个人助手应用程序,它通过简单的键盘快捷键,允许用户快速与AI进行交互,提高工作效率。该应用提供了一个平台,结合了所有最新的高级模型,用户无需为多个工具或订阅付费。Invisibility 的设计理念在于简化用户与技术的互动,提供流畅的体验,无需在不同的标签和应用程序之间切换。

  • TeamCreate AI:AI助手,快速构建理想团队

    TeamCreate AI是一个在线平台,提供AI助手来帮助企业在销售、市场、财务、产品和更多领域快速构建团队。这些AI助手是无代码且可定制的,可以快速适应并执行特定任务,帮助企业在没有财务限制和繁琐招聘流程的情况下迅速扩展。

  • Midjourney Personalization:个性化图像生成工具

    Midjourney是一个独立的研究实验室,专注于探索新的思想媒介和扩展人类想象力。它是一个自筹资金的小团队,专注于设计、人类基础设施和人工智能。Midjourney Personalization通过用户对图像对的评分来学习用户的偏好,并根据这些偏好生成个性化的图像。

  • YaFSDP:高效的分布式数据并行框架,专为大型语言模型设计。

    YaFSDP是一个分布式数据并行框架,专为与transformer类神经网络结构良好协作而设计。它在预训练大型语言模型(Large Language Models, LLMs)时比传统的FSDP快20%,并且在高内存压力条件下表现更佳。YaFSDP旨在减少通信和内存操作的开销。

  • Onboard:客户管理的AI邮件平台

    Onboard AI Email Platform是一个专为客户管理设计的AI邮件平台。它集成了先进的AI技术,帮助企业精准地将邮件发送到每个客户的主收件箱,提高邮件的到达率和客户的互动率。该平台通过AI技术对客户进行细分,自动生成个性化内容,并创建AI生成的落地页来驱动客户采取行动。

  • SmartEReply:智能提升您的LinkedIn™互动

    SmartEReply是一个AI驱动的助手,旨在增强您的LinkedIn™互动,通过个性化评论、优化帖子和轻松管理私信来提升您的网络机会。它通过AI生成的内容建议,帮助您快速创建更具吸引力和优化的内容。

  • Freepik Designer:在线设计编辑器,无需设计技能。

    Freepik Designer是一个在线设计编辑器,允许用户无需专业设计技能或软件即可创建或编辑设计作品。它提供了大量的可编辑模板,支持AI工具和功能,如AI写作助手、背景移除、AI翻译器等,以简化工作流程。Freepik Designer由Freepik Company S.L.开发,总部位于阳光明媚的马拉加。

  • Source.Plus:AI训练数据的搜索、整理和丰富工具

    Source.Plus是一个专业的AI训练数据搜索平台,它允许用户通过高级搜索操作符来精确地搜索、筛选和整理所需的数据集。它支持多种数据来源,包括Wikimedia Commons、NMNH - Botany Dept.等,提供广泛的图像和文档资源。平台还具备文件上传功能,使用户能够进一步自定义和丰富自己的数据集。Source.Plus的主要优点包括其强大的搜索能力、数据来源的多样性以及对AI训练数据的特别优化。

  • Awesome-ChatTTS:ChatTTS项目的入门指南和资源汇总。

    Awesome-ChatTTS是一个开源项目,旨在为ChatTTS项目提供常见问题解答和相关资源汇总,帮助用户快速入门并解决在使用过程中可能遇到的问题。该项目不仅整理了详细的安装指南和参数说明,还提供了多种音色种子的示例,以及视频教程等辅助材料。

  • DenseAV:一种自监督的视听特征对齐模型。

    DenseAV是一种新颖的双编码器定位架构,通过观看视频学习高分辨率、语义有意义的视听对齐特征。它能够无需明确定位监督即可发现单词的“意义”和声音的“位置”,并且自动发现并区分这两种关联类型。DenseAV的定位能力来自于一种新的多头特征聚合操作符,它直接比较密集的图像和音频表示进行对比学习。此外,DenseAV在语义分割任务上显著超越了先前的艺术水平,并且在使用参数少于一半的情况下,在跨模态检索上超越了ImageBind。

  • ChatTTS-Forge:基于ChatTTS模型的文本到语音转换项目

    ChatTTS-Forge是一个围绕TTS生成模型ChatTTS开发的项目,实现了API服务器和基于Gradio的WebUI,能够提供全面的API服务,支持生成1000字以上的长文本,保持一致性,并通过内置32种不同风格进行风格管理。

  • WorldDreamer:视频生成的前沿模型

    WorldDreamer是一个创新的视频生成模型,它通过预测遮蔽的视觉令牌来理解并模拟世界动态。它在图像到视频合成、文本到视频生成、视频修复、视频风格化以及动作到视频生成等多个方面表现出色。该模型借鉴了大型语言模型的成功经验,将世界建模视为一个无监督的视觉序列建模挑战,通过将视觉输入映射到离散的令牌并预测被遮蔽的令牌来实现。

  • VividDream:从单一图像或文本生成可探索的3D场景

    VividDream是一项创新技术,能够从单一输入图像或文本提示生成具有环境动态的可探索4D场景。它首先将输入图像扩展为静态3D点云,然后使用视频扩散模型生成动画视频集合,并通过优化4D场景表示来实现一致性运动和沉浸式场景探索。这项技术为生成基于多样真实图像和文本提示的引人入胜的4D体验提供了可能。

  • LlamaGen:自回归模型在可扩展图像生成领域的新突破

    LlamaGen是一个新的图像生成模型家族,它将大型语言模型的原始下一个token预测范式应用于视觉生成领域。该模型通过适当的扩展,无需对视觉信号的归纳偏差即可实现最先进的图像生成性能。LlamaGen重新审视了图像分词器的设计空间、图像生成模型的可扩展性属性以及它们的训练数据质量。

今日大家都在搜的词:

热文

  • 3 天
  • 7天