首页 > 业界 > 关键词  > Wayve最新资讯  > 正文

Wayve推出GAIA-1 9B,通过生成合成视频训练自动驾驶

2023-10-07 10:33 · 稿源:站长之家

文章概要:

- Wayve是一家英国初创公司,于2023年6月发布GAIA-1,一款用于自动驾驶车辆训练数据的生成式人工智能模型。

- GAIA-1使用文本、图像、视频和行动数据创建各种交通情景的合成视频,填补了道路交通复杂性所产生的数据空白。

- 这一世界模型可以预测未来事件,帮助自动驾驶车辆提前规划行动,增加道路安全和效率。

站长之家(ChinaZ.com)10月7日 消息:英国初创公司Wayve在2023年6月发布了GAIA-1(Generative Artificial Intelligence for Autonomy),这是一款为自动驾驶车辆培训数据而设计的生成式模型。GAIA-1的最新版本,GAIA-19B,已经取得了令人瞩目的进展。

GAIA-1的独特之处在于它的能力,它能够使用文本、图像、视频和行动数据来生成各种交通情景的合成视频。这一能力填补了自动驾驶车辆训练中的数据缺口。

image.png

试想一下,在雾中,有一个行人从卡车后面跳出来,同时一名摩托车手即将超越你,一名自行车手从前方靠近。这是一个真实的情景,但要捕捉到这个精确的场景,你需要开多少英里的车并进行拍摄呢?GAIA-1回答了这个问题,它可以生成各种交通情景的合成视频,用于自动驾驶车辆的培训。

与传统的生成式视频模型不同,Wayve表示,GAIA-1是一种生成式“世界模型”,它学会了理解和解读驾驶的最重要概念。它能够识别和分离不同的车辆及其特征、道路、建筑物或交通信号灯等概念。GAIA-1还学会了代表环境及其未来动态,为驾驶提供了结构化的环境理解,可用于做出明智的驾驶决策。

自GAIA-1首次发布以来,Wayve团队对其进行了优化,以高效生成高分辨率视频,并通过大规模培训提高了世界模型的质量。该模型现在拥有90亿个参数(相对于六月版本的10亿个参数),还能够精确控制视频中的车辆行为和场景特征。这使其成为培训和验证自动驾驶系统的强大工具。

GAIA-1的模型基于在2019年至2023年间在英国伦敦收集的4700小时专有驾驶数据。模型的架构包括每个输入模态(视频、文本和行动)的专用编码器、世界模型、自回归变换器和视频解码器,以及将预测的图像元素转换回像素空间的视频扩散模型。

值得注意的是,GAIA-1的世界建模任务与大型语言模型(LLMs)常用的方法非常相似,其中任务被简化为预测下一个标记。在GAIA-1中,这一方法应用于视频建模,而不是语言。这表明随着模型大小和培训数据集的增加,GAIA-1在视频生成方面的性能和效率将继续提高,类似于大型语言模型在其各自领域内观察到的缩放模式。开发人员表示,随着更多的数据和处理能力,仍然存在“显著的改进空间”。

此外,GAIA-1还可以预测过去的上下文视频图像的不同未来情景,包括行人、自行车手、摩托车手和对向交通的行为,从而使模型能够考虑与其他道路使用者的互动并对情况做出反应。GAIA-1还可以通过纯文本输入进行控制,例如,通过文本命令“天气是晴朗的”、“多雨的”、“有雾的”或“多雪的”来生成不同的驾驶情景。此外,它还可以使用文本命令,如“现在是白天,我们处于直射阳光下”、“天空是灰色的”、“现在是黄昏”和“现在是夜晚”,来创建不同的照明情景。

然而,Wayve也指出了GAIA-1的一些局限性。虽然自回归生成过程非常有效,但需要大量计算,因此生成长时间的视频会非常计算密集。此外,当前模型主要集中于预测单一摄像机输出,而自动驾驶需要来自所有周围视点的全面视图,这是关键问题之一。

未来的工作将扩展该模型的能力,以捕捉更广泛的视角,并优化其生成效率,使该技术更具适用性和效率。此外,Wayve还在开发Lingo-1,这是一种自动驾驶系统,将机器视觉与基于文本的逻辑相结合,以解释道路上的决策和情况。这种基于文本的逻辑可以增加车辆的安全感,使人工智能的决策不再像一个“黑盒子”。

GAIA-1项目网址:https://wayve.ai/thinking/scaling-gaia-1/

举报

  • 相关推荐
  • 大家在看
  • EasyMedia:AI驱动,快速将YouTube视频转化为社交媒体内容。

    EasyMedia是一个利用人工智能技术,帮助用户将YouTube视频内容快速转化为适合不同社交媒体平台的帖子、推文等。它支持Facebook、Instagram、Twitter、LinkedIn等多个平台,能够根据平台特点自动调整内容格式,提高内容的吸引力和传播力。产品背景在于帮助用户节省内容创作时间,同时增加其在数字世界中的影响力。

  • Kuluko:将想法变成有声书

    Kuluko是一款AI驱动的有声书生成器,它允许用户通过简单的提示或个性化的设置来创作属于自己的有声书。它提供了两种模式:简易模式和高级模式,以满足不同用户的需求。简易模式下,用户只需输入一个提示,AI即可生成完整的小说。高级模式则允许用户自定义故事的各个方面,包括角色、类型、背景、故事时间、叙述者声音等。Kuluko将故事转化为长达4小时的有声书,用户可以立即开始收听。此外,Kuluko还具有个人和公共图书馆功能,用户可以选择私密享受或与他人分享。

  • fastn:无代码AI驱动的集成平台

    fastn是一个无代码、AI驱动的集成平台,旨在帮助开发者通过单一、统一的API连接和编排多个数据源。它通过AI代理创建API,支持即时API组合,无需编码即可实现数据流的连接。fastn的主要优点包括降低成本、加速开发和上市时间、提高可靠性和安全性。它通过实时数据编排、统一数据访问和监控与故障排除等功能,帮助企业构建互联生态系统。

  • Wasps:AI代码审查工具,快速理解代码库并修复问题。

    Wasps是一个集成在VSCode中的AI代码审查插件,通过深度分析和理解代码库,能够快速识别并修复代码中的错误和漏洞。它为开发者提供即时反馈,推荐潜在问题和改进建议,帮助提高代码质量和开发效率。

  • LLM Optimize:专业网站审计,提升AI推荐排名

    LLM Optimize 是一套工具,旨在帮助用户优化网站,使其在AI聊天机器人和生成引擎(如ChatGPT和Google的AI Overview)中排名更高。该工具通过专业的网站审计,提供可操作的建议,帮助用户在这些生成引擎中获得更好的展示效果。其重要性在于,随着AI技术的不断发展,传统的SEO策略正在逐渐被LLM(Large Language Models,大型语言模型)优化所取代。LLM Optimize通过分析网站内容和竞争对手的策略,提供定制化的优化方案,帮助用户在AI驱动的搜索结果中获得更高的曝光率。

  • Meme Search:通过文本搜索快速找到完美表情包

    Meme Search是一款通过视觉内容和文本索引表情包的应用程序,它能够让用户通过文本搜索快速找到所需的表情包。该应用使用自然语言处理技术,将图片中的文本描述自动生成并作为向量索引存储,从而实现快速检索。Meme Search的开源特性和创新的搜索方式,使其成为提升表情包搜索效率的有力工具。

  • PDFJourney:快速且经济的PDF创建方式

    PDFJourney 是一个旨在为用户提供快速且经济的PDF创建服务的网站。它通过简化用户界面和操作流程,使得用户能够轻松地创建PDF文件。该产品的主要优点在于其高效的渲染速度和低廉的成本,这对于需要频繁处理文档的用户来说是一个巨大的优势。PDFJourney 是 GPT4 的微调版本,它致力于通过技术手段降低文档处理的复杂性和成本,从而提升用户的工作效率。

  • AnyParser:准确、私密且可配置的文档检索LLM

    AnyParser Playground 是一个基于网页的解决方案,旨在帮助用户从PDF和图像文件中提取信息。它通过使用机器学习技术,能够处理文件的前10页,为用户提供数据的全面洞察。该平台不存储用户数据,保证了数据的隐私和安全性。

  • Reimagic.ai:将照片转化为非凡肖像的革命性应用

    Reimagic.ai是一款革命性的移动应用程序,可以将您的照片转化为非凡的肖像。它具备即时背景转换、无缝融合、多样化使用场景、用户友好界面等功能,适用于人像、宠物和产品摄影,使每张快照都成为杰作。

  • Xspiral:新一代3D可视化设计平台,让创意触手可及。

    Xspiral是一个结合了2D和3D设计的混合平台,通过AI技术增强,提供实时渲染、无需下载、协作功能。它允许用户快速创建、设计、管理、预览、分享和发布3D作品。Xspiral支持使用智能写作功能,如一键重写、总结、扩展和快速思维导图,以及创建和管理交互式3D工作流应用,包括文档、思维导图、流程图等。它还支持在3D空间中进行UI/UX设计,为初学者和专业人士提供了轻松创建3D设计的可能。

  • 如果相机:用AI帮你看见各种「如果」背后自己可能的样子

    如果相机是一款利用人工智能技术,帮助用户探索不同生活选择下自己可能的样子的网站。通过AI技术,用户可以体验到不同的生活方式、外貌变化等,从而发现更多的可能性。该产品的主要优点在于其创新性和趣味性,能够激发用户的想象力和探索欲。

  • Relingo:智能双语翻译,助力词汇记忆

    Relingo是一款专注于提升用户英语词汇记忆能力的教育类APP。它通过在用户阅读和观看视频时自动高亮生词并提供翻译,帮助用户在感兴趣的内容中轻松积累单词。产品支持多种语言,包括中文、英文、日文等,覆盖了全文翻译、视频双语字幕、PDF阅读等多种场景,使用户在沉浸式翻译中提升语言能力。

  • AI Photo Filter:AI滤镜,一键转换照片风格

    AI Photo Filter是一个在线服务,使用人工智能技术将用户上传的照片转换成多种艺术风格,如动漫、粘土、3D、像素艺术等。它适用于初学者和专业人士,只需简单点击即可使用。该技术的主要优点包括操作简便、风格多样、效果生动,能够满足不同用户对照片美化和创意表达的需求。

  • ideaShell:AI语音思维笔记,捕捉灵感,提升行动力。

    ideaShell是一款结合人工智能技术的语音思维笔记应用,旨在帮助用户通过语音快速捕捉灵感和想法,并通过AI技术进行反思和行动规划。它通过自动组织、格式化、添加标签和标题,帮助用户将想法转化为行动,同时支持将草稿导入到其他应用程序如Notion、Craft、Docs和Reminder中进行最终创作和后续行动。

  • 无忧智慧公文:智能公文辅助系统,提升办公效率。

    无忧智慧公文是专为政府机关、大型央企、国企办公人员定制的办公辅助系统,依托大数据、人工智能(AI)与自然语言处理技术(NLP),提供辅助写作、智能审核和智能排版功能,帮助用户安全、智能、高效地完成公文工作。

  • 无忧智能审核系统:依托AI与NLP的文本自动查错与智能纠错系统。

    无忧智能审核系统是一款基于大数据、人工智能(AI)和自然语言处理技术(NLP)的文本自动查错与智能纠错系统。它通过深度学习能够全面校对多种文本错误类型,有效提升人工检校效率,消除审校盲区,提升内容安全和文本质量。系统支持多种部署方式,包括嵌入版、整站审核和接口版,能够满足不同行业和场景的需求。

  • MacOS Agent:MacOS的简化助手

    MacOS Agent 是一个基于大型语言模型(LLM)的简单、轻量级解决方案,利用Dify这个AI应用开发平台。该助手使用户,甚至儿童,能够通过自然语言命令轻松控制MacOS,就像与技术专家交谈一样简单。它不仅类似于Siri,还通过支持多轮对话增强了功能,允许用户在任务中保持上下文和连续性。例如,你可以要求助手提供一些文本,然后请求它将该文本转换为Excel或Word文件。

  • Vercel AI SDK:构建AI驱动产品的开发工具包

    Vercel AI SDK是由Next.js的创造者推出的工具包,旨在帮助开发者构建AI驱动的产品。它提供了统一的API来访问多个AI提供商,支持生成音乐播放器、动态生成用户界面等。该SDK兼容多种框架,如React、Next、Vue等,能够通过Vercel Functions提供即时反馈。

  • DeepSeek-V2-Chat-0628:一款先进的对话生成模型

    DeepSeek-V2-Chat-0628 是 DeepSeek-V2 系列的改进版本,专为对话生成任务设计。它在 LMSYS Chatbot Arena Leaderboard 上表现出色,整体排名第11,特别是在编程任务和挑战性提示中表现出色。该模型在多个评估指标上均有显著提升,如 HumanEval、MATH、BBH、IFEval 和 Arena-Hard 等。此外,其在“系统”领域的指令遵循能力也经过优化,显著提升了用户体验。

  • Goldfish:视频理解的先进模型

    Goldfish 是一种为理解任意长度视频而设计的方法论。它通过高效的检索机制,首先收集与指令相关的前k个视频片段,然后提供所需的响应。这种设计使得Goldfish能够有效处理任意长的视频序列,适用于电影或电视剧等场景。为了促进检索过程,开发了MiniGPT4-Video,该模型为视频片段生成详细的描述。Goldfish在长视频基准测试中取得了41.78%的准确率,超过了之前的方法14.94%。此外,MiniGPT4-Video在短视频理解中也表现出色,分别在MSVD、MSRVTT、TGIF和TVQA短视频基准测试中超过了现有最佳方法3.23%、2.03%、16.5%和23.59%。这些结果表明,Goldfish模型在长视频和短视频理解方面都有显著改进。

今日大家都在搜的词:

热文

  • 3 天
  • 7天