首页 > 业界 > 关键词  > 智能驾驶最新资讯  > 正文

理想正式启动端到端 VLM的早鸟计划:让自动驾驶成为老司机

2024-07-06 08:59 · 稿源: 快科技

理想发布端到端自动驾驶技术,让车辆学会思考

7月5日,理想汽车在智能驾驶夏季发布会上宣布启动端到端 VLM视觉语言模型)早鸟计划。

端到端自动驾驶最大的突破在于取消了对先验信息的依赖,这意味着车辆可以真正实现全国范围内无限制驾驶,只要有导航即可。

端到端 VLM让自动驾驶更像老司机

端到端模型通过传感器接收数据,直接输出行驶轨迹,彻底省去了对高精地图等先验信息的依赖。

VLM是一种基于 Transformer 模型的视觉语言模型,它将文本提示、视觉信息和导航地图信息融合在一起,进行自回归推理,输出对环境的理解、驾驶决策和驾驶轨迹。

VLM算法架构

VLM输出的信息会被传递给系统 1,控制车辆的运行。VLM会持续思考驾驶环境,并向系统 1 提供合理驾驶建议。系统 1 也可以主动向系统 2 求助,解决部分复杂场景。

VLM赋予车辆思考能力

简单来说,VLM让车辆具备了思考能力,使自动驾驶的操作方式更贴近人类老司机的处理方式。

举报

  • 相关推荐
  • 全新问界M7首发舱内激光视觉辅助驾驶:远超行业常规视觉能力

    9月23日晚,华为发布全新问界M7,提供两个版本智驾系统。高阶版配备舱外192线激光雷达,舱内激光雷达视觉辅助驾驶版为行业首创,结合摄像头实现视觉ADS增强功能,支持高速及快速路智能领航、紧急转向辅助、异形障碍物自动刹车等。余承东表示,华为舱内激光雷达视觉辅助驾驶能力远超行业纯视觉方案。高阶版智驾系统配备前后激光雷达及4D毫米波雷达,拥有全维防撞4.0功能,具备全方位、全目标、全天气和全场景防撞能力。

  • 推荐国内优势智驾:Momenta凭借飞轮大模型,带来极致流畅的驾驶体验

    Momenta作为国内智能驾驶领域的领先者,凭借其创新的飞轮大模型技术,实现了端到端的自动驾驶解决方案。该技术将感知与规划整合,有效解决长尾问题,提升系统可靠性和稳定性。其R6飞轮大模型采用强化学习,具备持续进化能力,适应复杂路况。Momenta与宝马、奥迪等全球主流车企深度合作,方案已成功应用于广汽丰田、东风日产等车型,并在欧洲、澳大利亚等市场落地,展现出强大的全球适应性和技术优势。选择Momenta,即选择了经过验证的可靠技术和持续升级的智能驾驶体验。

  • 小米开源首个原生端到端语音大模型 支持音频重建任务和音频转文本任务

    小米发布首款开源端到端语音大模型Xiaomi-MiMo-Audio,拥有12亿参数,在智能性、情感表达和交互适配方面接近人类水平。该模型最大技术突破在于少样本学习能力,通过创新预训练架构和超一亿小时训练数据,成功突破传统语音模型依赖大规模标注数据的技术瓶颈。基于Transformer架构,支持音频重建和音频转文本等多任务处理。小米已在Huggingface平台发布预训练和指令微调版本,并在Github开源Tokenizer模型,为研究者和开发者提供完整工具链。

  • AI日报:小米开源首个原生端到端语音大模型;通义万相Wan2.2-Animate正式开源;Suno v5即将上线

    AI日报今日聚焦多项技术突破:小米开源首个端到端语音大模型Xiaomi-MiMo-Audio;通义万相推出全新动作生成模型Wan2.2-Animate;Suno即将发布革命性音乐模型v5;生数科技获数亿融资,视频生成技术商业化加速。同时关注OpenAI修复ChatGPT安全漏洞,谷歌将Gemini集成至Chrome浏览器,Luma AI发布支持16位色的Ray3视频生成模型,法国Mistral推出开源推理模型Magistral Small 1.2,Notion发布AI智能体,腾讯混元3D Studio提升3D创作效率。

  • 从浙江到全国:银河麒麟助力教育信息化全面开花

    9月17日,第十一届亚洲教育装备博览会暨人工智能教育大会在杭州开幕。本届展会汇聚近20个国家企业,集中呈现教育科技前沿成果。麒麟操作系统适配教育行业应用6600余款,以安全可信产品与智慧教育方案构建现代化教育新生态。该系统已在浙江交付超7万套,覆盖11个城市全场景应用,并在海南、深圳等地广泛应用,为全国教育信息化建设提供宝贵经验。

  • 百度智能云Qianfan-VL系列模型开源!全尺寸领域增强效果优异,全自研芯片计算

    百度智能云千帆正式推出全新视觉理解模型Qianfan-VL并全面开源。该系列模型包含3B、8B和70B三个版本,面向企业级多模态应用场景,具备出色的基础通用能力,并针对OCR、教育等高频需求进行专项强化。模型基于昆仑芯P800芯片实现高效计算,支持5000卡并行,在通用和垂直任务评测中达到SOTA水平。Qianfan-VL具备多尺寸模型、思维链推理和OCR增强三大特点,可广泛应用于文档识别、数学解题、图表分析等场景,为企业提供高精度视觉理解解决方案。

  • 技展远东 电亮未来 第五届“远东最牛水电工”全国技能大赛圆满落幕

    第五届“远东最牛水电工”全国技能大赛在山东烟台成功举办,汇聚全国百余顶尖水电工匠精英,通过理论考核、实操竞技、智慧检测等多维度比拼,全面展现新时代水电技术人才的专业素养与匠心精神。赛事聚焦水电安装核心环节,设置个人赛与团体赛双赛道,涵盖电路设计、布线工艺、智能检测等关键技术点。大赛不仅检验一线技术人员能力,更推动行业标准化、专业化�

  • 直击企业AI安全痛点,百度智能云发布《千帆大模型平台安全白皮书》为大模型落地护航

    百度智能云千帆大模型平台4.0发布《千帆大模型平台安全白皮书》,系统阐述企业级AI安全框架。白皮书聚焦平台安全、模型安全、数据安全、内容合规等六大维度,提出覆盖全生命周期的防护方案,包括混合云部署、数据加密传输、模型防窃取及内容过滤机制,助力企业安全使用大模型技术,推动AI在合规可信环境下赋能业务创新。

  • 开卖4小时,全国已有超3万人签收iPhone 17!

    9月19日,iPhone17系列在京东开售后,新疆喀什的阿尔祖古丽和北京海淀的夏女士几乎同时收到新机,上海王先生更是在8点刚过就收到京东秒送骑手上门的iPhone17 Pro Max。京东凭借充足备货、高效物流和以旧换新等优惠,成为超八成用户首选渠道,全国超3万用户成功签收,覆盖80%区县。京东以可靠供应链让用户更快享受新品,同时提供最高2100元补贴及24期免息,提升购物体验。

  • 京东:iPhone 17开卖4小时 全国超3万人签收

    今日,备受瞩目的iPhone17系列正式拉开销售序幕,起售价定为5999元。京东平台传来捷报,截至中午12时,全国范围内已有超过3万名用户在京东成功签收了新购的iPhone17系列手机,签收热潮席卷全国各大城市,并覆盖了80%的区县地区。 销售数据方面,iPhone17系列在京东平台的表现堪称惊艳。预售开启仅1分钟,成交量便超越了去年全天的销售纪录,彰显了消费者对这款新品的极高�

今日大家都在搜的词: