首页 > 业界 > 关键词  > 人机交互最新资讯  > 正文

清华、中科院、MIT联合提出Co-Pilot人机交互框架 用语言模型作为辅助驾驶

2023-11-08 14:05 · 稿源:站长之家

要点:

1、首次用语言模型作为辅助驾驶,用描述的方式来控制行动轨迹

2、Co-Pilot人机交互框架能完美把控乘客意图

3、大语言模型在自动驾驶领域进一步深入应用的可能性

站长之家(ChinaZ.com) 11月8日 消息:近日,清华大学、中国科学院、MIT的科研人员联合研究人员对于大语言模型在人机交互领域中的应用进行了研究,设计了一种名为Co-Pilot的人机交互框架。该研究首次尝试用语言模型作为辅助驾驶,以描述的方式来控制行动轨迹,同时能够符合用户的轨迹意图。此举揭示了大语言模型在自动驾驶领域进一步深入应用的可能性,也为后续相关研究指明了方向。

image.png

论文地址:https://www.researchgate.net/figure/Co-Pilot-for-path-tracking-control-The-system-consists-of-three-modules-the-Reference_fig2_374800815

人车交互作为智能汽车发展的重要功能之一,对降低司机驾驶负担、提升乘客出行体验有很大帮助,相关功能也成为了消费者在选择时的重要标准。在此前提下,Co-Pilot人机交互框架的应用能够完美把控乘客意图。大语言模型具有理解说话者真正意图的能力,并得益于大量训练数据中的知识,具有一定的常识,通过调整提示词,对不同任务具有很好的适应性,极大提升了应用与落地的效率。因此,大语言模型为解决人机共驾问题提供了一种新的思路。

为了验证Co-Pilot架构的可行性,研究人员设计了两个不同种类的任务进行测试,实验效果达到了预期。另外,Co-Pilot架构的记忆机制能够提升信息利用效率。通过更新记忆中的内容来增强提示词,使得大语言模型进行少样本学习。因此,Co-Pilot架构在自动驾驶人机交互领域的应用具有可行性和有效性。

研究人员通过在仿真平台中开展实验,得出了验证结果。实验结果表明,情景记忆在相似任务中对Co-Pilot的推理最有帮助,使其可结合人类意图给出合理的反应。调优后的提示模式在更复杂的实验中也取得了良好效果。提示中不同记忆的组合,对于大语言模型的表现有着显著的影响。这表明了Co-Pilot架构在自动驾驶人机交互领域具有良好的应用前景。

举报

  • 相关推荐
  • 理想汽车OTA7.4正式推送!自研MindGPT-4o-preview模型首次上车

    理想汽车5月28日发布OTA 7.4版本升级,主要亮点包括:1)首次搭载自研MindGPT-4o大模型,智能助手"理想同学"升级为3D毛绒形象,新增双手交互动作,语音交互更自然生动;2)新增"小同桌"多角色对话功能,支持连续聊天和情商引导;3)升级为生活助手Agent,能自主操作车机完成复杂任务,支持支付宝小程序操作;4)新增家庭账号系统、面容识别和对话历史功能;5)影音体验优化,支持前后排独立音区;6)推出儿童节专属"小主人"模式,新增斑马百科应用;7)新增超充站降锁、冰箱定时开关等实用功能;8)优化L6车型CDC悬架系统,提升操控性。

  • 小米YU7辅助驾驶标配即旗舰:全系激光雷达 夜间识别更精准

    小米辅助驾驶一问世就是全国第一梯队,那么时隔一年有余,小米YU7的辅助驾驶能力怎么样呢? 小米汽车今天进行了解答:小米YU7标配即旗舰”,全系标配激光雷达,以及1颗4D毫米波雷达、11颗高清摄像头和12颗超声波雷达,这些硬件为小米YU7的辅助驾驶功能带来了更好的表现。 全系标配的激光雷达可以让小米YU7在夜间或复杂环境下识别更精准,最远有效点云距离达200米,同

  • 奥迪x华为乾崑:豪华电动3.0与燃油智能辅助驾驶革命双擎共舞

    2025年5月31日,华为乾崑与奥迪在粤港澳大湾区国际车展发布重磅合作成果。奥迪Q6L e-tron作为首款搭载华为乾崑智能驾驶技术的豪华纯电车型,采用PPE平台与华为技术深度融合,实现800V高压快充、765公里续航等领先性能。同时发布的奥迪A5L Sportback成为全球首款搭载华为智能驾驶系统的燃油车,融合德系机械素质与华为创新科技。两大车型的"油电同智"战略,标志着华为从科技伙伴升级为豪华车标配,推动汽车行业从机械性能竞争转向智能生态竞争的全新时代。

  • 李未可AI眼镜新品发布会:零级智能体开启人机交互新纪元

    李未可科技发布2025年度新品,推出三款AI智能眼镜及专属大模型"WAKE-AI任务式交流系统"。核心亮点是"零级智能体ZeroAgent",通过多智能体协同实现任务分发与动态决策,打破传统硬件依赖单一AI功能的局限。新品包括轻量化设计的LAWK City系列(续航14小时,仅重23-27克)和旅拍版LAWK View(支持20种语言翻译)。公司联合米奥兰特国际会展瞄准跨境商务场景,并与博士眼镜达成战略合作,推动AI眼镜线下体验。创始人茹忆强调"AI定义硬件"理念,预测未来十年传统眼镜将全面智能化,轻量化、长时佩戴与场景适配是竞争核心。

  • 特斯拉智能辅助驾驶限时转移正式上线 6月30日前下单生效

    5月30日,特斯拉宣布一项针对老车主的新服务——智能辅助驾驶权益限时免费转移服务正式上线。 此次服务面向已购买智能辅助驾驶权益的老车主群体。若这些老车主在2025年5月30日至6月30日期间下订并完成Model S、Model3、Model X或Model Y全系车型的交付(包含增购及置换情况),便能够将原车的智能辅助驾驶权益免费转移至新车。 值得一提的是,特斯拉中国官网在3月对辅助驾�

  • 辅助驾驶终身免费使用!小米6月购车政策发布:含SU7/SU7 Ultra车型

    小米汽车6月推出SU7和SU7 Ultra两款车型购车权益:SU7赠送8000元Nappa真皮座椅及终身免费智能驾驶;SU7 Ultra赠送1.9万元碳纤维组件、5年基础保养及2.6万元高阶智驾终身使用权。活动时间:SU7权益截至6月30日,需在6月1-30日期间支付定金;SU7 Ultra权益同期限定,高阶智驾权益与车辆绑定。

  • 小米YU7辅助驾驶标配25颗传感器:激光雷达最远探测200米

    在小米汽车发布的第142集小米汽车答网友问中,小米汽车介绍了小米YU7配备的辅助驾驶传感器情况。 小米汽车表示,小米YU7全系标配了1颗激光雷达、1颗4D毫米波雷达、11颗高清摄像头和12颗超声波雷达,为小米辅助驾驶功能带来了更好的表现。 小米YU7全系搭载激光雷达,在暗光环境和异形障碍物识别方面看得更准,最远有效点云距离达到200米,功耗降低 55%。

  • 15万最强智能辅助驾驶!MONA 03 MAX版今天上市 何小鹏:比肩友商50万旗舰车

    近日,小鹏汽车宣布,小鹏MONA M03Max版已正式面向全国发运,预计将在5月28日(今日)上市后立即开启交付。 据悉,此次推出的M03Max版,包括502长续航Max、600超长续航Max两个版型。

  • ChatGPT重磅升级GPT-4.1:编程专家模型登场

    OpenAI于5月15日正式推出GPT-4.1模型,采用差异化推送策略:付费用户可体验完整版,普通用户使用轻量级GPT-4.1 mini。新版模型在编程任务表现突出,能精准遵循指令,避免冗长输出。测试显示其响应速度提升30%,输出稳定性提高40%,部分性能超越GPT-4o。同时OpenAI宣布将斥资30亿美元收购编程工具Windsurf,强化开发者生态,与Google同日发布的Gemini-GitHub形成直接竞争。两大巨头的动作标志着AI编程助手进入生态竞争新阶段。

  • 超越OpenAI、拿下全球双料第一,“AI吴彦祖”背后大模型SOTA了!

    超越OpenAI! 国产大模型突袭,AI语音生成天花板被重新定义了。 MiniMax最新发布Speech-02,同时拿下Artificial Analysis Speech Arena和Hugging Face TTS Arena两项全球权威语音基准测评第一!