首页 > 传媒 > 关键词  > 正文

亚运会惊现AI解说员,机器人帮残障者捡物品,北大学生为亚运会研发黑科技

2023-10-06 18:42 · 稿源: 站长之家用户

作为本届亚运会办赛理念之一,“智能”贯穿于杭州亚运会全的各个方面。

为服务正在举办的第19届亚运会,在北京大学黄铁军教授及仉尚航研究员的指导下,北京大学庄棨宁学生团队基于多模态大模型的研究,结合视觉、语言、语音等多种模态的输入,推出高速运动AI 多语种解说系统,为观众提供更丰富的观赛体验。这也是多模态大模型技术首 次在国际大型综合性体育赛事中的落地和尝试。

同时,团队着眼于具身智能研究,研发基于多模态大模型的人工智能助理来提供导览引领、场景解说、物品抓取等服务,为残障和需要帮助的人士创造更为人性化的互动方式和友好体验。

AI“复刻”赛事解说员

“除却君身三重雪,天下谁人配白衣。”

东京奥运会上中国运动员杨倩夺得首金身披白色领奖服时,赛事解说员用这句“神仙”解说词击中了无数观众的心。

事实上,一场精彩的体育比赛不仅取决于运动员双方的比拼,解说员在其中的价值也不可忽略。竞赛解说员不仅会在解说中提供关于球队、运动员和比赛背景的信息,帮助观众更好地理解比赛的重要性和背后的故事,经验丰富的解说员还能够深入分析比赛,揭示比赛中的策略和技巧,使观众能够更好地理解比赛的每一个环节,从而提高观赛的乐趣。

当比赛出现精彩一刻,优秀的解说员还能够通过解说传达激情和情感,更好地带动观众的情绪,为赛事瞬间增色添彩,甚至成为永恒经典。

然而受限于人手问题,并不是每场体育赛事都会安排解说员,特别是亚运会这类国际大型赛事,同一时间有多场比赛进行,并且不是所有的解说员都适合解说所有的体育项目,很多相对小众的赛事就会缺少解说员,更无法想象一位解说员可以使用多种语言、面向不同的语言的受众做解说。

基于此,北大庄棨宁学生团队面向乒乓球、跆拳道、跳水、体操等赛事,推出了高速运动 AI 解说系统,系统可以辅助录播频道调用多模态大模型能力,理解视频内容,并生成中文、英语、藏语、阿拉伯等多种语言的解说,让信息传递给更多有实际需求的人。

图:AI智能解说通过感知场景并生成解说

庄棨宁介绍说,这一技术通过高速摄像机的脉冲信号检测场景物体和运动员,将能够捕捉体育比赛中的关键时刻,并生成高质量的集锦和相关数据,基于多模态大模型算法和深度学习模型对这些运动数据进行分析,基于分析结果,系统再生成提供实时的个性化解说服务,从而为各个语种的观众都能提供个性化的体验。

智能爱心辅助助手让AI有温度

大型赛事活动通常会为东道主城市带来显著的经济、环境等变化,但由于人流量激增,城市公共区域会面临巨大压力。据预测,亚运会期间的杭州也将迎来近年来最密集的游客潮,外地游客量将超过2000万人次,加上本届杭州亚运会来自亚洲45个国家和地区代表团的12527名运动员,亚运期间杭州的人流大增。

在杭州市公共区域,庄棨宁学生团队打造了具身智能机器人软件服务系统,用于亚运会期间的导航指引与帮助服务。这套系统可以为观众提供导览服务,协助视障人士进行引领和导航,解析视障人士需求并完成相应任务,帮助视障人士捡拾掉落的物品等。

目前,在杭州市的一些亚运会志愿者服务点,已经有市民看到一个机器人外观的智能体在为视力障碍人士服务。

图:杭州市民在体验庄棨宁学生团队的具身智能机器人软件服务系统

“很荣幸能够将我们的所学、所研转化为可以服务每个人的应用,让AI服务人们的普通生活。”庄棨宁介绍说,为本次亚运会打造的具身智能机器人软件服务系统,是基于团队自研的感知生成一体化多模态大模型,能够准确地感知与理解场馆内外的视觉场景,生成准确、丰富的语言描述,控制机器人执行智能志愿者服务任务。

同时,团队将多模态大模型与具身智能相结合,使得人工智能可以更好的感知和理解物理世界,再更好地做决策,最终实现人工智能和物理世界更好地交互。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大学生模仿春晚机器人跳舞获一等奖 网友:太抽象

    近日,在河南郑州的一场集体舞大赛中,一群大学生凭借独特的创意和精湛的舞技脱颖而出,成功斩获一等奖。他们的表演内容竟是模仿春晚中的机器人跳舞节目,且全员身着与机器人相似的全套装备,这一别出心裁的演绎方式引起了现场观众的热烈反响。据悉,这群大学生为了准备这次比赛,不仅反复研究了春晚机器人跳舞节目的每一个细节,还精心设计了与机器人相匹配�

  • 周鸿祎直言:机器人研发难度远超自动驾驶

    文章主要讲述了AI技术在医疗领域的应用与影响。AI被用于诊断、治疗、研究和预测,提高了医疗系统的效率和准确性。AI能够快速分析大量数据,辅助医生做出更精准的诊断,同时在药物开发、病理分析和个性化治疗方面展现出巨大潜力。文章指出,AI技术在医疗领域的发展虽然面临隐私和伦理挑战,但也为患者带来了更个性化的服务和治疗方案。整体而言,AI在医疗领域的应用仍然受到传统医疗体系的制约,但其优势在于能够处理大量复杂信息,促进医学研究的深入发展。

  • 宇树机器人1分钟售机器狗超百万 成为全球首个AI机器人主播

    3月31日深夜,“交个朋友控股”官方微博发布消息称,其淘宝直播间迎来了一位特殊的嘉宾——宇树人形机器人G1。当晚,G1作为全球首个AI机器人主播,正式登上电商直播的舞台,并在一分钟内创造了超过100万元的销售额,这一成绩几乎与经验丰富的头部主播在大促期间的销售效率持平,彰显了G1强大的带货实力。直播中,G1采用了拟人化的表达方式,不仅向观众介绍了宇树科�

  • 首个人形机器人半马冠军诞生:天工机器人已经冲线完赛

    快科技4月19日消息,今天上午,全球首个人形机器人半程马拉松在北京亦庄开跑,21支机器人队伍与12000名人类选手同场竞技,共同挑战21.0975公里的赛道。据央视新闻官微介绍,目前天工机器人以36分54秒率先冲线完赛,夺得冠军。据悉,天工是北京人形机器人创新中心发布的纯电驱拟人奔跑的全尺寸人形机器人,能以6公里/小时的速度稳定奔跑,是该中心自主研发的通用人形机

  • 刘慈欣谈机器人跑半马:具身机器人将给社会带来颠覆性影响

    快科技4月20日消息,日前,全球首个人形机器人半程马拉松赛在北京亦庄举行,经过21公里的比拼后,天工Ultra以2小时40分钟的成绩率先完赛,夺得首个人形机器人半马冠军。据央视财经报道,在人形机器人半马开跑前夕,科幻小说《三体》《流浪地球》的作者刘慈欣接受专访。刘慈欣表示,赛事更多的是一种展示,机器人跑步表现它很平衡的跑步移动功能,就像春晚上跳秧歌�

  • 宇树科技回应机器人马拉松摔倒:并未参赛 不要误解

    快科技4月19日消息,今天上午,全球首届人形机器人半程马拉松在北京开跑。网传视频显示,宇树科技G1人形机器人刚起跑就摔倒在地,随后站起继续比赛。宇树科技对此发布声明称:宇树最近完全没有参与任何比赛,主要忙着准备人形机器人的格斗直播。此次比赛中的宇树机器人是第三方人员使用,使用的是他们自己的算法。宇树科技强调,不同人操作或开发情况下,机器人

  • 全球首个人形机器人半马本周举行:参赛机器人首次路测

    全球首个人形机器人半程马拉松赛将于4月13日在北京亦庄举行。近期参赛的人形机器人在跑道上进行首次路测,其中包括北京人形机器人创新中心的天工机器人、北京昌平的松延人形机器人等。控制方式方面,机器人可以是手动遥控,也可以是完全自主的控制方式。

  • 摩尔线程与松应科技共建国产物理AI仿真生态,开启机器人训练国产化新纪元

    在全球机器人产业研发效率持续升级的背景下,端到端物理AI仿真技术已成为缩短产品开发周期、降低试错成本的关键基础设施。叠加《"十四五"机器人产业发展规划》与《新一代人工智能发展规划》的政策推动,机器人产业正面临技术自主化与规模化应用的双重挑战。我们的愿景是为美好世界加速。

  • 港仔机器人发展人形机器人产业生态 布局多个应用场景

    4月21日,港仔机器人公司与国华达闼战略合作签约暨公司成立媒体见面会在京举行。该公司将专注定制化机器人开发制造,瞄准教育、医疗健康、长者照护、物业管理等多元场景需求,打造一站式MaaS解决方案。同时成立研究院推动跨学科研究及商业化应用,并在香港建立人形机器人生产线。目前已在康养、智能医疗等领域取得进展,其养老机器人已获市场认可。公司计划到2035年生产2亿台家庭保姆机器人,服务4亿老人。与南通市政府合作的康养示范区项目将服务3000名用户,预计带来可观订单。据行业报告预测,2025年中国人形机器人市场规模将达53亿元,2029年或突破750亿元。公司将持续发力技术研发和市场拓展,抢占行业先机。

  • 王力以科技企业担当架起大学生返乡创业桥梁 打造乡村振兴新引擎

    在数字经济与乡村振兴战略深度融合的新时代背景下,一场别开生面的青年创业盛会即将启幕。 4 月 25 日,由共青团中央机关报《中国青年报》、农业农村部指导单位中国乡镇企业协会、中国国际科技促进会联合主办的“乡村振兴、返乡创业”大学生直播系列活动将于北京正式启动。作为全国安防门锁首家上市企业,王力此次以总冠名商身份深度参与活动,既彰显了品牌年轻�