首页 > 传媒 > 关键词 > 云从科技最新资讯 > 正文

云从科技3D人体技术取得重大突破 刷新三项世界纪录

2019-03-20 09:01 · 稿源:站长之家用户投稿

近年来,应用场景的旺盛需求,推动AI领域将技术能力从感知延伸到认知、从2D扩展到3D。

3 月 19 日,云从科技基于单帧图像的3D人体重建技术同时在Human3.6M、Surreal和UP-3D上创造了最新的世界纪录,此次突破将原有最低误差记录大幅降低30%,也是继去年云从在3D人脸数据集上大幅刷新纪录后,再次在此类3D重建技术上取得重要成果。

图片34.png

Human3.6M数据集上对比 

图片35.png

Surreal数据集上对比

图片36.png

UP-3D数据集上对比

3D重建领域通常以误差(Error)作为衡量算法能力的主要指标,误差(Error)就是生成模型与实际图像的差别。一般来说,误差(Error)越低,精度越高,意味着技术的性能越好。

云从科技3D人体重建技术全身精度误差(Surface Error)在Surreal上从75. 4 毫米降低到52. 7 毫米,关节精度误差(3D Joint Error)从55. 8 毫米降低到40. 1 毫米,Human3.6M上的关节精度误差(3D Joint Error)从59. 9 毫米降低到46. 7 毫米,技术的执行速度从之前的上百毫秒降低到仅需 5 毫秒。

论文中,云从科技针对人体具有丰富多样的姿态和穿着的特点,提出了一套全新的基于人体3D纵深预测的3D信息表征方式。通过对三原色图像(RGB,不含深度信息)的分析,预测人体的3D形态和姿势,并用 6 万多个点完整描绘人体,从而在人体重建技术上取得速度与精度的双突破,呈现出来的模型更精细,帧率更是高达到200fps,原本由于受实时显示限制而无法实现的应用可以一一实现——这将极大地推动相关智能图像应用的落地步伐。

图片37.png

  

由于对输入图像的要求低,使3D重建技术将可以利用普通光学摄像头作为感知设备该技术将会使美颜APP无需结构光摄像头也能具备高精准度的瘦身与动画合成功能;商场内试衣魔镜将会自动根据身形生成你所想要更换的衣服,大大节省商场空间的同时提升用户体验度,使更多智能应用成为可能。 

通过重要人员影像重建、医疗仿真肢体打印、虚拟试衣、美颜化妆、表情姿态动画合成等应用场景在大型商场、直播平台、美颜软件、影视特效制作等行业普惠AI能力。

 值得一提的是,Human3.6M、Surreal和UP-3D是全球关于3D人体重建技术的权威数据集,加州大学伯克利分校、马克斯-普朗克研究所、Amazon、宾夕法尼亚大学、北京大学、浙江大学、Microsoft Research、法国国家信息与自动化研究所、Adobe Research等知名企业、研究所和大学都在该榜单的竞争队列中,算法实力比拼可谓激烈,相较于以往,中国企业与高校机构开始逐渐在国外老牌优势领域展露头角。

与传统关键点检测、3D重建技术的区别

传统的人体关键点检测技术往往以2D的人体骨骼关节点检测形式出现,即通过技术预测RGB图像中人体的十几个关节点的坐标,一方面结果非常稀疏,将人体大为简化成骨骼的形式,另一方面结果往往只包含二维平面上的坐标预测,不能还原深度信息,因此无法体现纵深的感觉。而基于单帧图像的3D重建技术不仅能输出骨骼关节点信息,更能同时预测大量的人体表面关键点信息,预测结果更加丰富,而且每个点的坐标都是3D的,能够体现不同躯干的纵深信息。

3D关键点检测

并且传统3D重建技术大多需要连续的图像序列或是多视角的图像,在硬件设备上一般需要采用双目摄像机或者结构光摄像机等设备,因此在手机等便携设备上往往难以实现;另一方面,专用设备还会增加部署成本,增加大规模普及3D重建技术的难度。

基于单帧图像的3D重建技术对原始图像的需求放松的同时,对背后的技术提出了更难的挑战:技术需要从单帧图像中推理出人体或人脸的3D形态,并通过【光学透视】【阴影叠加】等基本光学原则准确预测出各个关键点在3D空间的位置和朝向,从而得到人体的姿态或表情信息。

图片40.png

人体姿态和服饰复杂多样,精度提升意味着对复杂场景的适应性更好,模型更接近真实的情况。如阿凡达、漫威电影、阿丽塔等电影中,都需要专用特效设备与面部贴点来完成精细的人像采集,基于单帧图像的3D人体/人脸重建技术将彻底颠覆电影视频的拍摄制作,同时降低工业级3D动画合成的门槛。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 云从科技发布“轻舟”平台:轻松搭建你想要的AI生态

    2020 年 7 月 9 日,世界人工智能大会云端峰会正式开幕。AI国家队、四小龙之一的云从科技在本届WAIC大会上举行新品发布会——“轻舟”平台及“千帆”合作伙伴计划。这是云从科技的新一代行业级人工智能产品和能力平台,为各行业用户深度赋能,提供适应多种需求的产业开发及生态搭建基础,将有效降低应用门槛、提升落地效率与质量。云从轻舟平台将更有效地促进AI与各行业的深度融合,加速AI的行业落地应用。对此,云从科技高级副总?

  • 数字孪生技术打造3D可视化工厂

    现代化工厂的自动化、信息化程度都相对较高,各种系统的部署,软硬件的联合应用,都使得工厂管理的重要性更为突出,同时也增加了管理的工作量。究其根本原因,还是因为庞大体系下的工厂信息不透明导致的。工厂集中监控可视化管理平台的缺失,导致管理人员无法实时、全面、准确的得知各生产及相关环节的实际状况,更无法及时的进行排查及做好及时处理,这也造成了工厂管理的窘境。基于这一背景,力控科技旨在通过三维可视化技术、快

  • 云从科技深耕商业 让AI重新定义汽车零售

    近日,由iDigital China举办,中国国际贸易促进委员会汽车行业分会战略支持的ADMIC汽车数字化&营销创新峰会暨金璨奖颁奖盛典在上海完美落幕。云从科技受邀出席了此次峰会,并荣获ADMIC金璨奖。基于长期的汽车垂直行业耕耘,备受行业关注的ADMIC年度金璨奖今年花落云从科技,荣获“年度优秀人工智能技术/平台”。这是对云从在汽车零售领域创新能力、行业影响力和业务价值的实力证明。此次峰会云集了沃尔沃、Jeep、保时捷、蔚来等国?

  • 科学家正研究3D打印微型人体器官,用于测试新冠病毒药物

    维克森林大学再生医学研究所的主任安东尼·阿塔拉(Anthony Atala)和他的团队正在使用3-D打印机制造人体器官的微型复制品,包括微型肺和结肠,这些器官特别容易受到新冠病毒的影响。

  • 云从科技与工商银行签署战略协议 推动金融科技创新发展

    7 月 24 日,云从科技与中国工商银行广州分行(以下简称“广州工行”)战略框架协议签约仪式在广州工银大厦举行。广州市科学技术局副巡视员石鹏飞、广州工行行长周骏和云从科技创始人周曦等共同出席了本次活动。在活动上,各界嘉宾共同见证了“工银科创投资+”启动、首笔业务落地云从仪式,双方战略合作签约及融安E信业务合作仪式。双方通过强强联合,将开展多领域、深层次、全方位的金融合作,金融携手科技,共发展——既为科技创

  • 加速智慧高速建设 云从科技与招商华软签署战略合作框架协议

    7 月 27 日,云从科技集团股份有限公司与招商华软信息有限公司(以下简称“招商华软”)在北京签署战略合作框架协议。招商华软总经理范崇贵、云从科技副总裁孙庆凯分别代表各方签署了本次协议。根据协议,招商华软和云从科技将充分发挥各自的优势,在高速公路收费稽查领域全面展开人工智能和大数据解决方案的探索与合作,共同推进高速公路收费稽查与追缴业务的智能化升级,助力高速公路朝着智慧化运营的目标迈进。伴随着高速公路省界

  • 肯德基研发3D打印鸡肉 今年秋季将在莫斯科进行最终测试

    肯德基宣布和俄罗斯3D生物打印公司3D Bioprinting Solutions合作开发生物打印技术,利用鸡肉细胞和植物材料 "打印 "鸡肉。肯德基计划向俄罗斯3D生物打印公司提供配料。

  • 肯德基与俄罗斯生物打印公司合作,尝试制作3D打印鸡肉

    继去年推出人造肉炸鸡之后,现在肯德基又宣布和俄罗斯3D生物打印公司3D Bioprinting Solutions合作,尝试利用鸡肉细胞和植物材料 "打印 "鸡肉。

  • 华为Mate 40 Pro爆料:双孔曲面屏 支持3D人脸识别

    7月29日消息,根据已经披露的信息,华为Mate 40 Pro采用的是双孔曲面屏。相比刘海屏,Mate 40 Pro双孔曲面屏是否会保留3D人脸识别?爆料人@RODENT950透露,Mate 40 Pro支持3D人脸识别,预计

  • 先临三维EinScan HX双蓝光手持3D扫描仪新品发布

    先临三维于第六届TCT Asia展览会重磅推出神秘新品EinScan HX双蓝光手持3D扫描仪,作为线下的首次亮相,吸引了众多观众目光。“这款产品有两个光源,分别有它的使用侧重点,对于我来说,它不用贴点,就可以扫描包装产品,还可以用激光模式来获取包装模具的3D数据。设备还很轻,拿在手里扫描很轻松。”——某现场签约下单的包装行业客户它的精彩不止“一面”EinScan HX是先临三维基于多年三维测量经验,同时结合市场需求的革新之作,

  • 肯德基宣布与3D生物打印公司合作 尝试制作实验室生产更环保鸡块

    对于肯德基来说,他们正试图打造世界上第一款实验室生产的鸡块,这是其 "未来餐厅"概念的一部分。这家主打鸡肉的连锁餐厅将与俄罗斯公司3D Bioprinting Solutions合作开发生物打印技术

  • 视频AR玩法进入全身时代,相芯人体AI技术全面升级

    还在玩只限于人脸的AR玩法吗?一键美体塑形、视频体感游戏、用手机就能玩虚拟形象全身驱动……随着5G即将全面普及以及智能图形技术的不断创新,原本受限于高端硬件的全身AR技术,现在用智能手机就能玩,视频AR玩法也将全面进入了全身时代。相芯科技此次对人体AI技术进行全面升级,在视频AR特效的功能基础上进行玩法升级,同时新增开放7大功能的算法接口,分别是2D人体关键点、3D人体骨骼、人像分割、头部分割、头发分割、动作识别?

  • 3D人脸识别+双孔曲面屏 华为Mate 40 Pro正面细节曝光

    进入下半年,华为Mate 40系列旗舰即将登场,有关该机的细节陆续被曝光。8月1日消息,爆料人@RODENT950曝光了Mate 40 Pro的部分细节:双孔双曲面屏、支付级3D人脸识别。与Mate 30 Pro相比,

  • 华为Mate 40 Pro最新爆料:双孔曲面屏加持 3D人脸识别依旧保留

    作为全球最大的手机厂商之一,华为的每一款代表性旗舰在发布前的一丝一毫消息都备受外界关注,根据此前外媒透露的消息显示,华为有望在今年国庆节期间推出全新的Mate 40系列旗舰,虽然距离新机亮相还有较长一段时间,但这段时间以来关于该机的爆料已越来越丰富。现在有最新消息,近日有海外爆料人士透露,全新的华为Mate 40 Pro将搭载双孔曲面屏,并保留3D人脸识别。据@RODENT950 最新发布的消息显示,与此前曝光的消息

  • Polymaker全新超大尺寸3D打印粒料 亮相2020 TCT Asia展会

    7月8日,专注3D打印材料的高科技企业Polymaker亮相上海新国际博览中心,参加2020 TCT Asia展会。TCT Asia是亚洲最大的专业增材制造技术展览会,是每年最新3D打印技术的分享盛会。今年在部分企业由于疫情原因取消参展的情况下,展商数量依旧超过220家。足以看出该展会的影响力和各家企业对其重视程度。Polymaker是一家专注3D打印材料的高科技企业,始终致力于用领先的技术、高质量的产品和细致深入的服务,推动3D打印技术的发展。此

  • 德施曼获葵花奖年度领导力品牌,二代3D人脸锁R81获“产品金奖”!

    7 月 8 日, 2020 年第四届中国“葵花奖”智能家居颁奖盛典暨首届中国(广州)智能门技术发展高峰论坛在广州市建博会会场中心盛大举行。德施曼一举斩获“葵花奖”四项重量级荣誉,二代3D人脸智能锁即3D人脸智能视频锁R81 获得了行业一致认可。 其中德施曼斩获“ 2020 智能锁行业领导力品牌”,德施曼联合创始人董启广先生获“ 2020 智能锁行业态度人物”,德施曼二代3D人脸智能锁R81 实力摘得“ 2020 智能锁行业产品金奖”、“ 2020

  • 中国第一辆3D火星车长什么样?百度APP今晚8点直播首发

    7月22日消息,今晚8点,百度APP联合中国火星探测工程全网首发中国第一辆3D火星车,你只需在百度APP搜索“火星车”,就能看到清晰炫酷的火星车全方位展示动图。 中国首次火星探测任务“天问一号”即将开始,此次发射将一次性完成绕、着、巡三大任务,并对火星表面重点地区精细巡视勘查。一次性完成三大任务,这在世界航天史上尚无先例,同时也对火星车提出更高的要求。由于远距离数据传输的延时问题,火星车必须具有很?

  • 海尔云裳物联:3D云镜亮相中国建筑博览会,成现场热门打卡点!

    7 月 8 日,第二十二届中国(广州)国际建筑装饰博览会正式拉开帷幕。大会秉承“为建筑装饰行业的从业者提供一个完整的解决方案”的办展理念,聚焦“定制、设计、智能、系统”四大主题展区。 其中海尔衣联网 001 号店的3D云镜智慧场景亮相此次大会,3D云镜智慧场景的展位吸引了众多参观者体验咨询,成为参观人员争相体验的“热点”。 3D云镜是智能云镜,基于计算机图形图像识别处理技术与算法,将人体、服装进行数字化后进行匹配。?

  • 信用飞:坚持科技创新 不断开放技术资源

    疫情中,数字化、智能化的应用非常广泛,从物资的应急供应到数字化物流、在线消费生活服务、线上线下结合的本地生活服务,非常的活跃。信用飞也用数字科技创新为自身发展谋取新的出路。据悉,在积极推动企业复工复产这一方面,信用飞充分发挥数字科技的庞大技术优势。在线上数字化消费服务方面加大投入研究力度,加强科技自主研发能力。在疫情的特殊时期,信用飞仍然保持业务的高质量发展,也与其线上数字化消费服务能力分不开。通

  • 盖茨否认借新冠疫苗植入人体芯片 相信阴谋论终会消失

    疫情爆发以来,关于“比尔·盖茨计划通过未来研发出来的新冠疫苗在数十亿人体内植入微芯片以此来监测人们的活动”的阴谋论在网上疯传。在美国当地时间周三,比尔·盖茨在接受美国CBS新闻采访时再次否认借新冠疫苗植入人体芯片。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签