首页 > 传媒 > 关键词 > 云从科技最新资讯 > 正文

云从科技3D人体技术取得重大突破 刷新三项世界纪录

2019-03-20 09:01 · 稿源:站长之家用户投稿

近年来,应用场景的旺盛需求,推动AI领域将技术能力从感知延伸到认知、从2D扩展到3D。

3 月 19 日,云从科技基于单帧图像的3D人体重建技术同时在Human3.6M、Surreal和UP-3D上创造了最新的世界纪录,此次突破将原有最低误差记录大幅降低30%,也是继去年云从在3D人脸数据集上大幅刷新纪录后,再次在此类3D重建技术上取得重要成果。

图片34.png

Human3.6M数据集上对比 

图片35.png

Surreal数据集上对比

图片36.png

UP-3D数据集上对比

3D重建领域通常以误差(Error)作为衡量算法能力的主要指标,误差(Error)就是生成模型与实际图像的差别。一般来说,误差(Error)越低,精度越高,意味着技术的性能越好。

云从科技3D人体重建技术全身精度误差(Surface Error)在Surreal上从75. 4 毫米降低到52. 7 毫米,关节精度误差(3D Joint Error)从55. 8 毫米降低到40. 1 毫米,Human3.6M上的关节精度误差(3D Joint Error)从59. 9 毫米降低到46. 7 毫米,技术的执行速度从之前的上百毫秒降低到仅需 5 毫秒。

论文中,云从科技针对人体具有丰富多样的姿态和穿着的特点,提出了一套全新的基于人体3D纵深预测的3D信息表征方式。通过对三原色图像(RGB,不含深度信息)的分析,预测人体的3D形态和姿势,并用 6 万多个点完整描绘人体,从而在人体重建技术上取得速度与精度的双突破,呈现出来的模型更精细,帧率更是高达到200fps,原本由于受实时显示限制而无法实现的应用可以一一实现——这将极大地推动相关智能图像应用的落地步伐。

图片37.png

  

由于对输入图像的要求低,使3D重建技术将可以利用普通光学摄像头作为感知设备该技术将会使美颜APP无需结构光摄像头也能具备高精准度的瘦身与动画合成功能;商场内试衣魔镜将会自动根据身形生成你所想要更换的衣服,大大节省商场空间的同时提升用户体验度,使更多智能应用成为可能。 

通过重要人员影像重建、医疗仿真肢体打印、虚拟试衣、美颜化妆、表情姿态动画合成等应用场景在大型商场、直播平台、美颜软件、影视特效制作等行业普惠AI能力。

 值得一提的是,Human3.6M、Surreal和UP-3D是全球关于3D人体重建技术的权威数据集,加州大学伯克利分校、马克斯-普朗克研究所、Amazon、宾夕法尼亚大学、北京大学、浙江大学、Microsoft Research、法国国家信息与自动化研究所、Adobe Research等知名企业、研究所和大学都在该榜单的竞争队列中,算法实力比拼可谓激烈,相较于以往,中国企业与高校机构开始逐渐在国外老牌优势领域展露头角。

与传统关键点检测、3D重建技术的区别

传统的人体关键点检测技术往往以2D的人体骨骼关节点检测形式出现,即通过技术预测RGB图像中人体的十几个关节点的坐标,一方面结果非常稀疏,将人体大为简化成骨骼的形式,另一方面结果往往只包含二维平面上的坐标预测,不能还原深度信息,因此无法体现纵深的感觉。而基于单帧图像的3D重建技术不仅能输出骨骼关节点信息,更能同时预测大量的人体表面关键点信息,预测结果更加丰富,而且每个点的坐标都是3D的,能够体现不同躯干的纵深信息。

3D关键点检测

并且传统3D重建技术大多需要连续的图像序列或是多视角的图像,在硬件设备上一般需要采用双目摄像机或者结构光摄像机等设备,因此在手机等便携设备上往往难以实现;另一方面,专用设备还会增加部署成本,增加大规模普及3D重建技术的难度。

基于单帧图像的3D重建技术对原始图像的需求放松的同时,对背后的技术提出了更难的挑战:技术需要从单帧图像中推理出人体或人脸的3D形态,并通过【光学透视】【阴影叠加】等基本光学原则准确预测出各个关键点在3D空间的位置和朝向,从而得到人体的姿态或表情信息。

图片40.png

人体姿态和服饰复杂多样,精度提升意味着对复杂场景的适应性更好,模型更接近真实的情况。如阿凡达、漫威电影、阿丽塔等电影中,都需要专用特效设备与面部贴点来完成精细的人像采集,基于单帧图像的3D人体/人脸重建技术将彻底颠覆电影视频的拍摄制作,同时降低工业级3D动画合成的门槛。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 云从科技携手成都超算中心 共同发力新基建

    6 月 11 日,在由四川天府新区成都管委会、成都市科学技术局、成都产业投资集团有限公司主办,成都超算中心运营管理有限公司承办的成都首届超级计算创新应用天府论坛上,成都超级计算中心正式亮相。包括中科院、华为和云从科技等在内的科研院所与企业代表齐聚成都,就超算前沿技术、超算赋能行业应用等热门话题展开研讨,为打造数字经济创新极核、建设中国西部(成都)科学城聚才汇力。会上还举行了超算中心合作框架协议签约仪式,

  • 云从科技人机协同战略 助力提升我国AI竞争力

    2020 年上半年,人工智能"四小龙"之一的云从科技,可谓动作频繁。近日,据多家媒体报道,云从科技具体经营项目申报新增机器人、物联网技术研究等,业务版图不断扩张。据天眼查数据显示,云从科技发生了一系列工商变更,具体经营项目申报新增人工智能算法软件的技术开发与技术服务;人工智能硬件销售;机器人的技术研究、技术开发;物联网设备销售;物联网技术研究开发等。此外,云从科技注册资本由约6. 19 亿元人民币增至约6. 28 ?

  • IDC发布中国AI市场报告 云从科技增速最快

    6 月 22 日,国际权威调研机构IDC发布最新《中国人工智能软件及应用市场半年度研究报告(2019H2)》报告。报告显示, 2019 年中国人工智能软件及应用市场规模达28. 9 亿美元,包括硬件在内,整体市场规模将达到 60 亿美元。到 2024 年,中国人工智能市场规模将达到127. 5 亿美金,2018- 2024 年复合增长率达39.0%。此次IDC中国重点追踪了计算机视觉市场、企业的机遇与挑战、全球人工智能市场形势等。云从科技作为AI四小龙中唯一的国?

  • CB Insights金融科技榜单出炉 云从科技成功入选

    6 月 29 日,由CB Insights 主办的“Future of Fintech China”峰会在上海普华永道会议厅发布了CB Insights Fintech 榜单,云从科技、蚂蚁集团、陆金所、京东数科等优秀企业成功入选TOP 50 金融科技企业。 CB Insights作为全球知名的市场数据研究平台,致力在中国范围内找出本年度最具前景的金融科技公司,以及该领域中的下一个独角兽。于是在甄选出的全球 250 家金融科技企业中,CB Insights中国团队全方位评估金融科技企业的自身

  • 重新定义智慧社区!云从科技用AI构筑现代桃花源

    1600 余年前,东晋诗人陶渊明吟唱了一曲《桃花源记》。自此,那一处亦真亦幻的桃花源,便成了历代文人追求向往、寄托心灵的精神家园,也成了无数人追寻的理想生活。桃花源不仅仅是居住,更是沉浸式生活,是极致的幸福感、满足感、归属感,是乐不思蜀,是流连忘返。人类文明不断演进发展,我们在时代中不断摸索,期待一个奇幻、高效的时代。面对未知的惊喜、突然的挑战,AI正在用科技的力量,在城市中制造着无数惊喜与感动的瞬间。?

  • BAT、云从科技等79家参加抗击疫情的企业受到工信部表扬

    2020 年即将过半,在连续 56 天无本地新增确诊病例后,北京市却迎来了第二波疫情风险。在全国乃至全球共同抗击疫情中,人工智能技术人工智能作为引领新一轮科技革命和产业变革的重要技术,发挥了科技防疫的支撑作用。为此, 6 月 19 日,工业和信息化部科技司公布了在科技支撑抗击新冠肺炎疫情中表现突出的人工智能企业名单,其中包含云从科技、BAT、京东、平安科技、科大讯飞、商汤科技等一批知名互联网及AI科技企业,以示肯定和?

  • 基于3D扫描、机器人和物联技术的自动化逆向工程解决方案

    逆向工程技术(Reverse Engineering)作为工程师重要的研发工具,在近几年来变得越来越举足轻重。在非自动化的逆向工程流程中,工程师需要耗费大量人工重复劳动,并且需要具有相当多的专业知识。而已有的一些自动化的流程则通常价格高昂,或者技术还不足以满足工业化生产。德国柏林的弗劳恩霍夫协会(Fraunhofer)在自动化逆向工程解决方案的研究中,将不同技术整合到一系列MRO(维护,维修,操作)的生产流程中,来向工业界展示,

  • 震旦3D打印诚邀您参加TCT亚洲展

    作为3D打印行业风向标— 2020 年亚洲3D打印、增材制造展览会将于 7 月 8 日- 10 日和观众见面,震旦3D也将带来全新Stratasys彩色打印设备、电路板3D打印设备、桌面DLP3D打印设备、工业级桌面FDM设备。震旦3D展位:E6-F55本届展会将采用“线上实名登记”,现场“刷身份证入场”的形式。识别上方海报二维码,线上免费报名(截止日期 7 月 3 日周五)展会时间7 月 8 日星期三 09:00-17:007 月 9 日星期四 09:00-17:007 月 10 日星期五

  • 云从科技入选重庆国家新一代人工智能十大应用场景

    6 月 23 日,重庆市科技局召开重庆国家新一代人工智能创新发展试验区“十大应用场景”新闻发布会,发布了重庆十大人工智能应用场景项目,云从科技凭借智慧安防系统位列其中。人工智能十大应用场景具有“新平台、新空间、新载体”三大特征,是推动创新应用的新孵化平台,是改变公众生活方式的新试验空间,是推动产业发展的新生态载体。云从科技按下加速键,应用场景不断丰富运用人工智能、大数据、物联网等技术,构建基于感知、认知

  • IDC发布中国人工智能市场报告 云从科技增速最快

    近日,国际权威调研机构IDC发布最新《中国人工智能软件及应用市场半年度研究报告(2019H2)》报告。报告显示,到 2024 年,中国人工智能市场规模将达到127. 5 亿美金,2018- 2024 年复合增长率达39.0%。此次IDC中国重点追踪了计算机视觉市场、企业的机遇与挑战、全球人工智能市场形势等。云从科技作为AI四小龙中唯一的国家队,成为 2019 年增长最快的人工智能企业。计算机视觉市场增长超出预期得益于开放的市场环境和对智能技术的高?

  • 6982亿创新纪录!天猫618背后的技术创新:3D购、AR、小时达

    这场疫情之下规模最大、资源投入最多的天猫618,不仅是消费者最普惠的购物季,也是商家抹平疫情带来损失的“回血之战”。6月19日凌晨,天猫公布618累计下单金额达6982亿元,创下新的

  • 以色列推出3D打印植物牛排,预计2021年上市

    外媒7 月 1 日报道称,以色列一家名为“重新定义肉类”的初创公司表示,他们希望在 2021 年推出3D打印牛排。公司在其网站上表示,他们将通过3D打印技术,创造出与动物肉一样的外观、质地和味道的植物性肉类。

  • 华为Mate 40 Pro曝光:或采用刘海屏 支持3D人脸识别

    从Mate 20系列开始,华为连续两代产品在Pro版本上采用刘海屏,并实现了支付级别的3D人脸识别。对于即将登场的Mate 40系列,华为似乎有意延续这一方案。7月1日消息,爆料人@RODENT950爆料,M

  • “3D快讯”百家号时尚领域排行,新作者选择哪个领域好?

    备注:本文数据来自站长之家移动传媒平台,文章涉及的数据依托平台大数据计算所得,非百度官方数据,仅供参考。3D快讯是当前百家号中的普通号,目前账号百家号权重为2,综合排名位列454834名,时尚分类排名位列16613名,领先了59.3%的百家号。 3D快讯百家号概况 3D快讯的简介为专注3D打印技术推广及应用。,是一家主旨明确、领域专注的自媒体作者,截止目前为止他们已经在百家号上发布了超过11篇的游戏内容,最近该作者创作的文章?

  • 科学家造出全球首个3D仿生眼:视觉和夜视能力甩人眼几条街

    不少科学家都在试图打造出能够媲美人眼的人工眼,而仿生眼正在成为一种让失去视力的人恢复视力的方法,甚至可能让那些本来就没有视力的人也能获得视力。现在世界上首个3D人工眼已经出现。据悉

  • 魔点科技年度旗舰新品:魔点D3 有温度的理想办公 即刻开启

    作为魔点D系列的旗舰新品,魔点D3延续了D系列一贯的远距离、毫秒级精准辨认、活体识别、多人同时识别的智能人脸识别功能,算力性能较上一代产品都有全新突破,支持远程预定会议室、支持考勤高效录入及管理等应用。 这是魔点在门禁上的又一次全新探索和升级——进一步融合互联网,重新定义智能门禁。 01 极简外观之美 外观方面,魔点D3 采用无边框设计, 8 寸LCD光学全贴合高清触摸屏,温润可见,流畅常新,设备厚度仅 18 毫米,不

  • 投影仪3d电影片源在哪看,当贝F1 媲美电影院,这才是正确观影方式

    众所周知,3D电影更加立体生动,相对比普通的高清电影更具有观赏性。那么如果家中的观影设备是投影仪,如何实现看3D电影呢?需要提前下载哪些观看3D电影app软件?家中的投影仪如果是不支持3D电影播放怎么办?教你一招,配合3D播放软件即可,轻轻松松在家投影仪看3D电影!一、投影仪无3D功能:3D眼镜+3D播播软件首先下载当贝市场安装到投影仪上,搜索3D播播软件,安装后找到3D影片资源,将无线鼠标和投影仪的USB接口连接,然后使用遥控器

  • 震撼来袭!TCT亚洲展先临三维子公司易加三维EP-M450金属3D打印机全球首发

    在 7 月 8 日- 10 日的TCT Asia亚洲3D打印、增材制造展上,易加三维大尺寸高质量金属增材制造系统EP-M450 即将全球首发,正式对外发布。在展会现场,来访者可以近距离体验EP-M450 在高品质、高性能金属件直接制造上的优异性能与稳定表现。(易加三维EP-M450 大尺寸金属增材制造设备)2016 年,由北京易加三维科技有限公司为承担单位的“大尺寸粉末床选区激光熔化增材制造工艺与装备研发”项目,获得了国家重点研发计划“增材制造与

  • 从新技术到健康生态,华米科技通过AI技术改善用户健康

    6月15日,华米科技(NYSE:HMI)在安徽合肥举办主题为「AI to Decode Future」的首届AI创新大会,为我们带来了诸多AI技术研究与相关应用。次日,华米科技还举办了AI技术开放日活动,邀请业内专家与高校院校学生共同探讨国内外人工智能话题,探索人工智能未来发展的趋势方向。 AI创新大会:华米自研新技术、新硬件惊喜不断在本届AI创新大会上,华米科技正式发布了新一代智能可穿戴芯片“黄山2号”、第二代PPG?物追踪光学传感器BioTrack

  • 唐桥科技实现60帧音视频技术,音视频技术的新基准

    今日,唐桥科技宣布实现60帧音视频技术突破。区别于当前广泛应用的30帧技术,高刷率可以帮助远程医疗打破音画清晰度的局限,一些更深部位疾病的远程诊疗,例如心脏、脑部、血管等人体内部细微构造的远程超声也将在60帧技术的协助下得到进一步发展与应用。远程医疗的1.0时代随着网络连接和智能设备的加速发展,远程医疗行业得到前所未有的发展机遇。我国在远程医疗领域起步较晚,直到20世纪80年代末,我国才开始进行研究性远程医疗试验探索

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议