首页 > 传媒 > 关键词 > 腾讯微视最新资讯 > 正文

腾讯微视发力运动捕捉技术,一张照片即可集结“黄金圣斗士”

2021-07-20 16:57 · 稿源:站长之家用户

运动捕捉技术是借助惯性、光学传感器,重建精确的人体三维模型信息的一种特效技术,通常在影视剧及游戏特效制作、运动员动作分析、患者康复评估等专业领域被广泛应用。相比高技术门槛、高成本的专业操作,腾讯微视近期在手机上实现了运动捕捉技术,国内首次在移动端实现人体3D Mesh重建,用户只需拿起手机拍摄或上传一张全身照,即可体验黄金圣斗士的铠甲实时贴合在人物身上。

(图:腾讯微视“圣斗士集结”效果展示)

一键变身黄金圣斗士,集结最强战队燃烧小宇宙

腾讯微视联动《圣斗士星矢(腾讯)》手游推出圣斗士系列玩法。通过黄金圣斗士铠甲换装的玩法,在腾讯微视APP内落地。用户可参与“圣斗士集结”活动,即可一键穿上圣斗士们的黄金圣衣。用户可通过搜索“圣斗士集结”关键词进入活动页面,或者点击首页底部+号进入拍摄界面,也能找到活动入口。

(图:腾讯微视“圣斗士集结”活动主界面)

用户可上传或拍摄一张正面照片,系统即可自动识别照片姿势,给人物全身换装黄金圣斗士铠甲。或者在拍摄页面选择圣斗士相关特效,全身入镜即可变身圣斗士,即使在拍摄过程中处于运动状态,黄金盔甲特效也会实时计算跟踪。在拍摄特效界面,可召唤多个星座的圣斗士,如黄金射手座、双子座撒加、处女座沙加等。

(图:腾讯微视“圣斗士集结”体验步骤)

动捕技术移动端首秀,微视自研手机3D Mesh算法

现如今短视频领域的诸多玩法,背后的技术能力主要分为四种:人脸2D关键点检测、人体2D关键点检测、人脸/头 3D Mesh重建、人体3D关键点检测。但想要实现上传一张照片,或拍摄运动状态下的人物都穿上黄金圣斗士铠甲的效果,则需要实现从普通图像中重建出人体3D Mesh,才能将人体的身材用铠甲包裹住,并且保证能够在手机上实时运行。

(图:人体3D Mesh重建效果展示)

腾讯微视为了获取到高质量的3D人体Mesh重建数据,独立搭建了一套全新的动捕系统,并使用并基于这套系统开发了相应的Mesh重建算法,使其能更高效地进行训练数据的迭代,解决更多场景和姿态下的问题,增强模型的泛化性能。通过重建 7 千多个顶点和1. 5 万的面片,还原人体的基本动作,甚至预测出人体的高矮胖瘦。最终,渲染引擎根据这些信息给视频中的人物“穿上”盔甲。

在基础技术储备完成后,腾讯微视团队主要从数据集制作、算法流程改进、网络结构搜索、移动端工程优化以及算法细节打磨等几个方面对算法进行了优化。比如对上万个贴近手机端用户拍摄内容的视频数据进行采集、标注、清洗;对网络Backbone结构的设计与优化等。

(图:腾讯微视“圣斗士集结”效果演示)

算法渲染设计多部门协同配合,量身定制优化方案

从最开始的CV技术研发、到移动端的部署以及渲染,整个技术生产链条的打通离不开各部门团队间的多番协作。该项目调动了腾讯PCG内部多个技术团队,包括OVBU拍摄算法团队、应⽤研究中⼼、光流产品中⼼和MXD创意平台设计中⼼。技术是第一步,特效的渲染和设计打磨也是特效出街前的必然步骤。

在特效渲染层面,微视技术团队基于重建的人体 3D Mesh 量身定制了一套AttachToBody的渲染方案,确保高质量的渲染效果。此外,技术团队开发的自定义材质系统,也为玩法提供了更自由灵活的材质与光照解决方案。在性能方面,为了提升效果整体的覆盖率,在低端机上采取了Material Capture材质捕捉技术方案,用较小的计算成本拟合出近似PBR的真实感效果。同时在一些高频且量大的矩阵计算中启用了NEON加速方案,整体降低了数学计算耗时。

在视觉效果优化层面,设计团队通过对微视引擎的了解,设计出高标准且不超纲的设计,从研发、调整到打磨阶段都与技术团队强绑定,明确优化方向,给出优化建议;辅助优化引擎渲染能力,对特效的衣服贴合度与跟随性,身体比例协调性,衣服视效等方面进行了多轮打磨,最终达到较高标准的效果质量。

(图:腾讯微视“圣斗士集结”视觉优化过程)

一直以来,腾讯微视高度关注技术研发,未来也将持续围绕三维人体重建来进行创意特效设计与研发,不断提升3D重建精度,解决更多拍摄场景的需求。在人体形变、人体驱动虚拟角色等方面也将努力有进一步的突破,为用户提供更酷炫好玩的特效新体验。据了解,腾讯微视发布器团队正在大力招聘中,吸纳更多技术创新研发、创意视觉玩法等方面的专业人才进入,来发掘更优质的创意玩法,打造行业一流的短视频发布器一体化解决方案。

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务。

  • 相关推荐
  • 大家在看
  • 腾讯微博要复活?腾讯再申请“微博”商标

    2020年9月28日23时59分,坐拥3亿用户的腾讯微博宣布关停,同时,也宣告着腾讯微博与新浪微博的竞争落下帷幕。不过,腾讯微博与新浪微博的对抗”或将重启。从企查查网站获悉,近日,腾讯科技(深圳)有限公司再次申请注册微博”商标,国际分类涉38类通讯服务,目前商标状态为注册申请中。企查查显示,目前腾讯已注册多个微博商标。据了解,腾讯微博于2010年4月1日开启小规模内测,同年5月,开始开放用户邀请注册。2011年2月30日,腾

  • 腾讯再次申请微博商标 或将重启腾讯微博

    近日,腾讯科技(深圳)有限公司申请注册“微博”商标,国际分类涉及通讯服务,目前商标状态为注册申请中。天眼查显示,目前腾讯公司已注册多项“微博”商标,或将重启腾讯微博。

  • 腾讯字节血拼游戏

    企查查数据显示,2021年仅过去半年,游戏行业投资高达126起,创下近年新高,数量较2019年、2020年同期分别上涨了34%、157%(受疫情影响)。这其中,腾讯、B站、字节跳动分别以37起、11起、7起的投资数量,位列前三。腾讯投资是最激进的,上半年平均每5天投资一家游戏公司,字节跳动是最肯“砸钱”的,据媒体报道,其为并购沐瞳科技一口气豪掷了40亿美元。

  • 腾讯申请微博商标

    近日,腾讯科技(深圳)有限公司申请注册“微博”商标,国际分类涉38类 通讯服务,目前商标状态为注册申请中。企查查显示,目前腾讯已注册多个微博商标,据悉,腾讯曾于2020年9月宣布关停腾讯微博。

  • 腾讯申请“伙子团”商标

    腾讯科技(深圳)有限公司申请“伙子团”商标,国际分类为教育娱乐,当前商标状态为“注册申请中”。

  • 美团:腾讯认购协议所载腾讯认购事项的所有先决条件均已达成

    美团发布公告,腾讯认购协议所载腾讯认购事项的所有先决条件均已达成。

  • 腾讯拟收购Sumo股票

    腾讯控股提出以每股513便士的现金收购英国游戏公司Sumo Group的股票。据了解,目前腾讯持有该公司约10%的股份。

  • 美团称腾讯认购已完成

    昨日晚间,美团发布公告称,腾讯认购协议所载腾讯认购事项的所有先决条件均已达成,认购事项已于7月13日完成。根据公告,美团已向腾讯配发及发行1135.26万股腾讯认购股份,相当于美团经发行腾讯认购股份扩大的已发行股本的0.2%。<br/> <br/>

  • 腾讯获防作弊签到专利

    天眼查App显示,6月25日,腾讯科技(深圳)有限公司获得“自动签到系统、方法、装置、电子设备及计算机存储介质”专利授权。

  • 字节与腾讯纠纷案开庭

    今日,北京微播视界科技有限公司与深圳市腾讯计算机系统有限公司不正当竞争纠纷案正式开庭,案号为(2021)粤03民初1128号,审理法院为广东省深圳市中级人民法院,承办部门为知识产权审判庭。

  • 腾讯诉山寨微信系统获赔

    近日,腾讯与厦门联络易科技有限公司、广州登堂通信科技有限公司不正当竞争纠纷一案民事二审判决书公布。原告腾讯称,联络易公司、登堂公司作为软件行业的从业者,在明知微信软件具有极高用户量及知名度情况下,擅自研发侵权的联络易系统,

  • 腾讯称收费解封是诈骗

    今日,针对部分微博账号在网上散播“微信功能限制解除”、“微信解封”等,通过微博私信收费代解封,骗取用户个人信息及钱财的行为,腾讯方面回应称,任何以收费为目的进行解封帐号的行为都是诈骗,包括但不限于解封教程、黑客破解、内部人士等。

  • 腾讯公开新专利 有关交通领域

    7月9日,腾讯科技(深圳)有限公司公开“乘车支付方法、装置、电子设备及存储介质”专利,公开号CN113095842A,申请日期为2021年5月。

  • 你平时打卡么?腾讯获得防止作弊签到专利

    近日,腾讯科技(深圳)有限公司获得“自动签到系统、方法、装置、电子设备及计算机存储介质”专利授权,公告号CN110910524B,申请日为2019年12月。

  • 腾讯阿里相爱相杀简史

    从在商业的狂风暴雨之中加固自己的城墙,到明争暗斗、你追我赶、互不相让,再到如今的破冰、合作,阿里和腾讯的合作-对抗策略在互联网发展洪流中发生着改变。而二者相爱相杀的简史,也是中国互联网的发展简史。

  • 美团对外定增后腾讯持股比例降低

    昨日美团在港交所发布公告称,腾讯认购股份事项已完成。美团于4月20日宣布以增发股票和出售可转债的方式进行再融资,以配售方式增发共计1.98亿股,腾讯作为老股东认购其中约1135万股。

  • 腾讯“热点内容挖掘”相关专利获授权

    企查查APP显示,7月13日,腾讯科技(深圳)有限公司获得“热点内容挖掘的方法、装置、计算机设备及存储介质”专利授权,公开号为CN108304371B。

  • 腾讯收购搜狗案被批准

    今日,国家市场监管总局公布了2021年7月5日-7月12日无条件批准经营者集中案件列表,其中,腾讯控股有限公司收购搜狗公司股权案在列。

  • 腾讯朋友再次关停,如今已不再需要新的“人人网”

    不知大家是否还记得,在2019年至2020年间,腾讯面对字节跳动在社交领域的攻势,密集上线了包括“卡噗”、“猫呼”、“轻聊”、“有记”、“灯遇”、“轻缘”、“朋友”、“回音”、“Hood”、“去聊”10款社交类产品,并涵盖了从虚拟人物社交、短视频社交、恋爱交友社交、图片社交、匿名社交、真实信息社交等品类。

  • 腾讯申请毛雪汪商标,或为毛血旺谐音

    企查查APP,腾讯科技(深圳)有限公司申请注册“毛雪汪”商标,或为“毛血旺”谐音。

  • 热门标签

热文

  • 3 天
  • 7天