首页 > 传媒 > 关键词  > CCAI2021最新资讯  > 正文

CCAI 2021 | 腾讯优图汪铖杰:用AI生成更优更新的内容

2021-10-19 15:15 · 稿源:站长之家用户

目前,人工智能技术已经在人脸识别、语音处理、视频处理、自然语言处理等领域得到了突飞猛进的进展。未来人工智能技术将在哪些行业和业务场景中最快得到应用,以及将会向着哪些方向重点发展,成为了行业共同关心的问题。

10 月 12 日,以“智启非凡”为主题 2021 中国人工智能大会(CCAI2021)在成都正式开幕。作为我国人工智能领域的顶级盛会,本次大会共设置了 8 场主题报告、 1 场院士尖峰对话、 9 大专题论坛、 6 个同期活动面,由 23 位中外院士领衔,近百位学术技术精英齐聚一堂,通过一系列主题报告和专题论坛深刻呈现人工智能学术前沿、技术动态、产业趋势,反映了产学研各界对产业数智化发展的前沿探索和前瞻思考,引领智能科技在进步中与多领域融合发展,激发传统行业变革活力。

本次CCAI2021 中,腾讯优图实验室研究总监汪铖杰受邀出席了智能创意与视觉知识表达专题论坛并发表了以《视觉内容编辑生成技术研究与应用》为主题的演讲,向与会者分享了优图实验室在视觉内容编辑生成技术领域的研究成果与应用实例,提供了学术研究和技术创新的方向创新。

腾讯优图实验室研究总监汪铖杰

01 以GAN和3D技术为主研方向 用AI生成更新更好的内容

在智能手机的普及和人们时间碎片化的态势下,以在线音乐、短视频、直播、资讯等为代表的内容逐渐成为用户的主要消费对象。随着用户精神消费品质的不断升级和兴趣面的不断扩展,用户对于内容的生产效率和品质的要求也在不断提高。而AI技术的发展和完善,能够帮助内容生产者在提高内容生产效率的基础上,丰富内容生产的多种类并提供更加动态且可交互的内容,以满足日益增长的内容需求。

在此背景下,AI生成内容(AIGC)应运而生。优图实验室针对AIGC的主要研究目标就是如何用AI技术生成更新、更好的内容。优图实验室在AIGC方面拥有两大核心技术:

1.通过研究生成式对抗网络(GAN)和GAN内部涉及的FCN结构,通过深度图像压缩技术生成不同程度、不同分辨率的图像,以保障图像在高清影视制作场景下的清晰度;

2.通过在3D的重建、渲染、驱动等环节中引入深度学习和自监督图形学习模式,通过自监督学习来获取大量数据,使3D效果的通用性和泛化性得到较为明显的提升。

02 深度学习提升3D人像重建效果 技术应用场景越来越广阔

通过融入深度学习和自监督学习机制,不需要再用复杂设备现场采集大量数据,而是通过输入多张人像图片就能够相对轻松地完成对于人像面部的3D建模。

同时,在进行特征融合时,优图实验室的3D重建技术可以接受任意一张图片输入,通过多人脸约束让重建精度变得更高。

以这种方式生成的3D人像的ID丰富度会大幅度提升,因为在生成的过程中会将人像的几何信息和纹理信息一并重建,实现人面部皱纹级的细节还原,最终让人像能够覆盖各个年龄段和各种长相特征。

目前这项3D重建技术已经能够广泛应用在超写实类游戏角色的塑造和低成本3D数字人制作的领域之中。在实际应用场景中,3D重建技术可以通过多视角信息融合功能,仅凭几张照片就可以实现超写实型的角色塑造。

在为游戏《天涯明月刀》进行角色建模时,为了让最终人像符合原作画风,优图实验室在3D重建的人像上基于用户人脸的特征分布以及游戏里面特征分布的差异做细微调整,并基于定位以及细粒度属性的识别结果,对角色进行精细化修正,最终输出人们在游戏中看到的栩栩如生的角色建模。

03 深入研究提升GAN训练模式优化效果 让经典影视作品达到4K标准

近年来,随着文化产业政策的利好推动和居民消费水平的提高,我国影视行业发展较快,催生了海量影视作品图像画质优化的需求:除电影胶片修复外,很多存量经典MV和影视作品也需要去刮痕、去噪,并转换成符合现在用户观影需求的4K品质。

为满足影视行业中广泛存在的AIGC需求,优图实验室在 2020 年就推出了ReaISR技术。通过构建很多跟现实情况非常接近的低质和高质的图像,再借助pixel-wise loss、discriminative loss生成GAN训练模式,以保障修复后的效果。

但是在这种情况下,画面修复会出现矫枉过正的情况,出现很多高频的artifacts。为解决此类问题,优图实验室以ReaISR技术为基础,通过增加频率密度约束来抑制高频的artifacts,并根据图像状态设计画质评估模块,从而实现模块动态的调整域值的权重,在保证图像真实度的前提下大幅度提升图像优化效果。

在与上海电影学院和上海电影技术厂的合作中,优图实验室的ReaISR技术已经帮助其将胶片电影修复至2K甚至是4K的标准。此外,优图实验室还与一些国外影视制作公司合作,为其提供画质转换、去刮痕、去噪等服务。

除人工辅助外,腾讯云公有云图像超分API和腾讯云媒体AI中台画质优化功能模块中也集成了ReaISR技术,能够帮助用户用较低的成本实现数字内容的高清化。

04 优化技术框架让AI实现“批量换脸“ 在文化传播领域得到广泛应用

如今AI换脸对大众来说已经并不是一项新鲜的技术了,但是现有的人脸合成框架只能支持两个ID间的更换,即只支持A至B间的换脸,如果想将A换成C或是D的脸,则需要重新构建框架。

通过将Src图像ID特征融合到合成框架中,优图实验室可以让框架支持任意ID换脸,提升了AIGC的生产效率。同时,框架还引入Weak Feature Matching Loss高层语义特征匹配、3D人脸信息、图像超分模块等功能,在保障模板人脸中表情、光照的属性特点都迁移到结果上的同时,大幅提升了最终生成人像的真实度和清晰度。

在文化运营、推广活动和影视内容制作的领域中,AI换脸技术的应用场景很多。如可以把用户的脸与游戏人物融合在一起提升用户和游戏的互动性,或是在拍摄需要让同一人物所饰演的不同角色同框出镜的镜头时,用AI换脸技术把两个角色都换成同一张脸来缩减拍摄成本等。

在实际应用场景中,去年深圳 40 周年推出的‘深’份证”活动中就用到了引用了Src图像ID特征的生成框架,超过千万用户参与并通过该框架生成了自己独有的“深”份证。

此外,在政府弘扬当地少数民族文化时,也可以使用这项技术,以各式各样的民族服饰作为背景,引导用户上传照片来生成自己民族服饰艺术照,提高当地少数民族文化的知名度,助力民族文化传承。

AIGC技术在其他领域中也得到了广泛应用。比如腾讯会议的中能够保护用户隐私的虚拟背景,虚拟光线等功能;通过3D重建技术实现手Q、微视和腾讯会议中的“人物图像全年龄演化”功能;目前优图实验室正在尝试将这些技术应用到虚拟美妆领域中,通过算法让用户能够在照片上模拟化妆效果。

作为腾讯旗下顶级的人工智能实验室,腾讯优图实验室目前已拥有超过 1000 件全球AI专利,更有 300 余篇论文被AAAI、ICCV等国际顶级AI会议收录。凭借在视觉AI技术上的研究成果,优图实验室通过腾讯云共输出超过 20 项AI解决方案,100+AI原子能力,助力各行各业实现数字化转型。

此外,腾讯优图还打造了如跨年龄AI寻人、青少年内容审核、AI探星等技术能力,践行腾讯“科技向善”的使命和愿景。未来,优图实验室将继续专注人工智能技术发展,通过推进AI基础设施研发的形式为产业数字化转型提供助力,促进数字经济加速发展。

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • AICon2021 | 内容安全需求激增 腾讯优图带来AI技术在内容安全场景中的应用实例

    近年来,伴随着深度学习技术的成熟以及计算机算力的增长,人工智能技术在各行业的业务场景中实现了快速的普及和落地。在人工智能技术进一步落地实践的背景下,将会为行业带来什么样的变革与技术创新,成为了大家共同关心的问题。11 月 25 至 26 日,以“AI商业化下的技术演进”为主要研讨方向的AICon全球人工智能与机器学习技术大会北京站顺利召开。据了解,AICon北京站设置了“人工智能前沿技术”、“计算机视觉实践”、“智能金?

  • 2021:短剧大爆发

    ​前不久,短剧又上热搜了。这一次是因为真人秀综艺《毛雪汪》。节目里,毛不易、李雪琴、赵晓卉一起看起了短剧《秦爷的小哑巴》,面对各种高甜剧情,三人既尴尬又羞耻,却又不禁被跌宕起伏的剧情吸引,一集接一集,非常上头。

  • 2021,我在抖音追短剧

    “呀呀呀呀好甜呀,kswl我要追剧”、“不知道为什么,我感动到掉眼泪”……真情实感地在抖音刷了一下午各种各样的短剧后,已经很难不对这些点赞过万的评论感同身受。

  • 2021中外影像鉴:原来我们的日常记录竟如此相似

    因为疫情的缘故,“居家生活”“就近活动”正在成为全球民众的日常,无法远行出游让很多人颇感失落,但同时大家也在通过各种方式,试图找回一些久违的乐趣与慰藉。用手机记录、分享照片,保持互动——在特殊时期逐渐成为了更多人看向外面世界的“视窗”。近日,手机品牌vivo举办的2021 VISION+手机摄影大赛就公示了 30 组优秀获奖作品,这些作品由六位国际影像大师和专家,从超过 38 万幅参赛作品中评选而出。尽管大赛的创作者们来

  • 英雄联盟2021赛季奖励发放公告 2021年赛季奖励什么时候发放

    2021年1月25日,在今天英雄联盟的官方发布了关于2021年赛季奖励发放的一些说明,很多玩家还不清楚什么时候发放,下面就来为大家分享一下。

  • TGDC 2021:3天7大专场,助力游戏人拥抱机遇

    11月24日,由腾讯游戏学堂举办的第五届腾讯游戏开发者大会(Tencent Game Developers Conference,简称 TGDC)圆满落幕。为期3天的线上分享中,超过40位海内外重磅嘉宾带来关于产品研发、技术探索、艺术创作、市场运营、独立游戏、游戏社会价值等领域的独特洞见,以开放的态度开展了一场各抒己见、共享成果的行业交流。

    “今年,依旧是充满变化和发展的一年。随着快速的技术进步,游戏正在不断拓宽人们对于未来数字生活

  • TrendForce:2021 下半年电视出货量年减 12.4%

    TrendForce 集邦咨询指出,尽管电视面板价格在8月开始大幅下跌,短期内有助于中国品牌通过扩大国内双11促销规模,同时弥补今年销售目标的缺口。但对于国际品牌而言,考虑到生产、运输时间和库存去化等问题,最快明年第一季度才能将面板降价的价差反映在整机售价上。

  • 苹果公布2021年Apple Music Award年度奖项

    苹果公司公布了2021年Apple Music Award年度奖项,该奖项表彰了“ 2021 年最佳艺术家及其对全球文化的影响”,共分五个类别的音乐。

  • 2021 TCR Asia收官 壳牌捷凯领克东望洋收获大满贯

    11 月 21 日, 2021 年度TCR国际汽车亚洲系列赛(以下简称2021 TCR Asia)在第 68 届澳门格兰披治大赛车期间收官。壳牌捷凯领克车队在提前锁定年度三项冠军头衔的情况下,毫无悬念地以“十二回合十冠”的惊人战绩,将车手、车队及车型三大分站及年度奖项冠军奖杯收入囊中,彻底征服亚洲最高规格房车场地赛事。而最引人关注的“强马冠军之争”也在今日揭盅,张志强力破千钧,再度成功问鼎东望洋大赛,同时斩获2021 TCR Asia年度车手总

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天