首页 > 传媒 > 关键词 > 快手短视频最新资讯 > 正文

快手Y-tech万鹏飞:短视频UGC智能创作中的CV技术和发展趋势

2021-06-11 15:09 · 稿源:站长之家用户

 近日, 2021 全球人工智能技术大会在杭州召开。本次大会汇集来自世界各地的人工智能领域专家,共同为人工智能的未来发展建言献策。

在 6 月 5 日召开的计算机视觉专题论坛上,快手Y-tech部门AI技术平台负责人万鹏飞受邀发表了题为《短视频UGC智能创作中的计算机视觉技术》的演讲,从产业的角度分享了计算机视觉技术在短视频智能创作方向的应用和发展趋势。

快手深耕短视频内容创作生态,UGC智能创作降本增效

作为国民短视频社区,快手用户日均使用时长99. 3 分钟,整体日活达3. 792 亿。在庞大的用户与流量基础上,快手形成了富有活力的内容创作生态,平台内有 300 亿+原创视频库存,每月新增创作者1000w+。其中大部分内容是广大普通用户创作的,即UGC(User Generated Content)。

据万鹏飞介绍,UGC强调人机协同,内容创作的主体是人,技术辅助人做创作;智能创作则强调技术有一定的自动化能力,可在内容创作中起到“降本增效”的作用。对应到实际产品中,快手系产品的UGC智能创作主要涵盖了三大类功能:人像美化功能、影音特效功能和独立创作工具。

人像美化功能:快手的人像美化功能包括美颜、美型、美体、美妆、滤镜、画质增强等。除经典的基于图形图像处理的技术方案外,快手将基于深度学习的CV技术融入到了人像美化中,大幅提升了用户体验。例如用神经网络来提高人像照片的画质或让照片中的人更年轻,以及通过环境光照估计使美妆效果在实际场景中更加自然等。

影音特效功能:除了常见的各种人脸AR装饰外,特效功能的含义非常广泛,包括但不限于各种玩法道具、贴纸动效、视频模板和小游戏等。例如万物AR玩法是用摄像头扫描通用物体并触发效果(如让湿纸巾跳舞),活照片玩法可以使一张图按照特定方式动起来(如前阵子很火的“蚂蚁呀嘿”),这些都是特效技术的范围。

独立创作工具:快手此前已经推出“快影”和“一甜相机”等多款受欢迎的工具产品帮助用户进行视频和图像的专业创作,最近还刚发布了一款主打高清修图的“原片”app。除这些产品外,此次大会上万鹏飞重点介绍了另外两个比较特别的独立创作工具。

第一个是虚拟偶像创建和开播工具—A站面捕助手,用户能以很低的成本创造自己的虚拟形象,并让虚拟形象跟着自己动起来,进行直播互动和内容生产。大大降低了普通人或商家拥有和运营属于自己的虚拟偶像的门槛。

第二个是快手特效开放平台—必扬特效平台,在这个平台上,人们可以设计和创造自己的特效玩法,发布到快手让更多人体验,并可获得平台激励。通过这个方式,短视频平台、特效创作者、特效消费者形成了一个互利共赢的生态。

CV技术助力快手短视频智能创作,五大变化传达技术发展趋势

短视频UGC智能创作各种功能的实现大多依托于(但不仅限于)计算机视觉技术,即CV技术。在演讲中,万鹏飞从产业应用的角度,按照人体感知与重建技术、环境感知与重建技术、像素级语义分析、生成式技术和多模态技术这五个技术方向进行了介绍。

人体/环境感知与重建技术:感知和重建是智能创作的重要前提,也是CV领域的重要课题。主要包括点/框检测、物体/场景识别、动作捕捉、VO/SLAM、3D重建等,这些基础CV技术有力保障了快手用户的创作体验。

像素级语义分析:这方面用途最广的是分割技术,俗称抠图。除了比较常见的人像分割外,万鹏飞展示了一个快手实时天空分割的案例,不论是窗户的遮挡,还是建筑与天空的连接处,都分割得非常细腻。除各种分割抠图外,有时候也需要对画面中的其他语义信息进行分析,如深度和法线等。

生成式技术:以生成判别网络(GAN)为代表的生成式技术是近几年非常火热的课题。生成式技术除了可以做各种好玩的特效外(如“童话脸”特效),其应用已深入到智能内容创作的方方面面。例如传统的染发效果是在头发上叠加一层颜色,效果很假。用生成式技术染出来的头发,则更像是现实中实际染上去的效果。

多模态技术:现实世界中人们感受和表达信息大多是多模态的。一个短视频,不只有画面,还有声音、文本信息等,因此UGC智能创作也应该对多模态信息进行联合建模。在智能创作方面,多模态技术的落地场景有很多,包括为短视频配乐、配文案,图文转视频,以及文字生成画面等。

以上这些技术在实际落地中会面临很多挑战,包括如何保证算法在各种不同的机型上都能发挥最好的算法效果且保证运行流畅。如何保证用户在各种使用场景中能保证算法的鲁棒性等。这些都是CV技术在实际业务落地时必须考虑和解决的问题。

在演讲的最后,万鹏飞展望了短视频UGC智能创作技术未来发展的五大趋势:“首先是从单模态到多模态,利用多模态信息进行智能创作;第二,生成模型会越来越强大。生成的内容更加逼真,且生成的过程更加稳定可控;第三,内容形态走向虚实融合。虚拟与现实的边界变得模糊,混合现实技术很有前景;第四,从辅助制作到辅助创意,技术需要帮助人们解决内容创作中的创意瓶颈问题;最后,计算模式将走向云边端联合计算,强大的计算能力将为用户解锁更多更智能的创作体验” 。

这篇文章对你有价值吗?

  • 相关推荐
  • 大家在看
  • 快手在微信新增团购小程序“吃喝玩乐在快手” 未加入短视频属性

    今年以来,抖音和快手不断加码本地生活业务,而现在快手在微信端上线了一款可以团购的微信小程序,名为“吃喝玩乐在快手”。

  • 爱优腾爆锤短视频快手说误会,字节直接开撕

    ​昨天下午的第九届中国网络视听大会,可能是今年(迄今为止)最有梗的行业大会了,用一句古话形容,就是“明枪易躲,暗箭难防”。台上的几位大佬发言怼人,就差把对方的身份证号码报出来了。

  • 快手发起“一拍成名”短视频大赛 助力短视频内容创作

    据中国互联网络信息中心(CNNIC)统计,截至2020 年12 月,我国短视频用户规模为8.73 亿。短视频不仅正在成为一种新的生活方式,也开始逐渐成为越来越多人记录甚至改变生活的方式。为鼓励更多短视频创作者一显身手,同时也为了挖掘更多优质短视频作品呈现给观众,快手近期发起了“一拍成名”短视频大赛, 5 条赛道累计 150 万元的现金奖励等你来拿。同时,由大赛千万用户作品组成的官方独家用户影片也正式开始“筹备”。据悉,“一拍

  • 快手成为东京奥运会首家持权转播短视频平台

    快手官方宣布与中央广播电视总台签署授权合作协议,平台已获得2020东京奥运会与北京2022年冬奥会视频点播及短视频权利,正式成为2020东京奥运会与北京2022年冬奥会持权转播机构,将为用户带来奥运赛事视频内容与多平台互动体验。

  • 快手全景视频全链路发展 在短视频领域引领全景潮流

    6 月 3 日,第九届中国网络视听大会在成都开幕,快手受邀出席“VR视听前沿发展论坛”,快手音频视频技术部播放器负责人苍鹏从技术发展的角度对快手全景视频领域的成长历程、成绩和未来规划进行了介绍。据苍鹏介绍,自 2020 年 3 月以来,快手在全景视频领域迅速发展,不断用技术赋能视频内容创作者。随着全景视频作品接连出圈,全景视频创作者迅速获得巨大流量和收益,快手全景视频领域不断迎来内容创新和技术升级,涌现出更多优秀

  • 快手亮相第九届中国网络视听大会 科技驱动“短视频+直播”发展

    随着网络视听产业规模进一步扩大,如何进行模式改革、提质创新成为行业发展的关键。6月3日至5日,第九届中国网络视听大会在成都召开,本届大会以“奋进视听新征程”为主题。大会期间共举办网络视听业庆祝中国共产党成立100周年宣传活动,网络视听业庆祝中国共产党成立100周年工作展、高新视听技术与产品展等主题展览,以及40余场论坛、发布会、公益直播等活动。作为视听领域的代表性企业,快手应邀亮相大会,并带来主题展台,展示?

  • 快手与2021美洲杯达成直播版权合作 “直播+短视频二创”玩法再升级

    快手宣布平台已与2021年美洲杯达成合作,拿下美洲杯全场次(28场比赛)直播及短视频版权,并将基于版权内容推出“直播+短视频二创”创新玩法。据悉,快手海外产品Kwai此前已成为2021年美洲杯独家线上社交合作伙伴,也是首家赞助美洲杯的短视频社交平台。

  • 现在是做抖音短视频最好的时候

    我知道许多人对此一定会有疑问,现在做抖音短视频还来得急吗?不是早就已经过时了吗?其实我到并不这样认为,我们可以先来回顾一下整个电商交易的发展历程,大家就知道为什么现在要做以及还来得急做短视频。

  • 字节副总裁回应腾讯称短视频低智:腾讯也在大力发展短视频

    今天多家媒体报道称,在第九届中国网络视听大会上,腾讯副总裁孙忠怀称部分低智低俗短视频长期影响用户心智。对于该腾讯副总裁的言论,字节跳动副总裁李亮也给出了回应。

  • 网文小说“嫁接”短视频

    ​当两个内容平台碰撞在一起会产生怎样的火花?通过网文小说平台和短视频平台走到一起,告诉我们的答案是一个成了另一个的上游供应链。

  • 如何通过短视频卖酒数千万的?

    ​短视频带货,已然成为继线下开店、线上网店、微商社群之后又一常态化的销售通路,没有人可以否定短视频能带货的事实。

  • 抖音开始“内卷”,直播带货如何靠短视频突围?

    多数商家都已经意识到,抖音流量越来越贵,出价成本也越来越高,当大批量淘系玩家入局以后,他们并没有走“兴趣电商”的新套路,而是继续沿用淘系老玩法,仅仅是把淘系平面电商进化成了抖音立体电商。

  • 微火:短视频营销系统上线 再次震惊支付经营行业

    2021.6. 1 日,微火研发的快抖短视频营销系统正式首发上线。无论存量商户还是新商户都可开通使用本功能。近年来。抖音网红店,快手网红店成为实体店经营的一个梦想。而微火研发的快抖短视频营销系统能让任何一家实体店都轻易地变成网红店。我们以抖音为例,官方的叫法叫“同城霸屏”“爆店码”,其营销玩法为在消费者到店,扫描商家抖音优惠码,领取并享受商家优惠(类似扫码送一瓶饮料、或一个菜品)。顾客的抖音会自动发布商家提

  • 短视频种草的5种表达方法

    作为卖货的商家,在平台发布短视频时,有什么内容表达方式可以让用户更好的了解我们想要卖的产品。考虑到一部分村民最近应该也在做抖音、快手相关的业务,所以特截取部分内容和大家来分享。

  • 短视频矛盾激化,张一鸣怎样“解铃”?

    “你喜欢猪食,看到的就全是猪食。”在6月3日第九届中国网络视听大会上,腾讯在线视频首席执行官孙忠怀说出的这句话,堪称对短视频及其分发机制批评史上最惊世骇俗的声音,没有之一。他声称,“部分低智低俗短视频内容长期影响用户心智”,这些短视频就像猪食,然后,就说出了那句让公众跌破眼镜的话。

  • 快手亏了,老铁赚了

    5月24日,快手发布2021年一季度财报。整体来看,快手一季度总收入为170.19亿元,同比增长36.6%,经调整后净亏损为49亿元。其中,有两个信息值得注意。

  • 快手 看见一个真实的曹县在崛起

    “山东菏泽曹县NB,666,我的宝贝!”短视频用户“曹县大硕”(快手ID:ss666666nb)玩的一句梗,引发了网友争相玩梗,让曹县出圈了。曹县承包了这几天的段子,网络社区充满了欢乐的气息。“宁睡曹县一张床,不买上海一套房。”“中国不能没有曹县,就像西方不能没有耶路撒冷。”“我居然在曹一环,不得了了。”对于曹县走红出圈, 5 月 17 日山东曹县县委副书记、县长梁惠民表示:“各位网友对曹县的关注度非常高,不论是正面的,

  • 9种月入过万的短视频卖书方法

    近五年来,受公众号、短视频、电子书等影响,实体书籍的销售多少还是受到了一些冲击的,对于一些图书作者来说,能卖一两千本就已经算得上是畅销书了。

  • 海外短视频混战前线直击:YouTube1亿美元奖励短视频创作者

    根据《中国互联网络发展状况统计报告》,截至2020年12月,我国短视频用户规模为8.73亿,占网民整体的88.3%。短视频在中国如火如荼发展的同时,在海外也呈现火热竞争态势。以TikTok为代表的中国出海产品,以及全球的社交和传媒巨头,都在参与短视频大蛋糕的瓜分。

  • “猪食论”火了,短视频创作者尴尬了

    腾讯和字节跳动又吵起来了。起因是6月3日,在第九届中国网络视听大会上,腾讯副总裁、在线视频首席执行官孙忠怀称,部分低智低俗短视频就是简单洗脑式的重复,潜移默化冲击用户观念,拉低用户心智,尤其是对心智还未成熟的青少年会造成不良影响。这一观点被外界称为“猪食论”。

  • 热门标签

热文

  • 3 天
  • 7天