首页 > 动态 > 关键词 > 谷歌最新资讯 > 正文

谷歌送上主播福利,手机拍视频也用神经网络实时换背景

2018-03-02 17:16 · 稿源:雷锋网
文章目录

谷歌送上主播福利,手机拍视频也用神经网络实时换背景

YouTube stories 中的神经网络视频分割(加特效)

雷锋网 AI 科技评论按:视频分割是一项用途广泛的技术,把视频的前景和背景分离之后,导演们、视频制作者们就可以把两者作为两个不同的视觉层,便于后续的处理或者替换。对背景的修改可以传递不同的情绪、可以让前景的主人公显得去了另一个地方,又或者增强这条视频消息的影响力。不过,这项工作传统上都是由人工完成的,非常费时(比如需要逐帧把里面的人描选出来);省时的办法则需要一个专门的电影工作室,布置绿幕作为拍摄背景,从而实时替换成别的需要的内容。

不过,以往复杂的背景分割工作,现在仅仅靠一台手机就可以完成了!谷歌今天在 YouTube app 中的 stories 里集成了一个新的视频分割功能,在手机上就可以准确、实时地分割视频的前景背景。这个功能是专门为 YouTube 视频作者们设计的,在目前的 beta 版中 stories 作为新的轻量级视频格式,可以让视频作者们替换以及更改视频背景,不需要专门的设备就可以轻松增加视频的创作价值。谷歌也发布了一篇博客对其中的技术细节作了介绍,雷锋网(公众号:雷锋网) AI 科技评论编译如下。

任务目标

谷歌的研究人员们借助了机器学习的力量,把这个任务作为一个语义分割问题来考虑,并设计了卷积神经网络来达到目标。具体来说,他们针对手机的特点设计了适用的网络架构和训练过程,遵循着这几个要求和限制:

  • 作为在手机上运行的解决方案,它需要足够轻量,运行速度需要比目前最先进的照片分割模型快 10 倍到 30 倍。对于实时推理任务,所需的模型计算结果的速度至少需要达到每秒 30 帧。

  • 作为视频模型,它应当利用视频的时间冗余性(相邻的帧内容相似),自己展现出时间持续性(相邻的输出结果相似)

  • 作为基本规律,高质量的结果也需要高质量的标注训练数据

数据集

为了给机器学习流水线提供高质量的训练数据,谷歌标注了上万张照片,其中包含了各种各样丰富的前景(人物)姿势和背景内容。标注内容里包括了精确到像素的前景人物的图像结构,比如头发、眼镜、脖子、皮肤、嘴唇等等,各类背景则统一标注为「背景」,标注质量在人类标注员的交叉验证测试中取得了 98% 的 IOU。

谷歌送上主播福利,手机拍视频也用神经网络实时换背景

一张仔细标注为 9 个类别的训练样本示例;前景元素的标注区域直接覆盖在图像上

网络输入

这个视频分割任务的具体定义是对视频输入的每一帧(RGB 三个通道)计算出一张二值掩蔽图。这里需要解决的关键问题是让计算出的不同帧的掩蔽图之间达到时间持续性。现有的使用 LSTM 和 GRU 的方法虽然有效,但对于要在手机上实时运行的应用来说,需要的计算能力太高了。所以谷歌研究人员们想到的替代方案是把前一帧计算出的掩蔽图作为第四个通道,和新一帧本来的 RGB 三个通道一起作为网络输入,从而实现时间持续性。如下图

谷歌送上主播福利,手机拍视频也用神经网络实时换背景

一帧原始图像(左图)会分离为三色通道,然后再加上前一帧图像算出的掩蔽图(中)。这些会一起作为神经网络的输入,用来预测当前帧的掩蔽图(右图)。

训练过程

对于视频分割任务,我们希望达到帧与帧之间的时间连续性,同时也要照顾到图像中内容的突然变化,比如人突然出现在摄像头视野中。为了训练模型能够鲁棒地处理这些使用状况,谷歌的研究人员们对每张图像的真实背景分割结果做了各种不同的处理后再作为来自前一帧的掩蔽图:

  • 空的前一帧掩蔽:这种情况用来训练网络正确分割视频的第一帧,以及正确分割视野中新出现的物体。这模拟了某人突然出现在摄像头视野内的状况。

  • 仿射变换过的真实背景掩蔽:轻微的变换可以训练网络据此进行调整,向前一帧的掩蔽适配。大幅度的变换就训练网络判断出掩蔽不适合并抛弃这个结果。

  • 变换过的图像:对视频的原始图像做薄板样条平滑,模拟摄像头快速移动和转动时拍摄出的画面

谷歌送上主播福利,手机拍视频也用神经网络实时换背景

演示实时视频分割

网络架构

根据修改过的输入/输出格式,谷歌的研究人员们以标准的沙漏型分割网络架构为基础,做了如下改进:

  • 使用大卷积核、4 或者更大的大步距在高分辨率的 RGB 输入帧内检测物体特征。对通道数不多的层做卷积的计算开销相对较小(在这种情况下就是 RGB 三个通道的输入),所以在这里用大的卷积核几乎对计算需求没有影响。

  • 为了提高运行速度,模型中结合大步距和 U-Net 类似的跳跃连接,激进地进行下采样,同时也在上采样时保留低层次的特征。对于谷歌的这个分割模型,有跳跃连接的模型的 IOU 要比没有跳跃连接的大幅提高 5%。

谷歌送上主播福利,手机拍视频也用神经网络实时换背景

带有跳跃连接的沙漏型分割网络

  • 为了进一步提高速度,谷歌研究人员们优化了默认的残差网络瓶颈。在学术论文中,研究者们通常喜欢在网络中部把通道数缩减为 1/4 (比如,通过使用 64 个不同的卷积核把 256 个通道缩减为 64 个通道)。不过,谷歌的研究人员们认为他们可以更加激进地缩减通道,可以缩减为 1/16 甚至 1/32,而且并不会带来性能的大幅下降。

谷歌送上主播福利,手机拍视频也用神经网络实时换背景

大比例压缩的 ResNet 瓶颈

  • 为了美化图像边缘、提高图像边缘分割的准确率,在整个分割网络之上增加了几层全分辨率的密集连接 DenseNet 层,这种做法和神经网络匹配很相似。这种技巧带来的模型总体数值表现提升并不大,仅有 0.5% IOU,但是人类视觉感知上的分割质量提升很明显。

经过这些修改之后,网络在移动设备上的运行速度非常块,不仅在 iPhone 7 上有超过 100 帧每秒、Pixel 2 上超过40 帧每秒的速度,而且还有很高的准确率(根据谷歌的验证数据集达到了 94.8%),为 YouTube stories 功能提供了各种丰富流畅的实时响应效果。

谷歌送上主播福利,手机拍视频也用神经网络实时换背景

视频分割团队的近期目标是在 YouTube stories 功能的小规模开放期间进行更多测试。随着分割技术改善、拓展到更多标签的识别分割,谷歌的 AR 服务中未来也有可能会把它集成进去。

via GoogleBlog,雷锋网 AI 科技评论编译

  • 相关推荐
  • 大家在看
  • 或许AI也需要睡个好觉?神经网络定期休息后,能更好地工作

    AI真的越来越像人了,它可能并不像我们想象中那样一刻不停的工作也能保持高效,一项最新研究显示,在模拟神经网络中,存在着和人类睡眠类似的“休息”状态,用于消除人工大脑因为不间断自学习导致的不稳定性。

  • “网红带货”时代:如何找到好化妆品货源做最火的网络主播

    网红经济眼下正火,看到那些网红电商在创业大路上抓住新的机遇,很多人都跃跃欲试,但做一个出色的带货主播并不仅仅是形象气质佳、表达能力好就够了,毕竟要把东西卖给别人,别人就不可能不关注东西本身的质量,尤其是从事大牌化妆品带货的网络主播,必须要提供保质保量的商品才能获得观众的认可,在主播这条路上长久生存下去。但是市场中的化妆品货源供应平台鱼龙混杂,并不是所有的都能让人放心,不过还是有一些平台能令人放心,

  • ​神经拟态计算的“一小步”, AI发展的“一大步”

    一个新技术从提出到成熟往往要经历多次热潮,当下热门的AI正是如此。纵观整个AI的发展历程,可以分为三个阶段。目前,AI正在从2. 0 阶段发展到3. 0 阶段,此时,重要的一环就是神经拟态计算取得的突破性进展,而这又需要在两个方面发力。

  • 主播经纪人口述:博士毕业,依然在“伺候”网红主播

    直播带货走向风口的同时,带火了一大批的主播。一将功成万骨枯,网红主播们业绩爆棚、声名赫赫的背后,离不开一个团队的辛勤付出。

  • 主播圈出大事了,平日里和和气气的主播们怎么打起来了?!

    游戏主播圈最近出大事了。 这句话不是我说的,是国内知名电竞解(du)说(nai)黄旭东在微博上说的。 实际上,除了黄旭东老仙,还有他提到的LOL主持骆歆、《炉石传说》主播王师傅之外,自 6 月 5 日起,已经陆陆续续有约 20 位顶级游戏主播三三组队放出狠话——搞得这几天的主播圈子里俨然一副大战在即的样子。 软萌如呆妹,可能正忙着准备抱住周淑怡、智勋的大腿。 嚣张如陈死狗,甚至已经立下毒誓,决意带着吊吊茶和表哥“血洗?

  • DNF夜市大亨预热主播???具体位置图 预热主播???位置在哪?

    DNF在6月5日开启了夜市大亨的活动,这个活动还需要你去寻找预热主播???,这个预热主播的位置很多玩家还不清楚在哪,其实很简单,下面就来为大家分享一下预热主播???的详细位置图。

  • 游戏主播“合而限之”

    近日据南方都市报报道,湖北省高级人民法院对主播韦朕(直播名:韦神)合约期内跳槽案件作出了一审判决,法院判定韦朕在合同期内跳槽其他平台的行为属于故意根本违规。按照双方此前签订的合同约定,判决韦朕向原告武汉鱼行天下文化传媒有限公司(斗鱼全资子公司)支付违约金 8522 万元。

  • “神经质伪文艺差”健康养生领域排行榜,百家号分类应该怎么选

    备注:本文数据来自站长之家移动传媒平台,文章涉及的数据依托平台大数据计算所得,非百度官方数据,仅供参考。神经质伪文艺差是当前百家号中的普通号,目前账号百家号权重为2,综合排名位列850375名,健康养生分类排名位列26938名,领先了23.9%的百家号。 神经质伪文艺差百家号概况 神经质伪文艺差的简介为神经质伪文艺差,专注精品创作,是一家主旨明确、领域专注的自媒体作者,截止目前为止他们已经在百家号上发布了超过27篇的?

  • 我是主播,不打游戏也不卖货

    ​李佳琦被一波流唱衰了。在行业媒体的描述里,自从进入 2020 年 5 月,李佳琦的直播生涯开始了出现了一系列“滑坡”,包括且不限于打破 365 天无休记录的数次请假、小助理付鹏单飞并微博改名、带货销售量下滑、带货商品事故等等。

  • 快手主播带货佣金多少

    现在很多快手的主播都在带货,一些新手的主播也想加入到带货的大军中,所以很关心快手主播带货的佣金大概是多少,下面就来为大家详细的介绍一下。

  • Mixer关停 主播泪流满面

    微软Mixer直播平台将于7月22号之后停止运作,网站及App会将访问请求导流至脸书旗下的Facebook Gaming,Mixer的主播们事先并不知情:微软于16年买下Beam,将其更名为Mixer并整合进Xbox平

  • “神经病房欢乐多”百家号怎么赚钱?百家号收益赚钱排行榜

    备注:本文数据来自站长之家移动传媒平台,文章涉及的数据依托平台大数据计算所得,非百度官方数据,仅供参考。神经病房欢乐多是当前百家号中的普通号,目前账号百家号权重为2,综合排名位列871205名,综合分类排名位列40990名,领先了22.0%的百家号。 神经病房欢乐多百家号概况 神经病房欢乐多的简介为每日不定时推送搞笑段子,带你拯救不开心!,是一家主旨明确、领域专注的自媒体作者,截止目前为止他们已经在百家号上发布了超?

  • 巴西女辅助Mayumi正式宣布加入斗鱼,专职主播工作

    斗玩网原创:Mayumi作为一名外国职业女性选手,却在国内有着不少粉丝和人气,自从去年年底开始这位选手就吸引了很多全球英雄联盟玩家的关注,尤其是中国玩家的注意。Mayumi不仅有着十分可爱的外表,性格也颇受玩家喜欢。在不久之前Mayumi正式宣布离开巴西INTZ战队,专职从事主播工作,于是有很多玩家猜测她是否可能加入国内的直播平台,如今这一想法终于成为现实。

  • 重磅!快手自建商品分销库 对接品牌不再是大主播特权

    据了解,快手联盟项目大概于今年 5 月下旬正式上线,但官方层面暂未开启大规模招商活动。据一位快手服务商表示,目前平台对入驻品牌商的审核要求还比较严格,通常是直接找品牌商谈合作,不考虑品牌代理商等中间商渠道。

  • 虚拟主播带货潮,洛天依能否取代薇娅、李佳琦?

    “大家好,我是洛天依,作为天猫 618 助燃大使......”然而,开口第一句,万众期待的国民级虚拟歌姬洛天依在热场视频中,却发出了异于以往的声音,沙哑而刺耳,并且循环往复同一台词。

  • 虎牙主播“声援”世界海洋日 呼吁网友保护海洋生态

    6 月 8 日 2020 年世界海洋日暨全国海洋宣传日当天,由PADI国际潜水协会发起、自然资源部宣传教育中心指导、桃花源生态保护基金会支持,虎牙等多个机构和平台共同发布了海洋保护公益主题宣传片。虎牙主播“不求人”、“野龙”被授予“PADI 海洋环保倡议官”称号,与韩庚、卢靖珊等多位明星名人一起,为宣传片配音,呼吁更多人关注海洋生态问题。据了解,第 63 届联合国大会将每年的 6 月 8 日确定为“世界海洋日”,旨在提醒人类关

  • 被小红书、电商主播夹击的 KOC 社区,还有很多坎要过

    ​随着互联网科技的发展,传统线下社交、服务场景逐渐转移至线上,传统行业和商业模式逐渐渗透社交因素,诞生了玩法万千的社交平台,各行业企业也在向「社交化」转变。例如,以微信为典型的熟人社交,以陌陌为典型的陌生人社交,以微博为典型的社交媒体,以拼多多为典型的社交电商等等。

  • 京东AI女主播 “小可”正式出道:娇俏可爱 段子频出

    “大家好,我是京东数科自研的AI主播小可……地球不爆炸,我就不下班;宇宙不重启,我就不休息。”继京东数科自研的首位AI虚拟数字人产品AI主播“小妮”上线

  • 赴美留学第13谈:讲台搬到线上,要拿“主播”标准来要求教师了

    新冠疫情以来,全国、全世界有很多老师都会发现,一夜之间,自己的讲台搬到了线上,必须得依靠网络直播、在线会议等方式来上课了。6 月以来,中国各城市的学校开始陆续复课,然而我所在的美国,学校基本还是依靠在线完成课程的。以加州CDE为例,本周刚刚发布消息,宣布将开始“部分复课”,预计未来的课程设置会是:一周四天,学生一半在家远程上课,一半在学校,剩下的一天集体在家远程上课。这也意味着,在线课堂将在很长一段时?

  • 斗鱼游戏主播PDD加盟天猫618

    DoNews 6月10日消息(记者 程梦玲)今日上午,天猫发言人发博宣布:斗鱼游戏主播、前英雄联盟项目电子竞技选手PDD(刘谋)参加天猫618活动。PDD于2014年6月在微博上宣布正式退役 ,2019年3月25日,正式入驻斗鱼直播平台。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议

热文

  • 3 天
  • 7天