首页 > 传媒 > 关键词 > AI技术最新资讯 > 正文

AI让远程交流“更清晰”:GAN消除视频通话中的抖动

2020-10-22 11:12 · 稿源:站长之家用户投稿

NVIDIA Maxine是一款云AI视频流平台,将使用GAN来提高带宽性能

Ming-Yu Liu 和Arun Mallya 正在进行视频通话,其中一个人的画面开始出现卡顿,直至画面定格。

这是一种常见且令人反感的情况。但与大多数人不同的是,Liu和Mallya可以做出一些改变。

他们是NVIDIA的AI研究人员,专攻计算机视觉。在与Ting-Chun Wang共事中,他们意识到可以使用神经网络来替代被称为视频编解码器的软件,这种软件通常用于视频在网络传输过程中的压缩和解压缩。

迄今为止,他们的工作成果将用户在视频通话时所需的网络带宽压缩至原来的十分之一,还有望将带宽消耗降低数个数量级。

Mallya表示:“我们希望通过AI提供更好的视频沟通体验,即使在带宽极低的情况下,也可以从语音升级到视频通话。”

GAN让连接质量更佳

即使用户的面部有遮挡(比如戴着帽子、眼镜、耳机或口罩),这项技术同样适用。为了增加趣味性,他们在演示中使用了一些装饰物,这样用户可以在线上更改其发型或衣服或者创建头像。

更重要的是,如上图所示,借助神经网络定位,无需再盯着显示器上方摄像头才能与对方对视,这增强了面对面对话的感觉。

Wang表示:“借助计算机视觉技术,我们可以从多个角度来定位头部。我们认为这将帮助人们更自然地进行对话。”

迎接最前沿的AI技术,让虚拟生活更真实。

AI赋能视频通话的原理

AI辅助视频通话的工作机制十分简单。

与目前使用压缩的视频流的系统类似,参考图像发送后,仅用户眼睛、鼻子和嘴巴周围几个关键点的位置数据被发送,而非发送大量压缩过像素的图像。

接收端的生成式对抗网络通过初始图像和面部关键点,在本地GPU上重构后续图像。因此,通过网络传输的数据要比之前少得多。

Liu在GAN领域的工作成果GauGAN曾引发关注。GauGAN是一种可以将涂鸦转化为写实艺术作品的AI工具,目前已经创建了超过一百万张图像。该工具可在AI Playground中获取。

Liu表示:“疫情期间频繁的视频会议启发了我们,因此我们开始探索突破带宽瓶颈的方式,让供应商可以同时为更多人提供服务。”

GPU突破带宽瓶颈

这一方法顺应当前行业趋势,将网络瓶颈转化为计算任务,从而借助本地或云端资源更轻松地解决此类问题。

NVIDIA媒体集团高级产品总监Andrew Page表示:“如今,许多公司希望将带宽问题转化为计算问题,这是因为带宽一般很难增加,而增强算力则相对容易。”

NVIDIA Maxine搭配了一套视频会议和流媒体服务工具

AI 工具优化视频服务

GAN视频压缩是NVIDIA Maxine即将推出的几个功能之一,这是一个云AI视频流平台,用于增强视频会议和电话质量。它将音频、视频和对话式AI功能整合在一个工具包中,并支持多种设备。

在上周的GTC大会上,NVIDIA宣布推出了Maxine平台。基于该平台,服务提供商能够在提供超高分辨率的视频的同时,实现实时翻译、噪声消除和情景感知的闭路字幕。用户可以享受到人脸校正、虚拟助手和化身逼真的动画角色等功能。

Page表示:“视频会议正在经历一场复兴。疫情期间,它的缺点给所有人带来了不愉快的使用体验,但回归视觉动物的属性,视频终将成为人们今后生活中的一部分。”

通过利用基于Tensor Core核心的NVIDIA GPU,Maxine可运行如NVIDIA Jarvis的软件。NVIDIA Jarvis是用于对话式AI的SDK,提供了一套语音和文本功能。 它们共同提供了当今有用的AI功能,并成为未来视频产品和服务的基石。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 谷歌搜索算法更新,将采用新的AI技术识别错误拼写

    日前,谷歌在其 “Search On” 活动中详细介绍了一系列新的改进,在未来几周和几个月内对其基础谷歌搜索服务进行改进。

  • 华为轮值董事长郭平:全面融合联接、云、AI、计算和应用 加速ICT技术全面落地

    在今日举行的华为全联接大会上,华为轮值董事长郭平就“‘5机’协同,共创行业新价值”的演讲。他回顾全联接大会举办5年以来的重点——从2016年呼吁与全球伙伴共建哥斯达黎加式生态、2017年提出要做全球五朵云之一的目标、2018年发布AI战略,到2019年首次全面阐述计算战略,今年随着5G在全球完成规模部署,华为正将联接、云、AI、计算和行业应用这五种技术、五大机会上融合在一起。郭平提到如今政府和企

  • 外滩大会发布AI理赔技术“理赔大脑”,将向保险机构开放

    在全球最大的金融科技峰会“外滩大会”上,蚂蚁集团第一次全面展示了智能理赔技术“理赔大脑”。运行数据显示,“理赔大脑”能识别最多107种医疗、理赔凭证,将保险产品的理赔核赔效能提升70%。即便是理赔链路最长的线下调查案件,平均核赔周期也能从30天缩短至15天。

  • AI技术和生态服务助力 腾讯联合英特尔及惠普打造智能教育电脑

    教育正和智能科技走得越来越近。国务院 2017 年印发《新一代人工智能发展规划》,提出在中小学阶段设置人工智能相关课程,人工智能上升为国家战略。今年 2 月,教育部办公厅印发《 2020 年教育信息化和网络安全工作要点》提出:在民族地区特别是“三区三州”,实施“智能村小”及“一村一幼”教育公司提升计划。2020 上半年的疫情加速了教育信息化的发展,快速普及的在线教育也对教育软硬件提出了更高的要求。日前有消息称,惠普、?

  • 蚂蚁集团发布AI理赔技术“理赔大脑” 称能将理赔核赔效能提升70%

    9月24日消息,在“外滩大会”上,蚂蚁集团第一次全面展示了智能理赔技术“理赔大脑”。运行数据显示,“理赔大脑”能识别最多107种医疗、理赔凭证,将保险产品的理赔核赔效能提升70%。与此同时,蚂蚁集团还宣布向保险行业全面开放这一技术。值得注意的是,在2017年,蚂蚁集团董事长井贤栋就曾公开表示,蚂蚁将向金融机构全面开放自己所积累的技术能力,成熟一个对外放一个。 据了解,“理赔大脑”由蚂蚁集团保险智能产

  • 李彦宏成立生命科学公司“百图生科” 飞桨提供AI底层技术

    9月25日消息,近日“百图生科”(英文简称“BioMap”)生命科学平台公司正式成立,百度创始人、董事长兼CEO李彦宏出任新公司的董事长,BV百度风投CEO刘维作为联合创始人,担任“百图生科”CEO。据介绍,“百图生科”定位于一家生物计算技术驱动的生命科学平台公司,致力于用高性能生物计算和多组学数据技术加速创新药物和早筛早诊等精准生命科学产品的研发,力图让更多疾病可预警、可控制、可治愈,实现人类百岁健康梦

  • AI“独角兽”排队上市,但属于AI公司的胜利还没有到

    从震惊棋坛的阿法狗,才艺双绝的微软小冰,到疫情期间智能送餐机器人,及如今各地加紧上路的自动驾驶,在今天,AI几乎无处不在。9 月 15 日,上海证监局官网公示了 Yitu Limited (以下简称“依图科技”)辅导备案公示文件。文件显示,AI“独角兽”依图科技与国泰君安证券签署辅导协议,拟以公开发行中国存托凭证(CDR)的方式在A股上市。

  • IBM拆分行动对其AI计划的影响

    作为今年最大的新闻之一,IBM最近宣布将其IT服务业务拆分为一家新公司,临时名为NewCo。由其首席执行官Arvind Krishna领导的这一举动将导致全球第一家大型计算公司从其原有业务转向多元化,而专注于高利润率的云计算和AI业务。该公司相信,通过这一举动,两家公司将处于改善的增长轨迹,具有更出色的合作能力和捕获新机遇的能力。这样一来,IBM成为第一家从传统业务中分离出来,专注于新技术的大型计算公司。全新的IBM

    IBM
  • 韩国政府公布AI发展目标 10年内开发50款AI芯片

    10月13日消息,据国外媒体报道,韩国政府周一公布了AI(人工智能)相关技术发展目标,力争10年内开发50款AI芯片。AI芯片是指高性能、高效的半导体,专门用于人工智能服务。韩国希望到2030年之前AI芯片在全球市占率达20%,并为该领域培育20家创新企业和3000名专家级人才等。今年1月,韩国科技部发布计划,将在未来10年内为人工智能(AI)半导体技术研发投资1万亿韩元(约合人民币59.4亿元)。计划还包括,三年内和民间?

  • 奔驰技术公司退出北汽德奔:北汽将无法享受奔驰技术“输出”

    北汽德奔技术中心有限公司是北京汽车股份有限公司与梅赛德斯-奔驰技术集团于2015年成立的合资公司,双方各自持股比例是51:49。近日,却有消息传出双方合作即将结束,意味着北汽将无法享受奔驰

  • 吃货福音?全球首份AI生成的调味诞生!

    常言道,唯美食与爱不可辜负,相信每一位吃货小伙伴都抵挡不了美食的诱惑。然而,用AI制作的食物调味,你绝对没吃过!

  • Microsoft Teams推出基于AI打造的实时消噪功能

    据外媒报道,微软宣布了一项针对MicrosoftTeams的新功能。这个预计将在11月推出的功能是一项基于AI打造的消噪系统,它的表现将要优于现版本对不受欢迎背景音的消除功能。

  • Facebook计划利用AI帮助应对气候变化

    Facebook周三表示,作为应对气候变化项目的一部分,它将利用人工智能帮助科学家找到存储和使用可再生能源的新方法。这家社交网络正在与卡内基梅隆大学合作,以加速太阳能和风能的使用,这些能源比燃烧化石燃料更清洁,而化石燃料会造成空气污染和全球变暖。今年西海岸的热浪和森林大火之后,气候变化仍然是一个大问题。

  • AI时代的提分秘籍 | 看智能教师如何大展身手

    2020 年,一场疫情直接冲击传统教育行业,许多学校、机构从线下转至线上教学模式,如果说过去的在线教育弥补了地域空间的差距,那现阶段的在线教育则更集中于如何用“AI”赋能,短期高效地提升学习效果。可以说,“AI+教育”逐渐成为行业新变革的核心驱动,重构教育行业的各个环节,全面赋能机构教学全过程。那么,AI时代下,与孩子实现一对一交互的智能教师,又拥有怎样的提分秘籍呢?不妨一起来了解一下当下备受期待的“提分神器

  • 孙红雷哄娃神器曝光:呆萌外表下的AI智慧心

    他是幽默耍宝的“颜王”,他也是荧幕上深受观众喜爱的演技派,但与此同时他还有一个自己最在乎的身份——奶爸,他就是演员孙红雷。在演戏方面游刃有余的他,同样也会遇到和很多父母一样的难题——如何给孩子进行优质的启蒙教育,怎样保证孩子健康茁壮的成长呢?对此,国内AI+儿童领域知名品牌阿尔法蛋已连续深耕了十余年,系列智能硬件产品深受家长和孩子们的喜爱和肯定。9月22日,阿尔法蛋官宣孙红雷成为其首席智慧体验官,并同步上线孙红雷

  • OptiTrack运动捕捉技术精准定位,为Salto机器人提供技术支持

    在2020年5月31日至8月31日举办的ICRA(International Conference on Robotics and Automation) 会议上,加州大学伯克利分校的研究人员们公开介绍了最新款机器人Salto-1P。机器人Salto-1P的初始版诞生于2016年12月,研究灵感来源于非洲一种小型夜行灵长目动物——塞内加尔婴猴(学名Galago senegalensis,英文亦称Senegal bushbaby),婴猴拥有强壮的后肢与长尾巴,它们能够快速跳跃前行。生物学家发现进化过程中遗留下来的这些以弹跳为主要

  • 李开复:AI未来突破很难预测 奇点、超级智能过于乐观

    10月10日消息,创新工场发布了近日创新工场董事长兼CEO李开复博士与阿莱克斯·彭特兰教授(Alex Pentland)之间展开的关于”AI如何重塑人类社会”对话视频。在谈及“未来十年AI有没有可能取得重要突破?”时,李开复表示,“过去60多年来,深度学习是唯一的重大突破。在这之后,卷积神经网络(CNN)和GPT-3等都算是重要的改善,我对于人工智能的渐进式改善保持乐观。”“我觉得未来十年基础科研或许不会有大的突破。但

  • 家长重视的少儿教育 “小狸AI课”为何深得父母心?

    随着社会的不断发展,少儿的教育问题成为广大家长最关心的问题。有教育专家指出,少儿教育是非常重要、特殊的一个阶段,“重要”指的是它是一个人发展的奠基时期,许多重要能力、个性品质在这个时期会形成;“特殊”指的是这个阶段是儿童身心发展从最初的不定型到基本定型,转而可以开始按社会需求来学习并获得发展的过渡时期。每一位父母都希望自己的孩子能够在少儿时期打牢基础,而小狸AI课的热度恰恰反映出家长对孩子启蒙教育的

  • Adobe的“流体模式”可以用AI为移动设备自动重建PDF档案

    Adobe在iOS和Android版Acrobat Reader应用中推出“流体模式”(Liquid Mode)。这个模式通过Adobe的AI引擎Sensei来分析 PDF,并为移动设备自动重建。如果PDF文件支持,用户通过开启流体模式,对PDF中的字体大小和行距进行调节,AI还会检测内文结构,自动构建可跳转目录。这一模式并不会对原始文件造成影响,在退出这个模式后,文件将恢复至原始状态。Adobe Sensei 是一个可以应用于Adobe旗下各款

  • 灵雀云入选Gartner 2020中国ICT技术成熟度曲线报告,容器技术处于顶峰

    近期,全球权威咨询分析机构Gartner发布了“ 2020 中国ICT技术成熟度曲线(Hype Cycle for ICT in China, 2020 )”报告,灵雀云作为国内容器和云原生领域翘楚,成功入选CaaS容器云代表性厂商(sample vendor)。这是国内容器厂商首次入选Gartner相关报告,也是对灵雀云成熟的容器和云原生产品组合、广泛的行业头部客户覆盖的一份权威认可。 技术成熟度曲线是Gartner为企业提供的评估新技术成熟度的典型工具,按照技术成熟度分为从?

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签