首页 > 传媒 > 关键词 > 腾讯多媒体实验室最新资讯 > 正文

腾讯多媒体实验室肖玮:深度学习多角度助力语音通信,带来沉浸式音视频体验

2019-11-07 15:05 · 稿源:站长之家用户投稿

随着5G时代的正式到来,又一次产业革命大潮正在悄然而至,人工智能、物联网loT、云计算、5G等前沿技术出现在大众视野。 11 月6日- 7 日,Techo开发者大会在北京举行,在音视频及通信专场上,腾讯多媒体实验室专家研究员肖玮带来以“信号处理遇见深度学习,语音通信新技术的研发实践”为主题的演讲,从语音通信面临的挑战,以及智慧语音通信技术的发展两方面介绍深度学习为语音通信带来的创新。

image.png

(腾讯多媒体实验室专家研究员 肖玮)

Techo开发者大会由腾讯云发起,汇聚全球顶尖行业专家和技术爱好者,通过一场主论坛、 18 个技术方向分论坛和多场创新互动活动,为全球开发者搭建一个开放、中立、活跃的技术平台,助力于开发者的能力成长和实践创新。本届大会聚集来自全球 5000 多位开发者,并邀请超150位业界大咖围绕前沿技术发展进行分享和交流。

作为多媒体技术的重要组成部分,语音通信扮演着非常重要的角色,而语音通信体验则成为了打造沉浸式多媒体体验的关键一步。

相较于模拟信号时代的语音通信,数字信号时代的语音通信在流程上要复杂许多。“从技术层面出发,语音通信主要存在三个技术挑战。”据肖玮介绍,其一,信源层面上,如何获得近似无噪声、无回声、无混响的声音信号源?其二,传输链路层面上,如何兼容不同的的压缩与传输标准,并确保传输稳定?其三,工程化层面上,如何确保功能模块在维持低复杂度的同时,做到更优秀的性能及低时延?这三项挑战成为摆在语音通信技术面前的“三座大山”。

看似简单的数字语音通信,其实存在着众多需要解决的问题以及复杂的流程,想要打造一套具备普适性的语音通信系统,自然少不了深度学习的助力。

肖玮介绍,多媒体实验室将深度学习应用于信号处理过程中,一方面,基于深度学习,对瞬态等非平稳噪声形成有效抑制,实现语音增强;另一方面,结合经典信号处理和深度学习设计了音频超分技术,前向兼容现有协议前提上,提升信号的分辨率,将窄带语音输入腾讯云,补足窄带语音所丢失的部分,提升回放内容质量。同时,轻量级设计方法,能够保证模型小,可以在云端(支持大并发)或者终端(低功耗)部署。

此外,由于信号传输过程中可能出现的衰减等问题,在转码的过程中很容易出现转码失真的情况,影响音频回放的质量。为了解决这一问题,打造了一套盲式下行后处理技术。该技术兼容包括ITU-T G.711在内的各种标准协议,并且可以与音频超分协同;无需修改现有的通信协议,可降低转码失真,同时具备便于部署的轻量级建模的特性。

“借助深度学习,我们打通了从上行到传输再到下行的完整链路,这一系列技术不仅性能强大,同时又具备着轻建模,易部署的特性,能够广泛应用于基于数字信号传播的语音通话中。”肖玮表示,基于深度学习手段,腾讯多媒体实验室将语音信号处理与人工智能技术进行深入结合,打造出端到端的智慧语音通信解决方案,实现自然的人与人之间的交流。

作为腾讯旗下顶尖的音视频通信和处理研发团队,腾讯多媒体实验室在标准制定方面已经取得了令人瞩目的成绩,有近 50 项提案被下一代视频编码标准VVC/H. 266 采纳。此外,在虚拟现实(VR)、点云(PCC)、网络传输协议 (DASH)、多媒体系统(OMAF、CMAF、NBMP) 等相关多媒体标准中也取得了突破性进展,获得多项标准核心专利。

在5G浪潮下,多媒体的技术和形式不断发生改变,高效率低延迟的传输,带来了更丰富的落地场景,让8K、VR、AI更加触手可及。腾讯多媒体实验室也开始在沉浸式媒体和泛媒体方向发力,目前,多媒体实验室已经产出了相应的SDK(软件开发工具包)供文旅以及教育行业使用,未来将会在融媒体、新媒体等更多更丰富的场景落地,为用户带来极具5G时代色彩的沉浸式体验。

提升语音通信的质量只是智慧语音通信的一个侧面,它能够实现的功能则远不止于此。肖玮表示,随着智慧语音通信技术的进一步发展,未来,腾讯多媒体实验室也将持续进行技术创新,让沉浸式音视频体验更加触手可及。

网友热搜:

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 华为成立数通自动驾驶网络联合实验室

    今日,华为宣布,在 2020 华为自动驾驶网络技术峰会期间,成立数通自动驾驶网络联合实验室,以“像改变汽车一样改变网络”为愿景,致力于打造“产-学-研”技术合作平台,促进网络自动驾驶技术科研成果转化。

  • 火币宣布成立DeFi实验室,联合全球社区构建DeFi生态

    8 月 3 日,全球知名的数字经济领军企业,火币集团宣布成立火币DeFi实验室。 火币DeFi实验室专注于DeFi(去中心化金融)的研究、投资、孵化、以及生态的建设。计划在未来通过与全球加密领域和DeFi社区合作,构建更好的金融系统。 火币集团创始人兼CEO李林表示:“作为全球知名的数字经济领军企业,我们的使命是让财富更自由,让全球至少一亿家庭拥有数字资产,无论是DeFi还是CeFi。加入全球DeFi生态是一件激动人心的事,同时,也很?

  • 字节跳动AI实验室李磊:如何用算法帮助内容在不同语言里互通

    在 2020 世界人工智能大会WAIC“《新一代中国人工智能》全景论文背后的故事及AI产业在中国的发展和世界的领导力”圆桌论坛中,参与撰写论文的七位作者讨论了论文的意义和背后的故事。

  • 华为正式成立数通自动驾驶网络联合实验室:像改变汽车一样改变网络

    从华为官方获悉,近日,华为在苏州成功举办华为自动驾驶网络技术峰会,与来自复旦大学、浙江大学、西安交通大学、东北大学、苏州大学等多所高校的教授共同探讨自动驾驶网络产业的

  • 肯德基宣布与3D生物打印公司合作 尝试制作实验室生产更环保鸡块

    对于肯德基来说,他们正试图打造世界上第一款实验室生产的鸡块,这是其 "未来餐厅"概念的一部分。这家主打鸡肉的连锁餐厅将与俄罗斯公司3D Bioprinting Solutions合作开发生物打印技术

  • chem17独家对话上海德卡实验室中国地区销售经理王云峰

    随着中国经济的迅速发展,实验室行业已经从市场情况、行业服务、市场规模等进入到了中国市场的方方面面。据相关数据显示:预计2020年全球实验室分析仪器市场规模约为637.5亿美元,2016-2020年复合增长率超过4%,亚洲在未来会成为在此市场中增速最快的地区,而我国预计增速将高于其他国家/地区至少1.2个百分点。在当今市场发展下,实验室用户要求更加多样,上海德卡实验室正是这样一家拥有专业的态度和技术的值得信赖的供应商。慕尼

  • 中国科学院深圳先进院联合速眠成立数字睡眠与脑科学实验室

    2020 年 7 月 24 日,首届中国国际智慧睡眠发展高峰论坛暨数字睡眠与脑科学联合实验室成立仪式在中国科学院深圳先进技术研究院举办,以线下峰会,线上直播两者联动的方式进行。本次高峰论坛由中国科学院深圳先进技术研究院与柏斯速眠科技(深圳)有限公司共同发起,以“乘·新数之慧,启·智睡纪元”为主题,从宏观局势和顶层规划的视角,瞻望中国睡眠产业的发展趋势与创新路径。 中国科学院深圳先进技术研究院副院长许建国,中国科

  • ​当IPFS遇见云管理服务|云MSP新钛云服与冰河分布式实验室达成战略协议

    7月18日,冰河分布式存储实验室发布会在“天府之国”四川成都国际金融中心(IFS)隆重召开,本次发布会以“正本清源,探寻更佳”为主题。在此次大会上,新钛云服CEO冯祯旺受邀出席,并与冰河分布式实验室成功达成战略协议。冰河分布式存储实验室致力于向行业输出IPFS分布式存储专业知识科普、最新技术公开测评、最优算法开源最佳矿机矿池配置方案、生态应用实测等成果,正本清源地向行业传递务实、透明、开源的信息,探寻最佳的解决方案。新

  • i云保入围分子实验室“2020中国保险科技100强”榜单

    7月10日,分子实验室《2020中国保险科技全景发展报告》(下称简称“报告”)和《2020中国保险科技100强》榜单发布,专注于赋能保险代理人的保险科技服务平台——i云保,与蚂蚁金服保险、众安保险、美团金服等知名互联网保险科技公司同时入围百强榜单。据悉,分子实验室从“行业价值、发展韧性、用户体验、运营管理、未来成长、社会价值”六个方面考量,甄选出100家优秀公司,并将其融于《报告》。作为传统行业模式创新的探索者,i?

  • 腾讯斥资142亿进行巨额股权激励;杜海涛工作室声明;SKP回应拒绝外卖员进入

    7月10日,腾讯在港交所公告了最新的股权激励计划,拟授予不少于2.97万人2664万的股份。以腾讯最新收盘价计算,人均获奖励股份市值49万港元左右。以532.81港元/股的认购标准计算,腾讯本次股权激励计划或将斥资142亿港元。

  • 微博与肖战工作室谈话

    今日,微博管理员文称, 7 月 9 日微博与肖战工作室,就粉丝引导管理相关问题进行了谈话。微博建议明星工作团队应加强对粉丝群体的正面引导和约束能力。对非官方粉丝组织打着明星旗号做出的不当行为,要主动上报平台并配合平台管理。

  • 时隔3年 腾讯再次成为全球市值最高社交媒体公司

    今年经历股价大幅上涨后,腾讯市值再次超越Facebook,成为全球市值最高的社交媒体公司。此前2017年,腾讯市值曾首次超越Facebook。截至北京时间7月29日收盘,腾讯市值为5.17万亿港元(约合667

  • 微博就粉丝引导管理问题与肖战工作室谈话

    今日,微博管理员文称,7月9日微博与肖战工作室,就粉丝引导管理相关问题进行了谈话。微博认为,有影响力的公众人物和明星应对粉丝行为承担引导和约束的义务,主要通过官方粉丝组织实现。但是近几个月以来,因为未能有效引导和应对各类粉丝群体,出现了一系列扰乱网络传播秩序的现象,造成了不良的社会影响。

  • 企查查回应仝卓工作室:感谢帮忙“骂”上热搜

    今日,企查查官微发布消息称,仝卓工作室#于近日发布多条博文,质疑郑云龙毕业资格等问题,随后又发布声明,表示仝卓工作室言论代表工作室,不代表仝卓本人看法,并要求部分媒体和个人删除有关仝

  • TikTok或将总部从北京迁至伦敦 将于近期宣布成立伦敦办公室意向

    据外媒报道,根据一项协议显示,字节跳动将把TikTok总部从北京迁至伦敦。太阳报称,字节跳动创始人将于近期宣布成立伦敦办公室的意向。目前,尚未联系到TikTok对此事置评。

  • 震旦集团案例分享——会议室的智能升级,只需1个小改动

    会议室是办公空间中尤为重要的组成部分,甚至可以说是企业的命脉所在,其承载的不仅仅是面对面开会的职责,更承担了远程视讯、接待、面试、洽谈等,如此重要的空间,硬件装备不能轻视。震旦集团 55 年一直深耕办公行业,随着办公需求的升级推出了智能办公解决方案,最近在其官网上分享了其对某人力资源服务公司会议室的智能升级:在该案例中,震旦集团利用其强大的硬件整合能力及方案能力在客户预算范围内解决了客户的需求:客户情况

  • 潘玮柏工作室律师声明 要求网络用户停止和删除侵权内容

    【潘玮柏工作室律师声明】据媒体报道,日前,潘玮柏在微博平台官宣结婚,并且晒出了与妻子和父母的合影照,一家四口非常幸福。同时,潘玮柏还圈出了老婆的微博,正是此前遇潘玮柏传恋情绯闻的空姐luna宣云。

  • 罗志祥工作室律师声明谴责网络不实消息 附声明全文一览

    【罗志祥工作室律师声明】今天中午,微博@罗志祥工作室发表律师声明,称近期不断有人恶意捏造并大肆散步有关罗志祥先生及其他人士的虚假信息,已造成严重负面影响,要求造谣者立即删除不实信息,停止一切侵权行为,并将保留法律追究的权利。

  • 『大白测评室』你真的会挑蓝牙耳机吗?评测20款耳机帮你排雷!

    大家好,这里是大白测评室。(●—●)在本期测评,开始说真无线蓝牙耳机之前,大白先给大家讲一个“渣男”的故事。从前有个爱音乐的男孩,自上学起就养成了“音乐不离身”的习惯。走路都要自带BGM的他,希望能成为众人瞩目的焦点。除了走路,运动自然也少不了音乐的陪伴。但早年,在还只有有线耳机的时候,常常他才刚热身,耳机就掉了,音乐戛然而止,让人瞬间兴致全无。用一句话来说,有线耳机就像是一位倔强任性的情人,要么狠心?

  • 微博就粉丝管理问题与肖战工作室谈话 关闭7个引战帐号

    作为微博流量的重要来源,娱乐明星一直是微博粉丝活跃的关键,但是近来一些流量明星的粉丝在网络上引发巨大争议,微博以往对此是不会管的。现在不一样了,微博管理员今天表态,已就粉丝管理问题

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签