首页 > 传媒 > 关键词  > 声网3D最新资讯  > 正文

声网推出3D空间音频 模拟声源位置+空气衰减实现元宇宙的“声临其境”

2022-01-26 13:42 · 稿源: 站长之家用户

声网近期发布了“Metachat 元语聊”、“MetaKTV”解决方案,致力于提供一种全新的元宇宙互动社交、K 歌方式,其中都提到了“3D 空间音频”这项核心技术,对提升玩家沉浸感与听觉体验发挥了关键作用。我们也收到了很多开发者的咨询,今天将为大家带来声网 3D 空间音频的技术揭秘,揭晓这项技术的核心功能点以及背后的技术原理。

在现实生活中,由于双耳效应的原理,我们听到来自上下、左右等不同方位声音的感觉是不同的,并且可以快速辨别对方的位置。而在元宇宙虚拟空间中,如何通过听觉增加沉浸感是很多厂商迫切解决的关键要素,想象一下,在 3D 的虚拟聊天室中,你操控着虚拟形象与网友们聊天,耳朵里还传来正前方主持人的声音以及房间各个角落的聊天声,优雅的 BGM 在你的上方环绕,仿佛置身在线下真实的 Party 中。这其中一些关键细节的拟真度是构建临场感、沉浸感的关键要素,关键细节的缺乏会造成用户的感知度很低,而声网的音频技术团队通过对技术的持续钻研,力求对每一个细节完美处理,最大程度为用户带来更逼真的听觉体验。

3D 空间音效、空气衰减模拟、人声模糊  三大黑科技完美模拟现实听觉

声网 3D 空间音频通过纯软件算法方案,模拟头部球面区域立体声场,使用户在音频听感上具有空间感。当用户操作虚拟人物在虚拟场景里移动,可以实现根据虚拟人物的面部朝向、音源朝向、远近距离与上下高度,呈现不同声音效果,完美模拟现实听觉感受,这其中“3D 空间音效”、空气衰减模拟、人声模糊三大黑科技发挥了关键作用。

1、3D 空间音效:模拟音源的位置与朝向  实现音色差异

文章开头有说过,我们在现实生活可以感知到声音是从不同的方向传来的。我们先来大致介绍下这里的“方向感”是怎么产生的。

图1:耳廓收音示意图

我们可以通过图1 看到人耳的耳廓在接收不同方向的音源时,会让声波以不同的路径传导至内耳。这样,不同方向的声波传输到内耳的时候,音色就会由于耳廓的形状而产生各向异性。除此之外,由于我们有两个耳朵,所以音源在不同方向时声波到达耳朵的时间也会不同,这一点我们可以结合图2 来理解一下。

图2:双耳效应示意图

结合图2 我们可以发现,如果音源在你的右侧,右耳会先接收到声波,相反如果音源在左侧,左耳会先收到声音,同时由于人的头部也会对声音的传播产生影响,如果音源在右侧,那么声波需要越过头部这个“障碍”才能传递到左耳,那么相对于右耳,左耳听到的音色和频率会有所衰减。最终我们依靠双耳间的音量差、时间差和音色差来判别声音的方位。

介绍完双耳效应的原理,再来看声网是如何在虚拟空间中模拟真实的“双耳效应”,在虚拟世界中,我们需要把音频根据声源+用户的相对位置以及声源+用户的朝向来渲染一个双声道的音频,这样就可以带上耳机来体验不同空间位置的声音实现“听音辨位”,目前一些传统的解决方案是通过调节左右耳音量的方法来实现左右方向的渲染,但这种方法只能渲染左右的方向。对更复杂的前后、上下这些方向的渲染还需要细致调节左右耳音色、延迟等细节差异才能准确模拟音源的位置。

在空间听觉的研究和实现中,头部相关联的传递函数(HRTF)(Head Related Transfer Functions)与头部相关联的冲激响应(HRIR)占有十分重要的地位。而声网基于 HRTF 头相关传递函数、心理感知声学、声源指向模拟等算法自研了一整套 3D 声场渲染引擎。可以动态模拟空间中任意角度、朝向的声音在传递到左右耳时声音发生的变化从而实现了高精度的声音方位渲染。并且为了追求极致的听感与极致的可用性,渲染引擎以极小的算力要求,支持 48kHz全频带、多路音频渲染,让你在移动端不多费流量、不用担心算力也能畅享多人高清音质互动。

在 HRIR 的采集中,声网通过在全消实验室针对每个角度都有一对采集的 HRIR,最终形成了一个球形的数据集,以实现角度的精准模拟。下方图3 就是一个球形 HRIR 的坐标示意图。我们可以看到图3 中央是人头部所在的位置,周围的红点就是 HRIR 采集时音源的方位。

图3:HRIR 采集点的空间分布

音源的朝向对我们的听觉也会有直接的影响,例如一个人背对着你说话相比正对着你说话声音会显得比较“闷”,因为背对着你说话时声音需要绕过身体这个障碍,不同频率的声波绕过障碍物时的能量衰减程度不同。声网 3D 空间音效还提供音源朝向功能,通过声学建模的方式可以模拟任意角度的音源方向带来的音色差异,最终通过模拟不同音源的位置与朝向,实现音量、音色的差异,从而完美模拟现实听觉的感受。

此外,人在真实环境中对上下、前后这两个方向的感知是比较模糊。这是因为人的耳朵基本上是对称的,相比水平方向,在垂直方向上左右耳声音的音量、延迟基本相同就不足以用来区分方向了。所以在虚拟空间中,声网还对这些方向的听感区分做了增强,让用户在“虚拟空间”中可以拥有超越现实的听音辨位能力。

2、空气衰减模拟:模拟现实声学现象 让声音更逼真

模拟不同音源位置与朝向进行“听音辨位”只是声网 3D 空间音频模拟现实听觉感受的第一步,我们还实现了对空气衰减的模拟。在现实中由于空气的存在,声波在空气传播中会产生衰减,其中高频的声音衰减快,低频的衰减慢,那么同一个音量的声音,如果高频多一些,我们就会觉得它离你更近。

由于声波在空气传播中会产生衰减。而其中高频的声音衰减快,如蚊子的嗡嗡声、鸟叫声,低频的衰减慢,如男生粗犷的声音,风声、水泵声。那么同一个音量的声音,如果高频比较多,我们会觉得它离你更近一些。空气衰减功能就是模拟这种现实环境中的声学现象让声音听起来更逼真。我们用 2 张图来更直观的展示,如下方图4 频谱图所示,低频的声音可以传播更远,而 8Khz 以上的声音如果超过 1 千米以上就很难听到。

图4:不同频率的声波空气衰减曲线

图5 的时频图所示,上方为空气衰减的模拟,下方是只有音量的衰减,对比可以看出在空气衰减的情况下,在距离逐渐增加后,8KHz 以上的音频声音衰减更为迅速。

图5:空气衰减效果频谱对比

在生活中很多人对“空气衰减”的存在感知并不明显,但在虚拟空间中,通过 3D 空间音效与空气衰减模拟的强强结合,可以进一步还原现实听觉感受,在元宇宙中创造更逼真的“声临其境”感。

3、人声模糊: 热闹的氛围与“安静”的聊天也可兼得

我们在嘈杂的酒吧、LiveHouse 中经常会遇到这种情况,你只想听到朋友的声音,但其他人嘈杂的声音不想完全消除,因为这样就没有了酒吧的氛围。在线下,你可能没法实现,但在虚拟空间中完全可以做到。声网 3D 空间音频的人声模糊功能就能将虚拟空间中你不想听到的声音进行模糊化处理,这样你能听到空间中周围的人声,但听不清他们在说什么,从而既保持了环境氛围,又不会干扰你与朋友的互动。

除了以上三个核心功能外,声网 3D 空间音频还支持本地音源文件播放,可以自定义场景中的背景音、伴奏、音效等。对于开发者而言,也支持灵活、多模式接入使用:

API 模式:直接集成Agora SDK,调用 API 即可自定义空间音频  (客户(需要center

server)根据自己虚拟世界的音源、听音者位置,朝向信息等,输入参数,即可实现)。

Server 模式:Agora Server 实现坐标同步与空间音频所需的参数计算,并在客户端进行音

频渲染。

本地渲染模式:客户端可以把上传的音频进行空间音频的渲染,从而可以实现背景音乐、环境音效渲染等功能。

介绍完声网 3D 空间音频的核心功能点与技术原理,我们再来看看它的应用场景,被视为下一个互联网新形态的元宇宙已经融入各个行业的多个场景,如游戏、语聊房、在线K歌、虚拟演唱会、VR、AR等,声网 3D 空间音频同样适用于以上各类场景,但对于语聊房、在线会议、虚拟活动、在线教育等场景而言,3D 空间音频可以有效的增强用户在线上的互动、听觉体验。而对于 Metaverse、VR、AR、虚拟演唱会、在线游戏而言,3D 空间音频则有望重构用户在虚拟世界的沉浸感与听觉体验。

图6:3D 空间音频部分应用场景

我们将通过几个应用场景的案例来更直观的展示 3D 空间音频所带来的效果。

1、语音聊天室:在语音聊天室中,通过 3D 空间音频你可以听到来自房间前后、左右各处的360° 音频,当你感受到来自周围的笑声时,感觉就像在参加一场真实的线下聚会,对于听众与发言者来说都不会感到平淡。再结合人声模糊功能,语音聊天室中还能激发“鸡尾酒会效应”,在多种声音混杂的环境中,你注意倾听某一种声音,并仍然能够听清他在说什么,这就是“鸡尾酒会效应”,而用户可以减少疲劳感,更加沉浸在聊天的环境中,并大幅提升聊天时长。

2、在线游戏:游戏语音是很多在线游戏的标配功能,通过在游戏内加入实时的语音功能,可以方便玩家之间沟通、协作,更好的取得游戏胜利。但单纯的游戏语音方案更多是构建玩家之间沟通的桥梁,对于提升游戏体验没有实质的作用,而通过将实时互动与 3D 空间音频结合,将重构游戏中玩家之间并肩作战的全新体验。例如在 FPS 游戏中,当队友通过具备 3D 空间音频的游戏语音与你实时沟通作战情况时,你能感觉到他就站在你的右边向你发出进攻指令,仿佛真的在线下一起参加真人 CS,这样的游戏体验几乎颠覆了传统的游戏语音沟通体验,将原本单纯的游戏语音互动功能变成了增强游戏沉浸感与协同感的核心功能。

3、虚拟演唱会:虚拟演唱会/音乐会是当下新兴的一种线上演唱会形式,演唱者可通过动作捕捉技术化身虚拟的形象投影到虚拟舞台中,用户也会变身虚拟人在虚拟舞台下喝彩,在加入 3D空间音频后,有望颠覆虚拟演唱会的听觉体验。当观众化身虚拟人坐在舞台下观看演唱者表演,他能“声临其境”的听到来自各个角落的声音,从舞台的左右两侧到中央的歌唱者再到周围观众的各个位置,犹如置身在真实的演唱会环境中,对于演唱者而言同样如此。

相比语音聊天室、在线会议,虚拟演唱会是否成功的关键在于演唱者的歌声与听众听到的歌声是否好听,3D 空间音频则从本质上改变了歌声传递到听众耳朵中的听觉体验,并弥补了虚拟演唱会一直缺失的“现场氛围感”,未来观众在虚拟演唱会的沉浸感与听觉体验有望不输线下演唱会。

不论是当下的各类线上活动还是未来的元宇宙虚拟世界,玩家之间的交流、互动都离不开 RTE实时互动,因此 RTE 也被视为元宇宙底层基础设施之一。而插入 3D 空间音频,新的空间信息被引入到虚拟体验中,使观众能够完全独立于他们的眼睛感知自己身后或虚拟环境中其他地方发生的事情,在建立用户之间实时互动的同时,RTE 也将成为帮助元宇宙场景增加临场感与沉浸感的基础设施,构建更逼真、更前沿的音频元宇宙。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,文章为企业产品宣传内容,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • 索尼WH-1000XM5耳机谍照曝光:30小时续航、支持空间音频

    从包装信息可知,WH-1000XM5有望实现30小时的续航,不过应该是开启ANC/主动式降噪而达到的...此外该耳机还将支持索尼自家的空间音频(360 Reality Audio)技术...耳机内部将会有两个专用芯片和三个麦克风来达到理想的降噪效果...最后,据Walkman博客推测,索尼WH-1000XM5将会在2022年8月正式发布,但是目前疑似的包装已经泄露,该耳机也有可能提前上市......

  • 探索元宇宙32号空间APP首发上古四神兽藏品圆满结束

    "元宇宙--引爆互联网时代话题"...元宇宙(Metaverse)是利用科技手段进行链接与创造的,与现实世界映射与交互的虚拟世界,具备新型社会体系的数字生活空间,这个概念最早出现于1992年的科幻小说《雪崩》,小说描绘了一个庞大的虚拟现实世界...数字藏品是元宇宙中唯一不可拆分,可确权的数字资产..."32号空间首发上古四神兽藏品圆满结束"...作为广东三二国际投资集团有限公司全资子品牌,自5月1号APP上线以来首发上古四神兽:青龙、朱雀、白虎、玄武......

  • 腾讯多个元宇宙商标被驳回 包括QQ元宇宙商标等

    腾讯科技(深圳)有限公司申请注册的多个“QQ元宇宙”商标状态均变更为“驳回通知发文”...该公司申请的“律动元宇宙”“幻核元宇宙”“QQ音乐元宇宙”“光夜元宇宙”等多个元宇宙商标已被驳回...

  • 当古老兽首遇上元宇宙 孙宇晨加速波场元宇宙赛道布局

    如果说APENFT Marketplace的横空出世是孙哥和波场在元宇宙赛道的重要战略布局,那么“数字十二生肖兽首”NFT则彰显了孙哥向全世界推广中华文化的决心...MetapolyXM-数字十二生肖兽首系列依托NFT技术重新铸造而成,目前仅存一套,是十二兽首在元宇宙空间内的首次齐聚...相信“数字十二生肖兽首”亮相波场元宇宙只是一个开始,未来波场TRON还将在元宇宙空间为大家带来更多惊喜...而在元宇宙中重生的兽首也将见证波场TRON在元宇宙、NFT赛道的又一次腾飞......

  • 隆源成型粘接剂喷射金属3D打印助力中国3D打印2.0

    据中国增材制造产业联盟数据统计,2021年中国3D打印的企业营收达265亿元,年平均增长率为30%,高于全球平均增长率,显示了世界第一制造大国对制造新技术的重视与成就...据SmarTech报告预测,到2030年,粘结剂喷射3D打印等间接金属打印技术将实现540亿美元的产值...设备搭建集成了小粒径(5~15μm)低流动性粉末精准供料系统、新型铺粉辊压系统和高精度喷墨打印系统,可实现±0.1mm的打印精度、>3600cc/h的打印速度及>55%的绿坯致密度,相关技术指标达到国际先进水平......

  • Soul融合虚实建造第三空间 元宇宙或将成为社交主流

    Soul,你可以说它是一个兴趣社交平台,但其实它已经具有了元宇宙的要素和潜力,完全可以看做一个“社交元宇宙”...有没有一个社交平台,既承载真实的灵魂,又有虚拟的氛围呢?似乎,另一个社交平台,Soul App,就很元宇宙...有趣的是,这个价格和现实中的人民币,是有对照关系的,以上的三个档位,分别折合人民币约 30 元、 50 元和 70 元...Soul及其新颖多元的玩法已经成为年轻群体中的热门话题,Soul在社交元宇宙的设计打造过程中也更倾向聆听年轻人的心声......

  • 微软加入开放3D基金会以推动开源3D技术开发与内容创作

    微软已经加入了开放3D基金会,该基金会是由Linux基金会发起的,当时亚马逊的Lumberyard游戏引擎转化成开放式3D引擎后形成了这一工作的基础,微软加入后,将支持开放3D基金会和开放3D引擎,以促进开源3D游戏和模拟开发。微软和开放3D基金会周五宣布,这家Windows公司正在成为与亚马逊/AWS、Adobe、英特尔等公司一起的"首席"成员,这是基金会的最高级别的赞助/支持者。微软在谈论加入O3DF时说,他们将持续帮助各种各样的创作者--"微软在创造力方面的根基很深,我们希望帮助创作者,无论他们在哪里,无论他们是谁,无论他们为

  • 元宇宙游戏将把区块链用户扩大10倍以上,在元宇宙也能全民偷菜了!

    今天,元宇宙游戏Meta Farm(元宇宙农场),在开心农场的基础上不断迭代升级,搬到了区块链上,paly to earn中还有socail fi,帮助更多新朋友了解元宇宙,更早入场获得时代红利...作为一款风靡全球的爆款元宇宙农场偷菜游戏,体验者从种菜的农民最终成长为农场大富翁,整个游戏生态设计贯穿从Meta Farm偷菜——Meta Farm农场主——META商业街——Meta Farm文旅影视城——MetaFarm元宇宙五大发展阶段,玩家在Meta Farm里就可以开启元宇宙游戏之旅......

  • 国内首个3D词云生成器正式上线,会打字就能制作出3D效果!

    3D词云是什么? “词云”就是对网络文本中出现频率较高的“关键词”予以视觉上的突出,形成“关键词云层”或“关键词渲染”,从而过滤掉大量的文本信息,使浏览网页者只要一眼扫过文本就可以领略文本的主旨。词云”也是数据可视化的一种形式。3D词云有哪些亮点?1、无需下载,浏览器随开随用本地储存空间不够?C盘内存爆满?别慌!图夫3D词云不需要你下载!电脑打开网页,随用随开,没烦恼。2、多角度渲染,快速生成图夫3D词云支持颜色、角度、形状、关键词文字大小的区分等多元化的设置。一张图里可以设置3种字体,这样能更好的区分你文字的主?

  • 元宇宙智库执行主席赵国栋:元宇宙与数字化转型必将催生无数新机会

    2022年5月15日,第二届全球元宇宙大会暨元宇宙三十人论坛成立大会线上举行,元宇宙产业智库委员会执行主席、元宇宙产业委员会执行主任委员、开普云首席战略官、元宇宙三十人论坛学术委员会副主席、元宇宙产业基地首席执行官、中关村大数据产业联盟秘书长、首本《元宇宙》著者,赵国栋先生发表了《元宇宙与数字化转型课题发布》的主题演讲......

今日大家都在搜的词: