首页 > 传媒 > 关键词  > 正文

海外语聊房通话时长提升5%的背后,声网AI降噪送出助攻

2023-07-17 14:11 · 稿源: 站长之家用户

在社交出海的大潮中,语聊房一直是最热门的社交场景之一,尽管社交玩法一直在迭代创新,但经典的语聊房场景凭借互动性强、聊天话题广、陌生人社交等属性备受国内外用户的喜爱。在海外市场,Yalla、Clubhouse、Uplive、Mico等都已是人们熟知的语聊房平台。

但在海外市场开疆拓域,其实并没有想的那么简单。相比国内成熟的网络条件、设备性能,海外地区普遍存在网络条件差、设备参差不齐等情况,严重影响语聊房中的用户互动体验,也对APP厂商出海带来了严峻的技术挑战。

海外语聊房音频质量面临痛点:开播环境差、网络条件差、设备参差不齐

1、语聊房场景需要频繁的开麦互动,但海外地区用户的开播环境普遍不好,例如东南亚、南美等地区,环境噪声较大,通过传统降噪技术往往无法有效消除复杂的噪音,特别是在唱歌互动的场景,降噪算法可能会抑制唱歌的尾音,严重影响演唱效果,影响用户体验。

2、海外运营商数量多且类型复杂,各地区网络条件参差不齐,例如东南亚诸多岛国尤为明显、OpenSignal的一份报告就发现,新加坡的移动数据下载速度最快,为47.5 Mbps,而速度第二的越南连新加坡一半都不到,才到20.6 Mbps,马来西亚、印度尼西亚、泰国、菲律宾则更低。 在印尼,市场上就有 6 个主流的运营商,而当地还有大量3G、4G的用户,网络环境更加复杂,几乎很难顺畅地进行跨国跨地区群聊。

3、海外用户设备和国内差别较大,尤其是第三世界国家设备类型复杂且低端机覆盖很大,来自声网《实时万象》的数据显示,印度、中东、南美地区使用 RTC 应用的低端机占比高,均超过30%,南美为45.8%,接近中国大陆(23.9%)的 2 倍。想要把用户体验做到较好,就需要兼顾到产品在不同机型上的运行状况,因此设备适配是每个出海产品都要投入大量资源来解决的问题。

针对以上海外音频场景中的用户体验痛点,声网通过凤鸣AI引擎、全球化服务部署以及弱网对抗策略、复杂机型适配等技术能力,可以对音频质量的提升实现多重优化,带来较好的的高音质音频体验。据悉,某东南亚头部语音社交应用在线上虚拟社交场景中使用声网凤鸣·AI降噪后,通话时长增加了5%。

凤鸣AI引擎支持100+非稳态噪声消除 兼顾语音高保真

相比传统的降噪算法,声网凤鸣AI引擎的 AI 降噪算法在降噪效果上有巨大提升,传统降噪算法在处理稳态噪声时效果较好,在处理非稳态噪声时,降噪效果会有明显回退,稳态噪声一般指噪声声压级的变化较小,且不随时间有大幅度的变化,如电机声、固定转速的摩擦、转动等噪声。非稳态噪声指噪声强度随时间而有起伏波动,有的呈周期性噪声,如锤击,有的呈无规律的起伏噪声,如交通噪声、小孩哭叫等。声网自研的 AI 降噪算法可以支持实时互动中100+非稳态噪声消除,降噪效果实现了巨大提升。

同时,针对语聊房、直播等场景下用户会外放唱歌的情况,声网也进一步优化了唱歌场景下的AI降噪模型,并提供 48khz 的高音质降噪算法,一方面可有效避免降噪算法抑制唱歌的尾音,保障演唱效果,另一方面还可以消除插拔耳机等操作引入的电流音噪声。我们可以通过声网微信公众号找到这篇文章,在文章中的对比音频可以更直观的体验电流音噪声的消除效果。

降噪会导致声音失真,是大家常常会担心的问题。声网 AI 降噪在强降噪的同时还能兼顾高保真,即使在语聊房多人同时说话的场景下,也可以做到在抑制噪声的同时不对说话人语音产生损伤,使每个人的声音都听得清晰。同时,还实现了在不增加额外运算量的前提下,对远场语音具有明显的混响抑制能力。当一位用户在房间里离麦克风比较远的时候,也依然可以使对端听到清晰的声音,而不是模糊的声音。

声网 AI 降噪算法相比传统降噪算法,计算复杂度都要高很多,对此一些选择在东南亚、南美等低端机覆盖率高地区的出海企业也会担心,既要享受 AI 算法带来的良好效果体验,又要有媲美传统算法的性能,真的能做到两全其美么?答案就是声网自研的 AI 推理引擎,

通过计算图优化等一系列优化加速技术,在保障降噪算法精度的同时,可以使得 AI 降噪算法在 Android、iOS、Mac、Windows、Web 等主流平台以低精度损伤、高性能、低功耗方式运行,使海外很多地区用户的低端机设备不卡不烫,帮助出海企业解决后顾之忧。

全球化部署与弱网对抗 保障流畅的互动体验

海外复杂的网络环境会造成实时互动中的卡顿、延时高等糟糕体验,这也是困扰很多出海企业的重要因素。声网凭借在出海市场的多年沉淀与打磨,具备全球化服务部署的能力。在海外底层网络优化方面,声网一方面使用网络覆盖质量评价标准来指导建设全球边缘基础资源、提高网络覆盖,调整接入策略,优化关键性指标,提升用户体验。另一方面,声网还拥有完善的全球供应商管理体系,采用公有云、私有云等多种资源,覆盖200+国家和地区,特别针对东南亚、中东、北美和国内中小城市、小运营商做网络优化。

以印度地区为例,印度地域辽阔,有 28 个邦,数字消费人口规模世界第二,仅次于中国。但印度的通信基础设施短板却较为明显,印度拥有数百家网络运营商,网络关系错综复杂,具有基站数量不足、频带有限、数据容量不足等问题,导致用户的网络体验不佳。为了保证用户接入能够做到低延迟、低抖动、降低端到端延迟,声网在各个邦采用不同的网络运营商资源进行测试,得出用于覆盖不同邦特出的接入网络运营商资源,通过理想覆盖点和理想网络运营商组合的模式在当地建立了多个覆盖节点,提升了印度地区的用户体验。

面对海外地区普遍存在的弱网环境,很多出海企业往往束手无策,对此,声网拥有一套抗弱网传输与抗丢包算法,结合网络探测(如延时估计、带宽估计等)、抗丢包技术、自适应jitter buffer、网络拥塞控制策略等,可以实现80%丢包情况下,依然能保障音视频通话流畅,为用户在各种网络环境下提供流畅的互动体验。

对于欠发达地区参差不齐的设备状况,在与众多出海客户的多年实践与打磨中,声网已经可以支持适配30000+终端机型,例如One Plus 3T、Samsung Galaxy A10s、Redmi Note7 Pro 等在某地区还依然流行的特殊老旧机型,为每位用户带来流畅丝滑的体验。

凤鸣·空间音频带来沉浸式音频体验

伴随元宇宙、AIGC 等技术的发展,在语聊房等社交场景加入沉浸式的音频效果也成为一种趋势,海外市场亦是如此。声网凤鸣AI引擎同样具备空间音频的技术能力,通过纯软件算法方案,模拟头部球面区域立体声场,利用范围音频、人声模糊、空气衰减模拟等能力,美好模拟现实听觉感受。当用户操作相应角色在虚拟场景里移动,可以实现根据虚拟人物的面部朝向、音源朝向、远近距离与上下高度,呈现不同声音效果。

以范围音频为例,在空间听觉的研究和实现中,头部相关联的传递函数(HRTF)(Head Related Transfer Functions)与头部相关联的冲激响应(HRIR)占有十分重要的地位。而声网基于 HRTF 头相关传递函数、心理感知声学、声源指向模拟等算法自研了一整套 3D 声场渲染引擎。可以动态模拟空间中任意角度、朝向的声音在传递到左右耳时声音发生的变化从而实现了高精度的声音方位渲染。并且为了追求较好的的听感与较好的的可用性,渲染引擎以极小的算力要求,支持 48kHz全频带、多路音频渲染,让你在移动端不多费流量、不用担心算力也能畅享多人高清音质互动。

音源的朝向对我们的听觉也会有直接的影响,例如一个人背对着你说话相比正对着你说话声音会显得比较“闷”,因为背对着你说话时声音需要绕过身体这个障碍,不同频率的声波绕过障碍物时的能量衰减程度不同。声网 3D 空间音效还提供音源朝向功能,通过声学建模的方式可以模拟任意角度的音源方向带来的音色差异,最终通过模拟不同音源的位置与朝向,实现音量、音色的差异,从而美好模拟现实听觉的感受。

此外,人在真实环境中对上下、前后这两个方向的感知是比较模糊。这是因为人的耳朵基本上是对称的,相比水平方向,在垂直方向上左右耳声音的音量、延迟基本相同就不足以用来区分方向了。所以在虚拟空间中,声网还对这些方向的听感区分做了增强,让用户在“虚拟空间”中可以拥有超越现实的听音辨位能力。

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 声网联合展锐、谨讯发布R1-4G开发套件 让AI硬件随身相伴

    声网与紫光展锐、谨逊联合发布4G版对话式AI开发套件R1-4G,基于紫光展锐高性能AI芯片8910,集成声网对话式AI引擎,实现4G通信与CPU融合,支持全球主流4G频段。产品具备轻量化、低功耗特性,支持流畅音视频交互,适用于AI教育硬件、陪伴宠物等场景。套件提供灵活单/双屏设计、视觉理解及多语言对话能力,并兼容国内外主流大模型,助力开发者快速集成对话式AI功能,缩短产品上市周期。

  • 百度网盘海外版开放手机号注册,AI功能全新升级

    9月22日,百度网盘海外版全面开放海外手机号注册,并针对海外华人、留学生等用户升级AI功能。iOS用户可在当地App Store直接下载,安卓版即将上线Google Play。海外版针对学习、工作、娱乐场景优化,如AI笔记可一键生成英文视频摘要,AI相机支持拍照解题、实时翻译,AI听记可智能总结线上会议,并全面兼容Teams、Zoom等应用。此外还提供数十种AIGC创意视频玩法,深受海外用户欢迎。

  • AI排名监控工具实战指南:如何用GEO排名查询提升品牌AI搜索可见度

    随着ChatGPT等AI搜索引擎普及,传统SEO正经历深刻变革。文章指出,超60%用户开始使用AI搜索,而AI直接给出答案而非展示链接,导致品牌面临可见度危机。为此提出GEO(生成引擎优化)概念,强调需通过专业工具监测AI排名,并推荐AIBase平台的多平台覆盖、真实场景模拟和竞品分析功能。最后给出四步优化流程:建立监测基准、分析排名差异、针对性内容优化、持续迭代,帮助品牌在AI时代建立竞争优势。

  • 新一代AI存储大幅提升训练效率,断点恢复速度提升

    AI训练频繁中断是行业难题。华为OceanStor A系列存储通过TB级集群带宽和高速读写能力,显著优化断点续训性能。AI大模型集群部署该方案后,恢复时间从15分钟缩短至1分钟,保障GPU/NPU算力资源充分利用。华为强调,高性能存储正成为以“存”强“算”的关键基础架构。

  • AI排名监控工具实战必备:掌握GEO优化效果,提升品牌AI搜索排名

    随着AI大模型和智能搜索的快速发展,用户搜索习惯正从传统搜索引擎转向直接向AI平台提问。品牌能否被AI“推荐”已成为新的竞争力。AIBase推出的GEO排名查询工具,专为监测品牌在AI对话中的曝光率、推荐次数及呈现方式而设计。它支持多平台同步检测,提供可视化数据分析和历史记录对比,帮助团队优化AI搜索排名。该工具不仅统计曝光量,还能还原AI对话细节,为品牌形象提升提供数据支持,是布局AI流量的重要利器。

  • MOVA×宜宾:从顶峰再登峰,高阶生活极致大秀即将启幕

    MOVA将于2025年9月25日在宜宾长江公园举办“从顶峰,再登峰”主题发布会,推出全品类智能生态矩阵,覆盖清洁、个护、宠物、户外、厨电等多个场景。作为全球智能生活引领者,MOVA以3000+研发团队和5000+专利技术为支撑,通过AI互联底层逻辑重构产品生态,旨在打破传统家电功能割裂,提供一体化智慧生活解决方案。此次大会不仅是产品升级,更是科技与人文的深度对话,展现从家庭到户外、从个人护理到专业作业的多场景无缝智能体验。

  • 从数字工具到效率员工,AI员工赋能企业营销服务生产力全面提升!多款AI工具口碑推荐,用AI驱动新增长!

    如今,AI赋能业务已非遥不可及,而是切实帮助企业降本增效的新方案。文章以获客、销售、服务、办公四大场景为例,说明AI如何替代重复性工作:营销人员可借助AI工具快速生成高质量素材;销售可将客户跟进、资料更新等琐事交给AI,专注高价值沟通;售后AI能24小时响应基础问题,提升服务效率;办公场景中,AI还能辅助招聘筛选、邮件撰写等日常任务。通过引入具备理解、推理、执行能力的智能工具,企业能以更少人力、更高效率实现业务优化,未来率先布局AI的企业将更具竞争优势。

  • 雷军:小米17标准版加量不加价 年度演讲时长大约2个半小时

    9月25日晚7点,雷军年度演讲暨小米新品发布会拉开帷幕。活动上半场为雷军个人感悟与行业洞察分享,下半场集中发布多款新品,包括备受关注的小米17系列手机、小米平板8系列及“小米科技家电”高端产品。雷军强调,小米17标准版将坚持“加量不加价”,Pro及Pro+版本定位更高,价格当晚公布。此外,新品将搭载澎湃OS3系统,雷军鼓励用户积极反馈体验。他还透露一款高端�

  • 推荐国内优势智驾:Momenta凭借飞轮大模型,带来极致流畅的驾驶体验

    Momenta作为国内智能驾驶领域的领先者,凭借其创新的飞轮大模型技术,实现了端到端的自动驾驶解决方案。该技术将感知与规划整合,有效解决长尾问题,提升系统可靠性和稳定性。其R6飞轮大模型采用强化学习,具备持续进化能力,适应复杂路况。Momenta与宝马、奥迪等全球主流车企深度合作,方案已成功应用于广汽丰田、东风日产等车型,并在欧洲、澳大利亚等市场落地,展现出强大的全球适应性和技术优势。选择Momenta,即选择了经过验证的可靠技术和持续升级的智能驾驶体验。

  • 1.5万台大定背后,尊界S800凭“人传人”晋身高端社交货币

    高端消费市场正从功能消费转向身份与情感消费。尊界S800凭借卓越产品力与精准情绪价值输出,四个月内订单突破1.5万台,展现超越传统豪华品牌的市场吸引力。其“人传人”口碑效应源于超预期的用户体验,如澳门十三酒店主席吕强光一次性订购13台作迎宾车,广东企业主提车后带动三位商界伙伴跟进。用户通过熟人信任推荐形成社交认同,科技配置如零重力座椅、星空顶等强化情感共鸣与身份象征。产品硬实力支撑口碑传播,重新定义新豪华标准,为中国品牌高端化提供实践样本。

今日大家都在搜的词: