首页 > 业界 > 关键词 > 声网最新资讯 > 正文

声网推出首个完整实时合唱解决方案 即将上线“咪哒”全国线下K歌房

2021-04-21 18:07 · 稿源:站长之家用户

4 月 20 日,声网Agora宣布对实时合唱技术方案全面升级,帮助国内知名迷你KTV品牌“咪哒”实现国内首个支持多终端、多人合唱、高音质的完整实时合唱解决方案的落地,结束了国内K歌行业长期探索“实时合唱”场景,却一直未能上线的现状。

在介绍声网完整的实时合唱解决方案前,我们先来回顾下目前在线K歌行业常见的两种在线合唱玩法,以及真正的“实时合唱”面临了哪些技术难点?

体验过在线KTV合唱玩法的用户都了解,目前几乎所有的在线合唱都是通过录制合唱与单通合唱两种方式实现,以主唱A、用户B为例:

录制合唱:主唱A根据伴奏演唱——完成后点击上传——用户B选择带有A歌声的伴奏再演唱——录制完成后间接完成合唱。

单通合唱:主唱A发起合唱——伴奏发给主唱A——主唱A的歌声+伴奏发给用户B

——用户B加入一起唱。

IMG_256

第二种方案,看似是实时的,其实从体验来讲并非是合唱,其原因在于:用户B与听众可以听到主唱A的歌声,而主唱A听不到B的歌声。此外,主唱A出现问题,用户B就无法继续,这种方案还不支持两人以上合唱。

而我们想要的真正的“实时合唱”应该就像是将线下K歌房的合唱情景照搬到线上一样,双方同时听到伴奏后一起合唱,彼此都能实时听到对方的声音。

实时合唱面临合唱同步、高音质两大技术难点

早在 2018 年,声网就曾提出实时合唱的技术设想,但由于整体网络基础设施不够成熟等原因一直未能真正集成上线,此后声网针对实时合唱场景进行了长期的技术打磨,并与“咪哒”以及国内多个在线K歌平台、智能电视厂商反复集成测试,最终推出了高成熟度、超低延时、可落地的、完整的实时合唱解决方案。声网在与客户共同打磨的过程中总结了该场景的两个核心技术难点:

1、合唱同步:这里的同步指的是两个用户的歌声与伴奏三者之间的同步。我们先假设唱歌的两位用户都是专业级的,踩不准节奏的问题完全不存在。如上述场景描述,由于伴奏是同时发送给两个用户,那么关键就在于两者的歌声是否能同步。影响合唱同步的主要因素就是延时。

不考虑伴奏的情况下,假设用户A和B之间的端到端延时为100ms。从声音传输流程上来说,会出现以下这种情况:

A先唱,B听到A的歌声。此时产生100ms延时;

B在听到A的歌声后开始加入合唱,歌声传到A端。此时又产生100ms延时;那么

A听到B的歌声永远延时200ms;

假设在线KTV中200-300ms唱一个字,那么用户在听感上会至少慢半个字,会有错

位感。

2、实时合唱的高音质:

唱歌的人都有一个共同的心理需求,就是希望别人夸自己唱得好听。音质在合唱场景下就显得尤为重要。而影响实时合唱音质的因素主要包括:音频采样率、码率、延时。

采样率:是每秒从连续信号中提取并组成离散信号的采样个数。采样率越高,音频

听起来越接近真实声音。

码率:它是指经过编码(压缩)后的音频数据每秒钟传输所表示的数据量(比特)。

码率越高,意味着每个采样的信息量就越大,对这个采样的描述就越精确,音质越好。

假设网络状态稳定不变,那么采样率越高、码率越高,音质就越好,但是相应单个采样信息量就越大,传输时间可能会相对更长。也就是说,高音质也可能会影响延时。

此外,实时合唱还会面临音频传输过程中产生的延时、与手机端、电视端、KTV端等一系列硬件设备的适配、兼容性的问题,多重技术难点让很多想推出实时合唱玩法的K歌平台、社交平台、电视厂商等很是“头疼”。

声网发布行业首个完整的实时合唱解决方案

针对这些技术难点,声网推出了行业首个完整的实时合唱解决方案,不仅有效解决合唱超低延时、伴奏同步对齐、合唱人数灵活性、高音质保障等一系列问题,声网还提供50ms超低延时耳返、歌词同步、歌唱美声、音浪频谱等一系列功能,形成了一套业内高完整度的实时合唱解决方案。

声网实时合唱方案架构大致如下:

主唱端与各个合唱端同时从本地获取BGM,随着伴奏同时开启演唱;

通过SD-RTN™传输和调度,主唱与合唱们可以实时听到其他人的歌声,达成合唱。

同时观众可以享受到演唱者们“ 0 延时”的合唱效果。

IMG_257

图:声网实时合唱技术方案架构

在声网的实时合唱方案中,围绕超低延时处理、高音质体验、伴奏精准同步、合唱人数灵活等形成了六个维度的核心优势。

实现端到端64ms超低延时

在声网实时合唱解决方案中,主唱和合唱端同时听到伴奏,同时演唱,各方可以实时听到其他演唱者的声音,消除了接唱前产生的延时。合唱延时要解决的问题就是降低各自歌声传输到对方的这段端到端延时了。

针对音频在传输过程中的延时问题,声网在技术打磨的过程中发现在实时合唱场景中延时并不是越低越好,一味的追求更低的延时,可能会“牺牲”音质等其他环节的质量。在声网看来,实时合唱的延时达到50ms是完美值,但想要实现50ms需要攻克这几个技术难点:

IMG_258

1、音频在采集端、播放端的延时:

设备端上的延时包括采集端的采集、前处理、编码,播放端的接收、解码、后处理过程产生的延时,以及两端在编码后和解码前产生端网络延时。

端上的延时主要与硬件性能、采用的编解码算法、音视频数据量相关,设备端上的延时可达到30~200ms,甚至更高。

2、网络传输的延时:

在实时合唱的场景中,要解决网络不佳、网络抖动,需要在采集设备端、服务器、播放端增设缓冲策略。一旦触发缓冲策略就会产生延时。如果卡顿情况多,延时会慢慢积累。要解决卡顿、积累延时,就需要优化整个网络状况。

声网社交泛娱乐产品负责人王奇表示,“50ms端到端延时是我们一直在追求的目标,而目前声网的实时合唱解决方案已经可以实现64ms端到端延时,背后的核心是声网对音频在设备端的延时、弱网传输、音频引擎消耗的延时等一系列技术难点的优化,在实时合唱场景中,64ms延时已经无限接近50ms的最佳理想状态,在这样的延时情况下,用户的实时合唱体验几乎从线下‘无感知’的搬到线上,场景体验实现了高可用性,让用户真正能实现高稳定性、高音质、超低延时的实时合唱体验。”

高音质歌唱体验+实时美声

在实时合唱中,声网的解决方案还能提供高音质的歌唱体验。声网通过业内领先的语音引擎,实现从低比特率的窄带语音扩展到高质量的立体声音乐,并支持从8kHz(窄带)到 48kHz (全频带)采样,声网还拥有业界领先的3A 算法,在不损伤音质的情况下有效消除各类噪声。

此外,声网Agora 首创了实时美声功能。在原有低延时、高音质的基础上,针对歌唱场景采用链路式多模组联合算法框架,对人声的音调、音色、韵律、节奏、空间、氛围甚至艺术类型等不同维度进行调整,使歌声更动听、更契合伴奏,同时又能保留歌手声音原有的特点。

支持多人实时合唱:

在单通合唱的方案中只能支持两个人,而声网的实时合唱解决方案中每一个合唱端相互独立,互不影响,合唱人数可支持两人以上。同时若是在合唱过程中其中一个端出现问题,也不会影响到其他合唱端和观众端的体验与效果。

伴奏精准同步:

为了实现最好实时合唱的效果,让各端可以在各自BGM的伴奏下一同歌唱。我们在主唱发起播放BGM请求后,会让主播端等待一个与合唱端之间的延时,以此实现各方伴奏的精准同步。

50ms超低延时耳返优化

不管是直播唱歌还是在线K歌,低延时的耳返功能对于唱歌体验都有着很关键的作用,可帮助用户通过耳机实时听到麦克风采集到的声音和播放的伴奏,来判断自己的声音是不是走音,这个对延时要求特别高。

对此,Agora SDK提供统一接口的低延时K歌耳返功能,通过与手机厂商的深度技术合作,可为K歌、直播类App提供适配不同手机品牌、不同手机机型的耳返应用,我们将传统耳返100- 300 毫秒的延时降低至50ms以内,结合实时合唱整体解决方案,实现超低延时、超低噪声、极致音效的耳返体验,全面提升K歌的体验。

歌词同步+音浪频谱

歌词同步可以实现音频与歌词在播放端同步展示,并且音频与歌词逐字对齐,企业开发者无需在进行额外同步处理。而音浪频谱可以帮助歌唱者及时调整自己的音调,系统也能根据音浪频谱的完成度对歌唱者进行打分。专业的在线K歌应用自身已经具备成熟的歌词同步、音浪频谱等功能,但对于想在已有应用中加入在线KTV功能的创业公司或者开发者而言,声网的实时合唱解决方案自带歌词同步、音浪频谱等功能,将帮助开发者节省开发成本、保证体验。

实时合唱覆盖线上线下 为企业带来多重价值

在线社交实时合唱,用户、营收双增长:1、用户拉新、提升活跃度与留存:实时合唱作为最新的在线KTV玩法,无疑可以作为产品新玩法卖点,带来更多想要体验的新用户。同时,实时合唱的创新玩法解决了传统录制合唱、单通道合唱的痛点,也会激发很多喜欢合唱的老用户积极参与,提升用户活跃度与留存率。

2、带来更多营收空间:在线K歌与社交平台也可以基于实时合唱的功能,探索出更多商业价值,提升营收空间。

智能电视K歌合唱,娱乐互动升级:经过与电视厂商的技术打磨,声网的实时合唱解决方

案还支持电视端,用户可在家中通过智能电视大屏与好友进行线上的实时合唱。对于电视厂商而言,实时合唱的加入也让智能电视的娱乐互动玩法更丰富。

线下KTV异地合唱,打破空间限制:实时合唱还可以助力线下传统KTV或商场迷你KTV的互通联动,让多地的好友可以在线下不同地点一起K歌合唱,提升消费者K歌娱乐体验,推动线下KTV娱乐创新发展。

IMG_259

“咪哒”技术负责人表示:可落地的实时合唱技术方案此前在行业一直处于空白,声网凭借深厚的技术底蕴以及对创新场景的洞察力,与咪哒一起打磨出了行业首个完整的实时合唱解决方案,低失真,超低延时的技术保障为用户带来最佳的实时音频体验,咪哒在全国线下的迷你KTV中即将率先上线实时合唱的新玩法,实时合唱未来将给线上、线下K歌行业带来新的活力。

目前声网实时合唱iOS端Demo已率先上线,如果您想进一步体验声网实时合唱Demo,可通过声网的微信公众号找到这篇文章,并点击文章中的“阅读原文”留下您的信息,我们将提供实时合唱Demo的下载地址。

在本文中我们分析了实时合唱面临的技术难点,并介绍了声网实时合唱解决方案的架构以及核心技术优势,如果您想进一步了解声网是如何优化音频传输过程中的延时、编解码、丢包、抖动等一系列技术难点,可查阅声网微信公众号此前发布的音频技术系列文章。

这篇文章对你有价值吗?

  • 相关推荐
  • 大家在看
  • 声网Agora 王奇:实时互动赋能创新场景,泛娱乐出海正当时

    近日,由志象网主办,声网Agora、华为云、金山办公软件、Vonage 联合举办的“中国出海峰会(CGGS2021)·春季论坛——双循环时代的新机遇”在北京开幕。声网Agora 社交泛娱乐产品负责人王奇受邀参会,并发表了题为《声网Agora 实时互动赋能娱乐出海》的主题演讲,受到与会嘉宾的广泛关注。CGGS 是国内最具影响力的出海峰会,旨在推动中国互联网企业和新经济企业走向全球。本次峰会大咖云集,来自企业及学术研究机构的专家学者从企?

  • 上海发布第二批14个特色产业园 声网作为在线新经济企业代表受访

    4 月7 日,在2021 年上海全球投资促进大会上,上海正式发布第二批14 个特色产业园区,并重点推介了“张江在线”、“长阳秀带”等4 个特色产业园区。其中“长阳秀带”杨浦在线新经济生态园,以“一带两区”为布局重点,规划总用地面积11190 亩,主要吸引在线新经济企业在此落户,例如B站、美团点评、声网等在线新经济头部企业,其中声网作为园区的在线新经济企业代表接受了东方卫视的采访。2020 年4 月,上海发布了《上海市促进在线

  • 信办:对站平台有意纵容络生态问题将从严从重查处

    据“网信中国”微信号发布的消息,日前,中央网信办召开全国网络生态治理工作座谈会,会议认为,当前网络与人们的生产生活深度融合,网络生态良好与否,直接影响亿万网民的上网观感,影响网络文化发展。做好网络生态治理工作,对于提高人民群众幸福感获得感、推进网络文明建设、促进互联网发展进步等各个方面都具有十分重要的意义。

  • 辛巴上热搜:宣布退

    4月10日消息,微博话题“辛巴臣退了”登上热搜榜。据媒体报道,4月9日晚,辛巴的徒弟蛋蛋在某平台上直播带货,进入尾声的时候,辛巴却突然来到直播间连麦,并宣布退网。虽然只有声音出镜,但不难听出辛巴语气中的哽咽和难过,徒弟蛋蛋也被师父突如其来的举动惊得眉头紧锁、面色凝重,似乎完全没有想到师父会突然宣布退网。此前辛巴因为“假燕窝”一事一度被封禁直播60天。3月27日,辛巴宣布复出直播带货,当天便累计销售额达20亿。

  • 特朗普个人站正式上线 友:果然是生意精

    当地时间29日,美国前总统特朗普和前第一夫人梅拉尼娅·特朗普个人网站正式上线。特朗普办公室发表简短声明,宣布推出“美国第45任总统官网”(45office.com)。

  • 今日我国开通全球最大互联试验设施主干

    据新华社报道,“未来互联网试验设施FITI”高性能主干网开通仪式今天在清华大学举行,FITI是当前全球规模最大的互联网试验设施,是我国信息领域第一个国家重大科技基础设施项目,未来网络试验设施的重要组成部分。

  • 信办“清朗·春节络环境”专项行动依法查处一批违法违规站平台

    据“网信中国”微信公众号消息,今年2月以来,国家网信办部署深入开展“清朗·春节网络环境”专项行动,整治期间,网信部门巡查发现了一批问题突出、顶风作案的网站平台。

  • 给力!我国开通全球规模最大的互联试验设施主干

    今日,未来互联网试验设施FITI”高性能主干网开通仪式在清华大学举行。FITI是当前全球规模最大的互联网试验设施,是我国信息领域第一个国家重大科技基础设施项目:未来网络试验设施的重要组成部分。

  • 电信湖南片区络突然崩了 官方:维护中突发络故障

    身处互联网时代,没有空调没有西瓜可以,但是没有网络是坚决不行的。可以说,如果没有网络或者网络出现故障,我们的工作和生活都会受到很大的影响。4月13日下午,微博上突然涌现大量湖南网友,反映自家的电信网络瘫痪,笔者的朋友圈也有不少人表示自家的网络崩溃了。不过,网络在随后恢复正常,中国电信客服也对此进行了回应。

  • 正品手表RARONE雷诺表官,为线上选品保驾护航

    RARONE雷诺表自1988 年创始至今,经过三十多年的品牌沉淀,凭借出彩的设计、高端的品质和良好的口碑,成为国产腕表知名品牌。在经济全球化、一体化的大势之下,RARONE雷诺表在丰富坚实的国内市场的同时,积极拓展海外市场,在全球共建立销售网点2300 多家,初步构建了全球的销售网络和服务体系。紧跟时代脚步,结合线下销售网点,RARONE雷诺表搭建了自己的线上正品手表网——RARON雷诺表官网。RARONE雷诺表正品手表网网页设计简约?

  • 在营P2P贷机构全部停业 友:干得漂亮

    从2018年以来,p2p网贷平台相继“爆雷”,之后监管部门对P2P行业进行专项清理整顿,如今在营P2P网贷机构全部停业。4月15日,中国人民银行微信公众号发文《打好防范化解重大金融风险攻坚战 切实维护金融安全》。

  • 小米启用新Logo 设计界沸腾了 友调侃官一行代码搞定

    昨晚,小米公司宣布开始启用新Logo,开始升级品牌识别系统。新Logo方正变圆滑,这样的大师设计,有很多网友质疑,称雷军被骗了,劝小米直接报警…

  • 天学生日会 月月让你有惊喜

    随着天学网这个大家庭的队伍不断壮大,越来越多的新伙伴加入我们。作为一个有社会责任感的教育企业,天学网不仅重视员工的人才培养,从新员工培训到其他各项人才培训,让员工得到更好的成长,还关注员工的身心健康,每天鼓励大家加强体育锻炼,促进身心健康,同时,每个月都为员工们举办生日会,让大家月月有惊喜。别看我们的教研部的老师们和技术部的老师们平时工作不苟言笑,但是欢乐起来也有不一样的风采!为了满足不同小伙伴的?

  • 飞淘:商标转让多少钱?

    商标转让价格大概需要多少?其实这个问题不好回答,因为一个好听又能够引起他人注意力的商标名字,相当于成功的第一步,所以这样的商标卖出的价格也会高一些。而现在有很多人开始囤积商标,就是为了日后能卖出高价,这种商标用户想要以低价购买,难度是很大的,而飞淘网有专业人士帮大家查找商标所有人,并用合理的价格促成商标转让,所以不管你是想转让商标还是想购买商标,都可以到飞淘网看看。商标转让价格大概需要多少?商标价?

  • 9名大学生吸购电子烟后头晕烦躁入院 友:害人不浅

    ​13日晚,南京9名大学生因网上购买的电子烟后同时出现了头晕、心慌、烦躁不安的症状向120求助。主任医师表示,电子烟又名电子烟碱传送系统,是一种将电子烟烟液经雾化器雾化向呼吸系统传送烟碱和/或其他物质的产品。

  • 滴滴宣布成立约车司机生态发展委员会 约车平台CEO孙枢负责

    今天滴滴出行官方宣布,成立网约车司机生态发展委员会,网约车平台公司CEO孙枢担任委员会主任,直接向滴滴出行董事长、创始人兼CEO程维汇报。平台司机负责人刘西帝任副主任,滴滴安全、规则、产品、供需、区域,沟通、公益等部门负责人担任常设委员。

  • 滴滴成立约车司机生态发展委员会 约车平台CEO孙枢负责

    滴滴宣布成立网约车司机生态发展委员会,网约车平台公司CEO孙枢担任委员会主任,直接向滴滴出行董事长、创始人兼CEO程维汇报。平台司机负责人刘西帝任副主任,滴滴安全、规则、产品、供需、区域,沟通、公益等部门负责人担任常设委员。

  • 中国工业报社走进淘钢 - 赋能产业升级,加速拥抱“互联智能 +”

    集团新闻:2021 年3 月24 日,由中国工业报社、中关村工业互联网产业园(中关村软件园运营)主办,中关村工业互联网产业联盟、浪潮云协办的2020 年工业互联网万企行走进淘钢网,就公司的品牌建设和智能制造、未来发展等工作开展交流,淘钢网总经理田总和运营中心张总和王经理陪同参与。当前,数字化、网络化、智能化已经成为经济社会发展的大趋势。淘钢网积极顺应互联网融合的大趋势,进一步改造升级传统业务,将钢铁行业与数字经济相

  • 胜学校:在线教育的优势有哪些,为何受欢迎?

    由于互联网的不断发展,如今的网络教育已经有了很大的兴起了,教育产业发展到了一个新的高度,互联网带来了更广阔的教育观念提升,随着社会协同效应增强,专业知识内容也越来越集中。在这个过程中,互联网改变了人们的认知,也带动了教育创新、学习观念、教学组织形式和教学方法的变化,那么,在线教育的优势有哪些呢?下面胜学网校老师为大家介绍:1、不受时间和空间的限制采用在线教育的方式能够不受时间和空间的限制,能够自己?

  • 毛豆新车 无忧购车好选择

    生完二胎,做出了艰难的选择,放弃了为之奋斗的事业,选择以家庭为重心。时间一晃而过,老大小升初,老二幼教的压力此起彼伏,没有一天的消停日子。除了接送老大上下学,还要带老二上早教班,买菜洗衣做饭等成为了我的全部。完全腾不出手,老公也比较心疼我,说要给我买辆车代步,带娃购物会便捷很多。自从拿到驾照,已经许久没开车,是时候重拾驾车技能啦。看了家附近好几个4S店,首付很高,加上购置税等,首付至少要三四成。后来

  • 热门标签

热文

  • 3 天
  • 7天