首页 > 传媒 > 关键词 > 即构最新资讯 > 正文

泛娱乐行业新玩法:在线KTV、线上电影配音

2020-06-05 10:38 · 稿源:站长之家用户投稿

图片 1.png

周三,即构泛娱乐行业活动第二期开讲,即构售前架构师张靖雨分享了泛娱乐社交行业两大新玩法:在线KTV、线上电影配音。下面我们准备了活动回放视频、演讲PPT资料和文字稿,错过直播的小伙伴可以进行回看。

在上期活动中,我们了解到在 2016 年之前,泛娱乐直播主要是基于熟人的实时社交,包括实时视频社交和1V1 私密视频社交。在 2018 年后,陌生人视频社交渐渐逐渐涌现,以秀场连麦PK、语聊房、短视频社交为主的陌生人视频社交玩法广受用户喜爱。

今天我们要分享的也是基于陌生人社交的两种泛娱乐新玩法:在线KTV和线上电影配音

在线KTV大家都不陌生,今年初,某K歌平台推出了一系列全民抗“疫”的营销策略,包含了加油歌单、短视频、音频电台、在线K歌等形式,鼓励大家发布抗击疫情的正能量短视频,呼吁用“同唱一首歌”等方式响应防疫号召,用歌声给一线的医务人员加油打气。我们今天介绍的线上KTV,比目前的主流玩法更突出实时性和互动性。

另一个是线上影视配音,《声临其境》应该很多人都非常熟悉,这是芒果台推出的一款热门综艺,选取经典的影视片段,邀请明星嘉宾进行同台竞技,通过明星嘉宾的台词功底、配音实力来进行配音竞演。线上电影配音把《声临其境》搬到了线上,让更多用户也能进行配音PK。

下面我们先来看看在线KTV如何增加实时性和互动性,以及在技术实现上有哪些难点要攻克。

一、在线KTV

目前主流的KTV玩法,大部分是基于录制点播实现的。单人K歌,是通过下载好的本地伴奏,再配上自己的演唱声音,录制后上传到平台的。合唱则是用户下载已有的演唱片段,与自己的演唱声音进行合唱录制,最后再上传平台分享给其他用户。无论是单人还是合唱,观众看到主播们分享的其实都是录制上传的,都不是实时的。

那么在线的KTV是什么样的场景呢?

在线KTV以双人合唱为主,主唱和副唱进行实时的线上合唱,观众可以实时的收听到主唱和副唱的美妙歌声,趣味性和互动性更强。下面这个是即构在线KTV的演示Demo,大家可以下载体验:

在线KTV按角色来分,有主唱、副唱和观众,这个是在线KTV的业务架构图,从图上我们可以看下在线KTV的流程:

图片 4.png

主唱先把伴奏下载到本地,然后通过媒体播放器播放伴奏,再通过麦克风采集自己的演唱声音,同时要把歌词注入到多媒体流中,用以后面的歌词跟伴奏的同步。

副唱拉主唱的流,里面包含了主播的清唱以及伴奏音乐,还有歌词等媒体次要信息。副唱要把自己的音频混入到主唱的声音以及伴奏音乐里面,推送给观众。

观众其实是拉的副唱推出的流,这里面包含了主唱声音、副唱声音和伴奏,实现观众看到听到的主唱声音都是跟歌词同步的。

这里需要注意的是,为了让主唱和副唱之间可以互动,主唱也需要拉副唱的清唱声音,副唱要把清唱的声音推送给主唱,实现主唱和副唱之间的互动,并且伴奏仅存在一次,那就是主唱这边为主。

那么,要实现这样实时互动的在线KTV场景,有哪些技术重点呢?

合唱同步

我们看下面这张图,伴奏的来源是从本地下载,然后通过媒体播放器播放的。人声是歌唱者,从麦克风采集的,那就需要我们的产品能够支持把伴奏的声音和主唱的声音混合再推流出去,并且要保证二者混合是实时的。

图片 5.png

即构SDK支持把媒体播放器播放的伴奏进行混音,录麦克风采集的声音再推流出去,达到人声和伴奏的实时同步。

歌词同步

LRC文件是目前使用最广的一种歌词文件,这种歌词的文件很小很容易解析。在这张图片里,大家可以看到每一行歌词前都有一个时间。我们能将歌词的进度控制到每一行,比如说在第 2 秒的时候,可能显示的是歌曲名称。

图片 6.png

即构SDK支持将非媒体信息注入媒体流中,非媒体信息就包含上面我们说的歌词时间。通过音视频中的SEI帧技术生成媒体次要信息接口sideinfo,让非媒体信息按照指定的时间节点插入到视频帧数据中,在拉流解析时解析到这个视频帧,就可以拉取对应的非媒体信息。

需要注意的是,前面提到的每一行歌词前面有个时间戳,实际上如果要做到精确到每一个字,也是可以实现的,那就需要把每个字都打上时间戳,然后和伴奏进行对齐。

图片 7.png

这个是歌词同步的架构图,大家可以看到客户端A(主唱),通过媒体播放器播放伴奏,从媒体播放器获取当前播放的时间进度,然后再把时间进度塞到视频帧里推流出去,客户端B(观众)去拉主唱的流,里面就包含伴奏声、人声以及包含歌词播放进度时间戳的媒体次要信息,客户端B从拉的流里接收到媒体次要信息,把时间戳提取出来,再根据这个时间戳显示对应的歌词。

原声和伴奏切换

在线KTV的最后一个技术点是人声和伴奏如何切换?大家知道之前的CD都是可以通过切换左声道和右声道来实现只播伴奏或播放伴奏加原声。如果我们媒体播放器要实现通过切换左右声道来进行原声和伴奏的切换,那就需要对音频文件进行处理,实现例如左声道是伴奏,右声道是人声的效果。那么当你只需要伴奏那就只播放左声道,如果需要人声加伴奏,就左声道右声道一起播放。

并且我们还可以进行一些声调或者降调的操作,如果有些演唱者觉得自己的声音跟音乐的音调,它可以对声道进行升Key或降Key的操作,从而实现伴奏和人声的最佳匹配。

二、线上电影配音

《声临其境》是近两年比较火热的综艺,广受大众的喜爱。如果把《声临其境》搬到线上,要如何做呢?

下面是线上电影配音玩法的架构图:

图片 8.png

A配音者和B配音者是需要通过即构实时网络来实现低延迟互动,即构的音视频实时网络可以做到互动延迟在200- 400 毫秒之内,实现配音者之间的无感切换。观众可以选择从即构的实时音视频网络,去拉取 A配音者的声音或者说B配音者的声音,也可以通过混流服务,把A配音者的声音跟B配音者的声音混到一起推给CDN,观众再从CDN进行拉流。

无论是线上电影配音还是线上KTV,对音频质量的要求都比较高。即构的音频处理,支持从16KHz-48KHz全频采集,同时我们对音质会进行降噪、回声消除等前处理。即构支持多个音视频码率,针对不同场景不同网络情况,选择恰当的码率,让音画质与延时、带宽、硬件功耗等实现平衡。

对此,即构语聊房SDK支持娱乐房和开黑房两种模式。娱乐房比较适合高音质场景,最大限度的保留原生的音频品质。开黑房对网络要求比较高,我们降低了码率减少对带宽的占用,保证直播的稳定。

娱乐房

娱乐房分为高音质和超高音质

高音质模式:音频码率在64kbps左右,具有低延时、高并发的特点,适合语聊社交、线上相亲、狼人杀等互动性强的场景;

超高音质模式:音频码率在128kbpa左右,具有低延时、超高音质的特点,适合在线KTV、pia戏、双声道直播、主播电台、线上配音等场景,能够支撑高清音乐的播放。

开黑房

开黑房分为标准音质模式和高清音质模式

标准音质:音频码率在16kbps左右,具有CPU占用低、网速占用低的特点,适合移动网络下多人开黑,超低码率就能保障清晰聊天;

高清音质:音频码率在32kbps左右,具有CPU占用低,高清音质等特点,适合WIFI网络下的多人开黑,保障优质聊天音质的前提下,不影响游戏体验。

三、泛娱乐玩法未来的演变

上面我们介绍了线上KTV和线上电影配音两个新场景,那么在可遇见的未来,泛娱乐行业还可能有哪些新玩法呢?

云手游+语音社交

随着5G的发展,游戏加社交很可能是未来的一大风口。5G下,视频带宽以及码率等都有一个质的飞跃。通过5G网络架构,我们可以实现云手游加语音社交的玩法,云手游的用户不用再去下载安装一个几G的游戏应用,而是可以直接通过浏览器打开一个手游应用,进行云端开黑,加上社交语音功能,实现实时语音互动开黑等。

VR游戏

VR技术也是5G下被广泛看好的应用场景之一,之前由于设备以及带宽限制,VR视频、直播的码率都非常大。5G普及后,VR游戏可能会有更广阔的应用。我们可以借助VR,沉浸于虚拟世界里面,再加上语音聊天,增加更丰富真实的社交玩法,就可以实现VR版的模拟人生游戏。身在家中,却能与世界各地的玩家仿佛置身同一个游戏场景互动。

以上就是第二期泛娱乐行业新玩法的主要分享内容,音视频技术的发展让泛娱乐社交不断衍生出新玩法,极大的丰富了我们的日常生活。随着5G、AR/VR技术的普及应用,未来泛娱乐社交行业还将出现哪些新生态,我们拭目以待。

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 第十八届ChinaJoy即将开幕 思享无限成泛娱乐直播行业合作伙伴

    第十八届ChinaJoy即将开幕 思享无限成泛娱乐直播行业合作伙伴

  • 腾讯音乐娱乐集团周年庆发行业公开信:愿为相信者铸就梦想的翅膀

    7月10日,在成立四周年之际,腾讯音乐娱乐集团(TME)发布了一封名为《愿为相信者铸就梦想的翅膀》的行业公开信,致敬行业中每一位相信者,同时发布了品牌视觉超级符号——「THE WINGS」无限羽翼,为行业铸就翅膀,共同创造音乐无限可能。回顾多年发展历程,腾讯音乐娱乐集团展现出音乐“相信者”的力量,在深耕中国数字音乐的十余年间,跳脱出音乐单一“听”的局限,探索出“发现、听、唱、看、演出、社交”的全场景音乐体验,并?

  • 京东健康亮相上海IWF国际健身展会 主办“运动营养行业峰会”探索行业破局之道

    7 月 3 日,亚洲最大的健身展之一——IWF国际健身展会于上海新国际博览中心正式举行。展会上,京东健康与IWF签署了战略合作协议。通过线上线下联动,京东健康搭建了IWF线上专题活动页面,并在展会现场举办“运动营养行业峰会”,吸引了肌肉科技、北欧海盗、必乐、BIOE、AlandV、Smeal等国内外知名品牌悉数亮相。据悉,京东健康与IWF将在技术、资源、渠道等领域展开全面合作,推进运动营养行业的互联网化,为行业发展创造新动能。受

  • BigData最新母婴行业报告出炉:宝宝树用户覆盖率行业第一

    日前,第三方数据挖掘及市场研究机构比达(BigData-Research)日前发布的《 2020 上半年中国互联网母婴市场研究报告》(以下简称“报告”)显示, 2020 上半年中国互联网母婴平台细分市场中,母婴综合社区的用户占比高。尤其在疫情期间,宝妈们有更多的时间带娃,更多地在社区交流分享带娃经验,讨论喂养问题、了解健康早教等信息。此外, 2020 年以来, 90 后已代替 85 后成为互联网母婴平台主要用户群体,并成为母婴消费主力军。其中

  • 从D站事件,看安检门行业

    随着时代的更迭、科技的进步,人们对知识产权的意识也越来越高;近 10 年来我国知识产权案件就超过 60 多万件,对知识产权的意识是越来越重视。近日,搞出大动作的却是D站(dilidili,又称嘀哩嘀哩或D站),这是一个免费观看各类动漫的网站。很多需要在其他平台上付费才能观看的视频,在D站可以免费观看,免费视频是直接从其他平台拷贝过来,给用户播放下载的。给用户提供最新的日本动漫作品,播放的动漫视频作品超过 3000 多集;?

  • 妙可蓝多明确导向,持续创新,行业引领

    妙可蓝多近期发布《 2019 企业社会责任报告》,报告介绍了妙可蓝多 2019 年履行社会责任的情况,回顾了强化公司治理结构,维护股东和债权人权益;不断完善制度体系,切实保障员工权益,推动企业文化落地,实现员工企业共同成长;持续创新、精益管理,优质服务与客户共赢;始终坚持“食品安全大于天”、保证安全生产,节能降耗、重视环境保护与可持续发展;为残疾人谋福利、热心公益事业,不断创造社会价值,还公布了积极参与复工复

  • 鹅组十年与中文互联网的娱乐代际

    创投简史里,豆瓣鲜有名姓,但论起当代娱乐圈的生鲜八卦,八组鹅必有一席之地。从 2010 年 5 月建组,至今,豆瓣鹅组历经十个年头,已然成为中文互联网流量最大的娱乐社区之一。而它这十年,前半段见证了初代论坛天涯、猫扑的流量落幕,后半段则记录着娱乐工业饭圈化的起始。

  • 招聘行业的“天花板”到底在哪儿

    自 1997 年,随着中国经济的腾飞和互联网的逐渐普及,互联网渗透招聘行业,针对不同地域、不同人群、不同行业的招聘网站一时大量涌现,此时互联网招聘快速起步。伴随着移动互联网的发展,为了更好地满足招聘与求职需求,以 58 同城招聘为代表的分类信息网站和新兴的猎头招聘、社交招聘平台相继出现,对传统网络招聘形成分食效应,互联网招聘行业的竞争更为激烈。招聘行业横向发展多样性、差异化的同时,纵向技术的进步和应用也在不

  • 手机行业黄金期已去,未来向何方?

    8 月 1 日下午,小米创始人雷军在网上写道:“这两天我们在做半年总结会,有个数字让我非常惊讶:23%用户的手机已经用了三年。我微博粉丝有多少人在用三年前的手机?欢迎大家留言。建议大家对自己好一点,换一部新手机。手机科技进步很快,今天的大众手机,功能不仅强大,而且价钱也不贵。”

  • 币安何一线上谈论加密行业的发展

    近期,Odaily星球日报举办首届线上高峰论坛「生机」云峰会,币安联合创始人何一做了《加密资产2.0》主题演讲。大家好,我是币安联合创始人何一,也是大家非常熟悉的币安首席客服,非常高兴来到Odaily星球日报的线上峰会。过去几个月,全世界都在发生翻天覆地的变化,每个人的生活方式、社交圈、工作的中心也在不断发生变化。在这个过程中,数字资产行业尤其是区块链行业正处于风口,也变得更受瞩目了。币安何一《加密资产2.0》演讲

  • 新丽传媒商誉计提损失,影视行业的告别与重启

    文 | 浮萍该来的总会来,新丽传媒的商誉减值完全在预料之中。今日阅文集团发布公告称,其 2020 年上半年将由盈转亏,主要原因是新丽传媒受影视行业深度调整+新冠疫情黑天鹅影响业绩未达预期,造成阅文集团计提新丽传媒商誉减值37- 47 亿元。这样的事情放在影视行业大背景来看,似乎是一种必然。 2018 年爆发税务风波之后,整个影视行业逐渐走向调整,逐渐消化 2018 年以前行业狂飙突进带来的部分泡沫,商誉减值就是其中议题之一,

  • 币安何一:币安相信加密行业,愿意投入所赚的钱

    众所周知,从去年到今年加密货币市场整体表现并不是特别理想,但币安在2019年完成了9笔全资收购,Wazir X, DappReview等,2020年上半年收购了全球流量最大的排名网站CMC,币安在这种市场环境下币安大手笔逆市收购的逻辑是什么?币安联合创始人何一表示在 499 Block 两周年「全球热链,相守年年」生日嘉年华 AMA 活动中表示,收购并购虽然花钱,但节约了时间窗口。币安相信加密资产行业会有很好的未来,所以愿意把赚的钱再次地投入?

  • 苏宁易购全量商品入驻抖音,娱乐+购物双重快乐来了!

    2020 年被称作电商直播元年,不仅抖音、快手等短视频平台大力开放直播带货入口,苏宁易购、淘宝、京东等电商平台也纷纷开启直播卖货模式;就连央视,也让“段子手”朱广权和“带货一哥”李佳琦来了波联动,用直播的方式推动电商助农。这些变化的出现,让消费者们目不暇接、眼花缭乱、辗转反侧,一方面仍习惯于使用传统电商平台购物,另一方面又忍不住在视频平台的直播间里买买买。相对于在传统电商平台上下单,直播间的娱乐性和购物

  • 公众号得罪半个娱乐圈,侵权近50次都没封号?

    公众号侵权很常见。但三天两头就侵权的你见过没?有个叫「更美」的公众号特牛逼,和超过 50 位明星打了近百次官司,几乎和半个娱乐圈杠上了。每天除了发文章,就是上法院应诉和赔钱。

  • 基因港引领NMN行业,树立质量标准大旗

    从基因港公司登陆电商平台以来,其所属的GeneHarbor京东旗舰店几乎拥有了一种名为“每逢活动,必得第一”的习惯。在此之前,基因港的NMN产品选择的是在线下销售,位于香港港科技园的实体店铺消费者往往不绝如缕,自转向电商之后,这种火热的消费热情更是转到了线上。由于对消费者的抗衰老热情预估不足,2019年年,基因港旗下NMN品牌艾沐茵出现了几次断货危机,不过好在加大生产力度之下,时隔不久,艾沐茵就又重新上架。 2019年在

  • 币安何一:区块链行业里面存在一个巨大的窗口期

    2020年,新冠肺炎疫情在世界各地蔓延。截止4月28日下午,全球累计确诊新冠肺炎病例已突破300万例。新冠肺炎疫情的爆发对世界各国的经济和社会造成了很大的冲击。纵观历史长河,世界经历了多次金融危机,而新冠肺炎疫情对经济的冲击是外生冲击。疫情之后的全球化和全球价值链将会呈现新的态势和发展趋势。很多人说,新一轮的疫情可能会带来全球的大萧条或者经济体系的崩溃。币安何一如何看待未来世界的变化呢?以下是Odaily星球日报

  • 酷狗直播取消底薪制度 行业大战从收割主播开始

    和 2016 年非常相似,中国的直播行业在今年经历了一次飞跃发展。在经历过上半年的爆发井喷,下半年行业再次洗牌的趋势已经非常明显。

  • 飞科首创感应式剃须技术发布,或成为行业新标杆

    5G时代,万物互联的世界,各种各样的家用电器都在往更符合人性需求的自动化方向发展。智能空调、智能洗衣机、智能冰箱、智能马桶等等,各类智能电器层出不穷。这些我们习以为常的家电,在引入了各种智能技术后,却能给我们带来一种完全不一样的体验。近日,飞科发布了一款具有划时代意义的科技单品——首款搭载智能感应技术的剃须刀FS926。感应式剃须刀能带来什么样的体验呢?自动感应技术是一个应用十分广泛的技术,自动感应就是?

  • 妈妈网CEO杨刚:母婴行业的新机遇

    春节期间,一场突如其来的疫情给中国人民的生产生活带来了极大的影响。新冠疫情爆发后,中国进行了人类历史上前所未有的大规模动员,中国政府、中国企业、中国人民紧紧地团结在一起,共同努力采取了果断有效的抗疫措施,在经历两个多月的严格控制后,彻底遏制了新冠疫情在国内的进一步蔓延,中国的经济生产活动出现了复苏迹象。 三月,新冠疫情在全球蔓延开来,世界经济受到严重冲击,这对中国经济增长造成了下行压力。近来,中央

  • 景区回应挂张东升禁入告示牌:希望增加娱乐性

    前不久热播的电视剧《隐秘的角落》火遍互联网,剧中一个叫做六峰山的景点也被带火,剧中主角张东升和“爬山”的梗也深入人心。不过在杭州另一处景点在入口处立了一块“张东升禁止入内”的告示牌,引发了不少网友的热议。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签

热文

  • 3 天
  • 7天