首页 > 传媒 > 关键词 > 小程序最新资讯 > 正文

新增小程序连麦直播、WebRTC实时语音等多项能力,ZEGO SDK再升级

2018-05-16 16:57 · 稿源:站长之家用户投稿

经过2018年小半年的闭关练功,即构ZEGO团队铸造了不少黑科技。本文将为你带来即构ZEGO实时语音视频SDK近半年新增能力和功能优化的最新进展。

更懂应用场景的语音视频云

作为全球领先的实时语音视频服务,即构ZEGO主要通过两种方式向市场提供服务:

(1)即构ZEGO实时语音视频SDK,包括实时语音SDK和实时视频SDK;

(2)即构ZEGO行业整体解决方案,例如在线课堂和视频会议系统。

当前,即构的实时音视频能力已经广泛应用到视频直播、音视频通话、在线课堂、游戏音视频、视频会议、呼叫中心、在线医疗和视频物联网等多个场景之中。

新增能力让即构ZEGO更懂应用场景

2018年小半年来,即构ZEGO实时音视频SDK陆续增加了以下新的能力:

(1)更强大的音视频处理引擎

支持本地混音

本地混音是指将几种不同的声音在发送端混在一起。例如常见的K歌场景,就需要将人唱歌的声音和歌曲的背景音乐进行混音处理。酷狗音乐的在线直播K歌使用了即构的解决方案,其中就应用到本地混音技术。

支持虚拟立体声

在理解虚拟立体声之前,需要引入一个概念——双声道。双声道是指有两个声音通道,其原理是人的耳朵可以根据左耳和右耳对声音的相位差来判断声源的具体位置,即听声辨位。

虚拟立体声的实现是基于双声道的原理,将单声道的声音经过算法处理,虚拟成双声道的声音,这样就可以听声辨位。

虚拟立体声最重要的一个应用场景是竞技类游戏。玩过 CS 的朋友都知道,在虚拟的游戏场景中,我们可以根据听到的其它玩家的脚步声来判断玩家的具体位置。这就是虚拟立体声技术的典型应用。

支持混响效果

声波在室内传播时,要被墙壁、天花板、地板等障碍物多次反射后才会逐渐消失。我们感觉到的声源停止发声后还有若干个声波混合持续一段时间(室内声源停止发声后仍然存在的声延续现象),而多个波形叠加在一起也会让声音听起来有空旷感,这种现象叫做混响,这段时间叫做混响时间(引自百度百科)。

高水平的音乐会都不使用扩音设备,为的是使听众直接听到舞台上的声音。为了让全场听众都能听到较强的声音,音乐厅的天花板上挂着许多反射板,这些反射板的大小、形状、安放位置和角度都经过精确设计,以便把舞台上的声音反射到音乐厅的各个角落。

在一些直播场景中,某些主播想要获得演唱会场中演唱的声音效果,就可以使用即构的混响技术,实现类似开阔场所的空旷音效。即构的混响技术通过把一个原始的波形数据虚拟成多个类似的波形数据,然后让它们在相位产生差异,模拟波形在市内传播和多次反射后的效果,最后把多个波形叠加在一起来形成混音的效果。

支持音乐声和人声智能切换

人声的音域较窄,音乐声的音域则比较宽,两种声音使用的是不同的编解码器,同时带宽和采样率也不一样。音乐声和人声的切换意味着编解码器也需要切换。在直播的场景中,经常会出现主播一段时间说话一段时间唱歌的情况。即构的音视频技术可以实现音乐和人声的智能切换。

(2)支持全平台互通连麦

全平台互通连麦有两层含义,第一层是指使用即构的SDK可以在原生APP、Web/H5浏览器、微信小程序各终端上实现连麦互动功能,第二层是指具备连麦互动功能的各个终端(APP、Web和小程序)还可以互通连麦。例如微信小程序用户可以与APP用户连麦,浏览器用户可以实现与小程序用户连麦、APP用户可以和浏览器用户连麦等。

实现多种终端互通连麦的难点在于要在保证低延时流畅稳定的情况下,实现各种协议及媒体格式的转换。APP、Web、小程序,这三种终端采用的协议、媒体格式和信令都不尽相同:

(a)微信小程序推拉流采用RTMP协议,视频格式采用H.264,音频格式采用AAC;

(b)在浏览器端上实现连麦功能就要符合WebRTC规范,视频格式采用H.264,音频格式采用OPUS;

(c)在原生APP上即构SDK支持基于UDP的私有协议和标准RTMP协议,视频和音频支持主流的格式。

实现原生APP、小程序和浏览器的互通连麦需要通过网关(接入服务器)把协议、媒体格式甚至信令进行转换,最后接入到即构实时传输网络。这对系统架构的扩展性是一个非常大的考验。

即构科技是业界第一家实现全平台互通连麦的实时音视频云服务商。即构灵活的系统架构可以方便企业快速接入新的终端类型,除此之外,全平台互通连麦还可以极大地方便企业在各平台上进行业务创新。

(3)支持多种协议推拉流

支持RTMP协议或基于UDP的私有协议进行连麦互动

即构的解决方案同时支持标准RTMP协议和基于UDP的私有协议进行连麦互动,客户在不同的场景下可以选择不同的协议:

(a)微信小程序RTC模式或者LIVE模式下都是采用RTMP协议;

(b)目前主流的CDN厂商都支持标准RTMP协议;

(c)基于UDP的私有协议具有较好的弱网抗性,在跨网、跨国和弱网情况下延迟和流畅性都会有较好的保障。

支持RTMP、HTTP-FLV、HLS、WebSocket及基于UDP的私有协议拉流观看。

如果终端是浏览器,那么可以通过RTMP协议、HTTP-FLV、HLS、WebSocket从CDN拉流观看; 如果终端是APP,还可以直接地通过基于UDP的私有协议从低延迟网络拉流观看。这几种协议即构都支持,客户在不同的场景下可以选择不同的协议。

(4)支持同时推两路视频流

常见的需要同时推两路视频流的场景有线上抓娃娃和游戏直播。线上抓娃娃需要同时推送两个角度的摄像头的视频流,游戏直播则需要同时推送游戏画面和主播画面两路流。

(5)支持媒体通道同步传输数据

这项技术允许在不少场景中实现信息和视频画面的同步。例如在直播答题场景中,将题目信息通过音视频通道来传输,可以巧妙地保证题目和视频画面严格同步。在K歌场景中,将歌词和直播画面信息一起传输,这样歌词和画面及声音就能严格同步。在视频会议中,将白板信息和直播画面同步传输,这样学生收到的老师的声音和画面就和白板上的笔画就同步了。

(6)兼容两大主流游戏开发引擎

针对主流游戏引擎深度优化,ZEGO即构提供与两大游戏引擎Unity和Cocos兼容的游戏语音开发接口,开发者拿到即构的SDK可以直接开发集成来获得游戏语音和视频通话能力。

结语

以上是截止到发文为止,即构ZEGO实时音视频SDK的新增能力和功能优化的具体细节信息。

即构ZEGO团队将持续升级ZEGO SDK,为业界为用户打造更懂应用场景的语音视频云服务。我们也将会不定期地向大家同步最新的技术进展。

关于即构ZEGO

即构科技于2015年由QQ前总经理林友尧创立,A轮获得IDG投资,核心团队来自腾讯QQ,汇聚了来自YY和华为等厂商的顶尖语音视频人才。即构ZEGO致力于提供全球最清晰最稳定的实时语音视频云服务,助力企业业务创新,改变用户线上沟通方式。即构ZEGO深耕视频直播、视频社交、游戏语音、线上抓娃娃和在线教育等领域,赢得了映客、花椒直播、一直播、喜马拉雅FM、陌陌游戏、自由之战2、和好未来等顶级厂商托付和信赖。

附录:SDK功能优化的其他细节

下面是截止到2018年5月,即构ZEGO实时音视频SDK功能优化的其他细节信息。

实时语音

你也可以在即构官网的开发者中心获取最新的消息:

https://www.zego.im/html/document/#Audio_Room/SDK_Release_Notes

iOS SDK

NEW

setConfig 接口新增设置“support_general_mode_below_ios9”的能力:设置了该flag,在iOS9以及以下版本进行连麦的时候,则支持general mode,启用iOS采集优质的音频数据的能力(非强制 voip)。  

FIXED

1) 修复“推流状态码为 7 时, 调用 restartPublishStream 不能重新推流的 Bug”。

2)修复“开始拉流后,使用相同的 StreamID 重复拉流,SDK 内部会重新拉流的 Bug”,修改后的逻辑为“保持之前的拉流状态”

CHANGED

1)开始一次推流后,如果没有向业务层通知过“推流成功“,则不会向业务层回调“推流重试事件”。

2)开始一次拉流后,如果没有向业务层通知过“拉流成功”,则不会向业务层回调“拉流重试事件”。

Android SDK

NEW

新增“音频外部采集、渲染接口”   

FIXED

1) 修复“推流状态码为 7 时,调用 restartPublishStream 不能重新推流的 Bug”。

2) 修复“x86 架构下,在 Android 23(含) 以上的系统中,text relocation 检测失败”。

3)修复“开始拉流后,使用相同的 StreamID 重复拉流,SDK 内部会重新拉流的 Bug”,修改后的逻辑为“保持之前的拉流状态”。

CHANGED

开始一次推流后,如果没有向业务层通知过“推流成功“,则不会向业务层回调“推流重试事件”。

Windows SDK

FIXED

1)修复“推流状态码为 7 时, 调用 restartPublishStream 不能重新推流的 Bug”

2)修复“开始拉流后,使用相同的 StreamID 重复拉流,SDK 内部会重新拉流的 Bug”,修改后的逻辑为“保持之前的拉流状态”

CHANGED

1)开始一次推流后,如果没有向业务层通知过“推流成功“,则不会向业务层回调“推流重试事件”。

2)开始一次拉流后,如果没有向业务层通知过“拉流成功”,则不会向业务层回调“拉流重试事件”。

互动视频(连麦)

你也可以在即构官网的开发者中心获取最新的信息:

https://www.zego.im/html/document/#Live_Room/SDK_Release_Notes

iOS SDK

NEW

setConfig 接口新增设置“support_general_mode_below_ios9”的能力:设置了该flag,在iOS9以及以下版本进行连麦的时候,则支持general mode,启用iOS采集优质的音频数据的能力(非强制 voip)。  

FIXED

1) 修复“硬编 crash” 

2) 修复“屏幕分享功能,声音时有时无不同步的问题”。

3) 修复“开始拉流后,使用相同的 StreamID 重复拉流,SDK 内部会重新拉流的 Bug”,修改后的逻辑为“保持之前的拉流状态。

CHANGED

1) 开始一次推流后,如果没有向业务层通知过“推流成功“,则不会向业务层回调“推流重试事件”。

2) 开始一次拉流后,如果没有向业务层通知过“拉流成功”,则不会向业务层回调“拉流重试事件”。

Android SDK

NEW

新增“音频外部采集、渲染接口”

FIXED

1) 修复“x86 架构下,在 Android 23(含) 以上的系统中,text relocation 检测失败”。

2) 修复“开始拉流后,使用相同的 StreamID 重复拉流,SDK 内部会重新拉流的 Bug”,修改后的逻辑为“保持之前的拉流状态”。

CHANGED

1)开始一次推流后,如果没有向业务层通知过“推流成功“,则不会向业务层回调“推流重试事件”。

2)开始一次拉流后,如果没有向业务层通知过“拉流成功”,则不会向业务层回调“拉流重试事件”。

Windows SDK

FIXED

修复“开始拉流后,使用相同的 StreamID 重复拉流,SDK 内部会重新拉流的Bug”,修改后的逻辑为“保持之前的拉流状态”。

CHANGED

1)开始一次推流后,如果没有向业务层通知过“推流成功“,则不会向业务层回调“推流重试事件”。

2)开始一次拉流后,如果没有向业务层通知过“拉流成功”,则不会向业务层回调“拉流重试事件”。

微信小程序JS SDK

2018年5月7日的 更新情况,版本是1.0.5

增加 onUpdateOnlineCount 接口   知道房间人数

2018年4月24日的 更新情况,版本是1.0.4

1) 修复拉流返回错误码 -2302 的 Bug

历史版本更新记录

1)增加接口,支持直播答题(version 1.0.3)下发题目 答题信息收集  成绩下发

2)支持小程序推流(version 1.0.2) 

3)增加连麦信令(version 1.0.2)  请求连麦、

4)支持小程序拉流(version 1.0.1)   小程序观看

5)初版 SDK(version 1.0.0)

WEB JS SDK

2018年5月7日的 更新情况,版本是1.0.2

增加 onUpdateOnlineCount 接口

2018年4月24日 更新情况,版本是1.0.1

初版 SDK

免责声明:“站长之家”的传媒资讯页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与我们联系删除或处理。稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同其观点或证实其内容的真实性,更不对您的投资构成建议。我们不鼓励任何形式的投资行为、购买使用行为。

  • 相关推荐
  • 大家在看
  • 小程序:万亿新市场, APICloud小程序商城助力企业移动业务落地

    2020腾讯全球数字生态大会上,微信团队透露截止今年8月,小程序日活已过4亿,商品交易GMV同比增长115%,品牌商自营GMV同比增长210%,小程序自诞生之日起,就为微信创造了不俗的营收成绩,仅2019年交易额已达8000亿,而今年在疫情的推动下,营收更有望翻倍。根据QuestMobile数据报告指出,互联网头部企业正在加速布局小程序的步伐,小程序生态日益壮大。其中BAT三家的用户规模均破10亿,头条系小程序借助流量优势,增势明显,小程序成为互联网巨头

  • 瑞幸小程序还能用?财务风波后,它的私域自救

    今年 4 月 2 日,瑞幸自爆财务造假,高达 22 亿的虚增营收,让外界舆论一片哗然。当日下午 1 点前后,瑞幸咖啡App和小程序双双宕机,系统提示“请求异常、网络拥堵”,无法在附近门店页面下单。一时间,“瑞幸·真·民族之光”、“美帝韭菜收割机”之类的调侃称呼甚嚣尘上。

  • 滴滴打破拼多多长期霸榜,瑞幸咖啡小程序破百万,九月小程序榜单有很多意外!

    9 月阿拉丁指数TOP100 榜单 变化依然巨大,跟人们日常生活(吃、住、行、购等)相关的小程序数量占比超过60%,小程序已经成为生活中的必需,因此,小程序的数据表现已然成为企业市场地位的风向标。

  • 微信支付开发“微信支付月月刷”小程序

    日前,微信支付团队上线了一款名为“微信支付月月刷”的小程序。据该小程序提供的介绍信息可知,“微信支付月月刷”是一款为用户提供精彩好礼和优惠的小程序,

  • 企业“公域+私域”打法的必修课,就是先用好小程序!

    越在私域流量发展的今天,越要重视小程序。腾讯高管公开表态说,小程序商城、导购、社群是私域流量转化订单的三大关键。

  • 腾讯推视频号推广小程序 可投放到朋友圈

    日前,腾讯推出了“视频号推广”小程序,内测视频号的广告投放和管理。用户可以付费进行视频号内容推广。用户通过扫码“视频号推广”小程序,进入页面后点击创建推广,选择要推广的动态,就可以开始基础设置,设置完成后就可以开始在视频号推广了。

  • 官宣:微搜天下携手支付宝小程序,助力商家数字化转型

    近日,SaaS服务商微搜天下与支付宝小程序开展进一步紧密合作,助力商家数字转型。微搜天下希望通过和支付宝小程序合作,帮助现有商家进行支付宝小程序无缝衔接,获取支付宝的流量扶持、政策扶持。深圳市微搜天下科技有限公司(以下简称微搜天下)目前服务超过 30000 家B端企业和线下门店,集成研发、销售、运营、渠道一体化。自创立依赖就以“数据驱动技术,技术提升价值”为核心不断打磨自身产品。全面实现企业全渠道覆盖、一体化

  • 妙健康携手360小程序,打开跨屏健康管理新姿势

    随着移动互联网的发展,小程序在手机端的体验已经非常流畅了,成为“去APP化”趋势下BATJ等巨头们重点布局的赛道,攫取了大量的鲜活流量。然而,近年来移动端小程序的发展已趋于稳定,其红利不复从前,对于开发者来说,PC端小程序的崛起将打开流量新蓝海。 近日,国内领先的数字健康管理平台妙健康宣布正式入驻360小程序生态,成为首批来自健康行业的360小程序。用户可以在360浏览器侧边栏或360小程序中心点击妙健康即可使用,同时还可以添?

  • 支付宝独家首发国家应急管理部小程序,灾害事故一键上报

    近日,应急管理部“灾害事故e键通”小程序在支付宝平台正式独家首发。应急管理部通过这款小程序在支付宝开设线上“办事处”,构建了灾害事故现场信息的社会化采集渠道,为应急管理部门快速获取现场情况提供了有力支撑。

  • 视频号内测“推广”小程序,400块2w曝光量,贵么?

    视频号推出以来,最让人期待的事发生了,视频号开始步入商业化进程了。上周我们曾在《微信小商店即将打通视频号?这几个新能力也不能错过》一文中,讲到了在腾讯全球数字生态大会微信专场提出的微信小商店将与视频号进行打通。

  • 国庆档第5天,猫眼微信小程序用户量突破了3亿

    今年电影行业因特殊环境停工近 7 个月,国庆档也是复工后的第一个大档期,猫眼小程序能在此时实现用户体量破 3 亿,这无疑是为整个行业带来了又一重复苏的信心。

  • 朋友圈标签来了!热门流量关键词带动视频号、小程序、搜一搜

    2019 年 1 月,张小龙在广州的微信公开课 Pro 上进行了一场 4 小时的超时演讲,在演讲中,他举了一个和朋友圈相关的例子,每个人每天在朋友圈里花的时长基本是固定的,随着好友发的内容越来越多,用户在朋友圈所花的时间依旧是不变的,只是浏览的速度更快了。

  • Egregor勒索软件背后的攻击者泄露了据称来自于Ubisoft 公司的数据

    ​Egregor勒索软件背后的攻击者攻击了游戏开发团队Crytek,并泄露了大量据称窃取自育碧娱乐软件公司(Ubisoft)文件系统中的数据。

  • 应急管理部“灾害事故e键通”支付宝小程序上线 可一键上报灾害事故

    近日,应急管理部“灾害事故e键通”小程序在支付宝平台正式独家首发。据悉,应急管理部通过这款小程序在支付宝开设线上“办事处”,构建了灾害事故现场信息的社会化采集渠道,为应急管理部门快速获取现场情况提供了有力支撑。据介绍,“灾害事故e键通”小程序分为专业版和公众版,分别面对基层信息员和社会公众。一旦发生灾害事故,基层信息员和社会公众可第一时间通过支付宝小程序,向应急管理部门提供

  • 国务院客户端智能小程序上线:百度一下,80余项便民服务指尖办!

    近期,由国务院办公厅主办、中国政府网运行中心运行维护的百度智能小程序“国务院客户端”正式上线百度APP。“国务院客户端”智能小程序提供涵盖公共服务、社保服务、营商服务、医疗服务等 12 大类 80 多项服务,涉及个人、企业生活服务的方方面面。用户只需打开百度APP搜索“国务院客户端”即可使用相应便民服务。此外,“国务院客户端”百度智能小程序还提供了核酸检测机构查询、核酸检测结果查询、同乘查询以及防疫行程卡、疫情

  • 2U双GPU,亿玖EG202-12AH满足多领域需求

    最近什么最火?当然是IPFS! IPFS,中文名称叫星际文件系统,主要注重三个方面:计算、传输和储存。这就要求服务器不但要有强大的计算能力,超高的传输速度,还必须有大容量的储存池。 针对此应用,亿时空推出EG202-12AH服务器,主要配置如下: 型号就可以看出来,此款服务器主要是应用于GPU计算、大容量储存。在2U的空间里,可以安装 2 张GPU计算单元, 12 个HOT-swap 储存盘位。同时板载 2 个M. 2 硬盘接口, 16 个内存插槽最大

  • 腾讯云游戏新进展:WeGame云游戏功能已落地全国9省市

    9月27日消息,云游戏的概念已经流行了很长一段时间,随着5G时代的到来,云游戏再次受到青睐。国外的谷歌、微软、亚马逊,国内的腾讯、网易等巨头均在布局云游戏。在首届北京国际游戏创新大会腾讯专场分享会上,腾讯云游戏Tencent GameMatrix运营总监操伟介绍了当前全球云游戏的技术发展,及腾讯云游戏的最新进展。操伟介绍称,云游戏并不是新鲜的事物,十年前就已经有了,它是直接脱离整个终端的限制,把整个算例交到?

  • 腾达TEG53系列方案,三层可视化交换机,让网络触手可及!

    传统的交换机无法查看全网拓扑以及设备类型,腾达全新推出TEG53 系列三层可视化交换机,基于WEB页面内置的可视化管理,可以进行可视化管理查看,包括交换机的端口状态、运载情况、接入终端的状态检测等,轻松掌握交换机实时动态。(腾达TEG53 系列三层可视化交换机) 下面我们便来介绍下“可视化”,看其如何让运维易如反掌,令网络触手可及! 一、可视化功能及页面展示 可视化有哪些具体的功能呢? 1、交换机WEB页面内置可视化功能,

  • 为什么Java、Python会成为程序员最害怕的编程语言?

    最不受欢迎 / 最令人畏惧的编程语言有哪些?这些编程语言为什么令人畏惧?对它们的评价是否公正?在 StackOverflow 的 2020 年度开发者调查中,有一张表格,显示的是“最受欢迎、最令人畏惧和最想要的编程语言”。最受欢迎的和最想要的编程语言,嗯,是有点无聊。倒是那个最令人畏惧的就有意思多了。正如托尔斯泰(Tolstoy)所说的:“幸福的家庭都是相似的,而不幸的家庭则各有各的不幸。”

  • 原神关于Anti-Cheat反外挂程序问题的修复声明公告

    原神最近被曝有后门程序,日本玩家反应过激,原神官方发布了关于Anti-Cheat反外挂程序的说明公告,表示这是反外挂程序的问题,下面就一起来看看吧。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议
  • 热门标签