Agora 原生 RTC SDK 43.版本 0 已在官网正式上线,43.0 SDK 在 RTC 的基础品质和体验上都实现了显著提升,比如音频第一帧性能的优化和 API 调用的耗时; 高清体验和带宽优化等。 该版本还支持自定义照片布局和接收端多视图本地预览等功能,可应用于多人团战、会议、虚拟社交等场景,详见下文。
RTC基础质量显著提升
为了进一步提升开发者的访问和用户体验,Agora 对 43.0 优化了SDK任务处理调度机制,体现在以下几个方面:
SDK 稳定性:
SDK 的稳定性进一步增强,不仅降低了各种特定场景下的崩溃率,例如多人远程会议中的屏幕共享、直播中特殊模型的加入频道等,还优化了 SDK 的 DNS 解析策略,提高了在复杂网络环境下调用 setlocalaccesspoint 解析域名的稳定性。
音调 ** 第一帧性能优化:
远程和本地位置的首帧输出和声音输出速度提高 10% 到 20%。
API调用耗时优化:
API调用时间和响应时间最多可减少50%。
持续优化**高清体验
声网Agora 一直致力于推动 720p 和 1080p **HD 在国内外市场的普及3.0 SDK 我们还进一步优化了多个场景下的高清体验。
**针对高清型号进行了优化
在RTC场景中,低端设备一直难以实现720p高清**,海外市场存在共同痛点。 对此,Agora 一直在优化低端机器在直播和音频通话场景下的性能。 这次 43.版本 0 进一步增强了 SDK 的并行处理能力,使低端设备能够体验到更高的 ** 质量(720p,24 fps),以及在高分辨率和高帧率**场景下更稳定的图像处理**。
**默认情况下启用高清功能
为了有效推动720p高清在网络上的普及,43.0 SDK 默认启用 PVC AI 质量。 PVC:分辨率默认在180-720p之间开启,性能不足时自动降级禁用。 AI画质默认开启,多维度实现画质增强,性能不足时也会自动降级禁用。
支持设备评级查询和自适应分辨率
新增querydevicescore方法,查询设备的分级,保证用户设置的参数(如流式处理)不超过设备的能力。 例如,在高清或超高清场景中,主播可以在正式直播前调用该方法查询设备的评分,如果返回的分数较低(如100分制中低于60分),则需要适当降低分辨率,以免影响设备的体验。 不同的业务场景需要不同的最低设备评级级别,客户可以自行选择。
带宽优化
随着图像质量越来越高清化,对传输的带宽要求也越来越高。 和 Agora 43.0 SDK通过优化模块算法,降低实时传输的带宽要求。 在网络环境保持不变的情况下,它为用户提供了更好的体验。
添加了许多新功能
支持更丰富的场景玩法
自定义接收端合成图像的布局
在多个主播(4个或更多)发送流的场景下,观众面临着对设备性能和下行带宽要求高、屏幕布局灵活、观众窗口切换和放大等挑战。 因此,声网推出了多锚点场景下的体验优化方案,支持接收方自定义图片布局,打造以观众为中心的流畅个性化体验。 该方案可广泛应用于多人团战、多人会议、大班等场景。 技术原理如下图所示。
图1:客户端自定义地图布局需要配合云转码服务使用
图 2:当查看器收到转码的复合流时,查看器会在本地实现自定义复合布局支持多视图本地预览
该版本的 SDK 支持同时在本地预览多个屏幕,屏幕中显示的 ** 位于 **链接上的不同观察位置。 例如,支持看到设备摄像头拍摄的**同时渲染为本地**预览中的两张图片,分别是“没有**预处理的原始图片”和“已经**预处理的图片(如:美化、虚拟背景、水印本地预览)”。
该功能可用于虚拟社交、会议等场景,如虚拟社交场景,主播在应用界面同时支持摄像头实屏+虚拟人图像预览。 **在会议场景中,切换虚拟背景、美化等效果时,本地预览画面不会影响在线直播画面。
图:虚拟社交场景的插图音频场景启动协助
该 SDK 版本还新增了 SelectMultiAudioTrack 方法,支持设置本地音轨并发送到远端,可以应用于卡拉OK等音频场景的启动辅助。 例如,在K-song场景中,主播可以根据自己的需求选择在本地使用一个音轨A(比如开始原曲),然后再将另一个音轨B发送到远端(比如只有伴奏),观众只能听到伴奏+主播的演唱效果,这不仅提升了主播的演唱效果, 同时也提升了观众的纯粹聆听体验。