本文为《阿里云智能服务IMS云智能编辑实践指南》第6期,从客户真实实践场景入手,分享一些时间线技巧(AI TTS、主跟踪、素材对齐),帮助客户减少开发时间和成本。欧大爷作者故事始于客户的真实反馈。
有一天,一位客户加入了智能**服务问答组,想要达到短暂的**效果,发生了以下对话:
上图链接:在阿里云的智能服务IMS云剪辑中,客户通常会编辑一个时间线来提交编辑任务,并合成他们想要的编辑任务。 Timeline中设有AI TTS功能,方便客户为自己匹配口头讲解**。
此功能在简短的综合中非常常见,例如需要将商店访问与广告词相匹配,或者将产品的外观与产品介绍相匹配。 使用时,客户只需要:在音轨中添加剪辑,并设置语音广播的文本内容和音调就是这样。 在实际合成中,引擎会先做语音合成,然后将语音合成结果合成成成品电影客户在整个过程中只需调用一次编辑任务。
但是,在实际使用中,还是会有一些效果问题,比如上面客户遇到的问题:
合成前,客户不知道口文需要阅读的时间,搭配时,**曲目的时长无法很好地控制:
最终合成的影片结尾可能有黑框,结束口头播报但**还在播音,这是客户合成的坏情况效果,口播结束了,**还在继续**。
云剪切指南第 6 期示例 **1:
时间线示例:
主要曲目其功能是当客户将轨道设置为主轨道时解决此问题时间线中的其他轨道会根据主轨道进行截断在上面的例子中,客户可以将口语播音轨设置为主音轨,将**音轨素材填写得足够长,最后根据主音轨将其截断,不会出现黑框或错位的结尾。
使用主轨道的效果:
云剪切指南第 6 期示例 **2:
时间轴示例(注意 maintrack=true 参数):
第二天,客户又回来了。
上图链接:在很多实际场景中,客户需要知道语音合成的精确时长,这样才能在实际业务中更好地控制它,比如:控制文案每句对应的**和贴纸。 客户可以先调用智能语音接口,先将口语播报和字幕结合起来,然后根据每句话的时长将口语播报与素材进行匹配。
这样一来,整个合成过程就从一步变成了两步,需要自己拼字幕时间线,会比直接使用AI TTS复杂一些,但客户控制可以更灵活,这在真实的客户场景中也很常见。
整个流程实施流程如下:
几天后,客户又找到了技术哥。
上图链接: 这一次,客户的合成过程是这样的,和之前技术哥的建议不一样。
客户这次遇到的问题是第一次语音合成中句子的时间戳与未来AI TTS合成的结果不一致。 由于一些潜在的原因,即使语音合成参数相同,每次合成的结果也会有毫秒级的偏差不建议将上一次的结果作为下一次作文的参考。 同时,智能语音任务和AI TTS实际上都会做语音合成,而且成本也占了两倍,从成本和效率上来说都不划算。
这一次,客户的场景是将**材料与口头文案逐句对齐,使**更有节奏感。
当您对不同轨道之间的材质对齐有这种简单的需求时,您可以直接使用材质对齐功能。 在时间线中,可以设置每个素材的ID(ClipID),也可以设置素材的ReferenceClipID(ReferenceClipID),如下面的配置,可以达到客户想要的效果,客户只能提交一次编辑任务。
最终结果如下:
云剪切指南第 6 期示例 **3:
时间线示例:
十分钟后。
在与客户进行了几次对话后,我们上线了更多功能。
根据主轨道的整体速度:“根据主轨道截断其他轨道”的问题在于,最后一个片段可能不完整,如果最后一个片段恰好被截断了几十毫秒,最后一帧就会一闪而过,体验就会下降。 当曲目的总时长与口头播报曲目的时长不同,但客户想要完成音频素材时,可以使用曲目整体速度加倍的功能,将曲目整体速度加倍,并与口头播曲目的结尾对齐。
单边对齐:在一些产品介绍场景中,口头播报往往比对应的**素材短,客户期望口头播报结束后,相应的素材就完成了,然后接下来的产品介绍就开始了,在这个场景下,可以使用单边对齐的能力。
具体用途请参考智能**服务功能发布记录:
最后技术大哥想说:剪辑有诀窍对接切割或直切,即图像和声音在同一时间点开始和结束。 如果处理得当,会非常符合观众的口味,反而会极大地影响**体验。
上面提到的客户场景在短片中很常见,既避免了黑框等异常现象,又让成品电影在外观和声音上更有节奏感,也非常推荐使用短片**合成的客户可以使用。 AI TTS、主轨道、物料对位等功能,都是基于大量客户反馈和真实场景不断打磨在保证效果的前提下,可以大大节省客户的开发时间,使客户可以将更多的精力投入到业务中。
很多技术专业的学生是第一次接触云编辑,没有编辑基础,会遇到各种各样的陷阱,云编辑指南会介绍更多使用云编辑时间线的技巧,结合客户的真实场景使用云编辑时间线会更方便。
IMS云智能编辑是基于云计算和人工智能技术的前沿制作服务,可为用户提供直播剪辑、剪辑、模板工厂、数字人人制作等核心功能,并可利用AI辅助剪辑制作。 产品可广泛应用于互联网、文化传媒、广告营销、教育金融等行业,满足企业对大规模、高效、便捷、智能化内容制作的需求。
欢迎加入官方问答环节钉钉群咨询与交流:48335001108