对使用 Cloud Clip Timeline 有疑问? 是什么让他被称为“TQL”?

小夏 社会 更新 2024-02-04

本文为《阿里云智能服务IMS云智能编辑实践指南》第6期,从客户真实实践场景入手,分享一些时间线技巧(AI TTS、主跟踪、素材对齐),帮助客户减少开发时间和成本。
欧大爷作者故事始于客户的真实反馈。

有一天,一位客户加入了智能**服务问答组,想要达到短暂的**效果,发生了以下对话:

上图链接:在阿里云的智能服务IMS云剪辑中,客户通常会编辑一个时间线来提交编辑任务,并合成他们想要的编辑任务。 Timeline中设有AI TTS功能,方便客户为自己匹配口头讲解**。

此功能在简短的综合中非常常见,例如需要将商店访问与广告词相匹配,或者将产品的外观与产品介绍相匹配。 使用时,客户只需要:在音轨中添加剪辑,并设置语音广播的文本内容和音调就是这样。 在实际合成中,引擎会先做语音合成,然后将语音合成结果合成成成品电影客户在整个过程中只需调用一次编辑任务。

但是,在实际使用中,还是会有一些效果问题,比如上面客户遇到的问题:

合成前,客户不知道口文需要阅读的时间,搭配时,**曲目的时长无法很好地控制:

最终合成的影片结尾可能有黑框,结束口头播报但**还在播音,这是客户合成的坏情况效果,口播结束了,**还在继续**。

云剪切指南第 6 期示例 **1:

时间线示例:

主要曲目其功能是当客户将轨道设置为主轨道时解决此问题时间线中的其他轨道会根据主轨道进行截断在上面的例子中,客户可以将口语播音轨设置为主音轨,将**音轨素材填写得足够长,最后根据主音轨将其截断,不会出现黑框或错位的结尾。

使用主轨道的效果:

云剪切指南第 6 期示例 **2:

时间轴示例(注意 maintrack=true 参数):

第二天,客户又回来了。

上图链接:在很多实际场景中,客户需要知道语音合成的精确时长,这样才能在实际业务中更好地控制它,比如:控制文案每句对应的**和贴纸。 客户可以先调用智能语音接口,先将口语播报和字幕结合起来,然后根据每句话的时长将口语播报与素材进行匹配。

这样一来,整个合成过程就从一步变成了两步,需要自己拼字幕时间线,会比直接使用AI TTS复杂一些,但客户控制可以更灵活,这在真实的客户场景中也很常见。

整个流程实施流程如下:

几天后,客户又找到了技术哥。

上图链接: 这一次,客户的合成过程是这样的,和之前技术哥的建议不一样。

客户这次遇到的问题是第一次语音合成中句子的时间戳与未来AI TTS合成的结果不一致。 由于一些潜在的原因,即使语音合成参数相同,每次合成的结果也会有毫秒级的偏差不建议将上一次的结果作为下一次作文的参考。 同时,智能语音任务和AI TTS实际上都会做语音合成,而且成本也占了两倍,从成本和效率上来说都不划算。

这一次,客户的场景是将**材料与口头文案逐句对齐,使**更有节奏感。

当您对不同轨道之间的材质对齐有这种简单的需求时,您可以直接使用材质对齐功能。 在时间线中,可以设置每个素材的ID(ClipID),也可以设置素材的ReferenceClipID(ReferenceClipID),如下面的配置,可以达到客户想要的效果,客户只能提交一次编辑任务。

最终结果如下:

云剪切指南第 6 期示例 **3:

时间线示例:

十分钟后。

在与客户进行了几次对话后,我们上线了更多功能。

根据主轨道的整体速度:“根据主轨道截断其他轨道”的问题在于,最后一个片段可能不完整,如果最后一个片段恰好被截断了几十毫秒,最后一帧就会一闪而过,体验就会下降。 当曲目的总时长与口头播报曲目的时长不同,但客户想要完成音频素材时,可以使用曲目整体速度加倍的功能,将曲目整体速度加倍,并与口头播曲目的结尾对齐。

单边对齐:在一些产品介绍场景中,口头播报往往比对应的**素材短,客户期望口头播报结束后,相应的素材就完成了,然后接下来的产品介绍就开始了,在这个场景下,可以使用单边对齐的能力。

具体用途请参考智能**服务功能发布记录:

最后技术大哥想说:剪辑有诀窍对接切割直切,即图像和声音在同一时间点开始和结束。 如果处理得当,会非常符合观众的口味,反而会极大地影响**体验。

上面提到的客户场景在短片中很常见,既避免了黑框等异常现象,又让成品电影在外观和声音上更有节奏感,也非常推荐使用短片**合成的客户可以使用。 AI TTS、主轨道、物料对位等功能,都是基于大量客户反馈和真实场景不断打磨在保证效果的前提下,可以大大节省客户的开发时间,使客户可以将更多的精力投入到业务中。

很多技术专业的学生是第一次接触云编辑,没有编辑基础,会遇到各种各样的陷阱,云编辑指南会介绍更多使用云编辑时间线的技巧,结合客户的真实场景使用云编辑时间线会更方便。

IMS云智能编辑是基于云计算和人工智能技术的前沿制作服务,可为用户提供直播剪辑、剪辑、模板工厂、数字人人制作等核心功能,并可利用AI辅助剪辑制作。 产品可广泛应用于互联网、文化传媒、广告营销、教育金融等行业,满足企业对大规模、高效、便捷、智能化内容制作的需求。

欢迎加入官方问答环节钉钉群咨询与交流:48335001108

相似文章

    您使用什么软件进行音频编辑?你经常使用它吗?

    与 剪辑相比,音频剪辑 可能是一款大家听说过的软件。但是,毫无疑问,对音频也有编辑需求。上个月,我在城市的街道上听到了美妙的歌声。出于对它的热爱,我当时打开了手机的录音功能,录了下来。然而,当我回到家,再次打开音频时,我发现我当时也录下了街道的喧嚣,也录了一些与歌曲无关的聊天。这极大地影响了歌曲的整...

    什么是编辑软件?有五种常见的编辑软件类型

    编辑软件是一种用于编辑的计算机程序,广泛应用于电影 电视 广告 个人制作等领域。以下是一些常见的编辑软件及其功能 Adobe Premiere Pro Adobe Premiere Pro 是 Adobe 推出的一款功能强大的编辑软件,广泛用于电影 电视节目和广告的制作。它提供了丰富的编辑 特效 色...

    什么是音乐编辑软件?分享一些有用的方法!

    什么是编辑软件?使用剪辑软件,我们不仅可以体验制作的乐趣,还可以提高我们的素养和技能。本文整理了几款简单易用的 编辑软件,新手也能轻松上手,下面就来看看有哪些好用的 编辑软件吧!步骤 在计算机上打开软件,然后单击以选择 音频剪辑 选项。第 步 拖放需要编辑的 第三步 根据需要选择一个音频剪辑。第步 ...

    什么是音频剪辑教程?把这些方法收起来

    您是否有时会录制大量音频并想将其整理成一个完美的 但您不知道如何编辑音频或觉得它很麻烦?不用担心!音频编辑软件应运而生,它为我们提供了一种简单方便的方式来制作自己的 这些软件将专业的音频编辑技术与智能自动编辑功能相结合,让我们无需任何特殊知识即可轻松操作。接下来,让我们来看看音频编辑教程必须提供的内...

    如何使用云桌面?云桌面有哪些优势?

    云桌面,简单来说,就是一种通过网络连接到云端,然后通过计算机软件实现远程操作的计算机。这种电脑可以说是目前最方便的办公设备,只要有网络,就可以随时随地工作。如今,云桌面系统很多,云游戏 在线直播等产品以门槛低而为大众所熟知。很多人对云桌面的印象还是简单易用,价格低廉。如何正确使用云桌面系统?首先,打...