Meta 发布了 audio2photoreal 技术框架，可以基于对话语音合成逼真的虚拟角色动作

Meta 的新人工智能研究 Audio2Photoreal 技术框架能够根据对话语音生成逼真的面部、身体和手势。 研究人员开发了Audio2PhotoReal框架来创建真实世界的化身，这些化身可以根据人们说话的内容和方式做出自然的手势和表情。

audio2photoreal研究的主要贡献是将矢量量化和扩散算法相结合，以生成动态和更具表现力的动作。 矢量量化是一种将大量数据压缩成少量代表性数据的技术，当用于audio2photoreal时，它可以有效地从大量手势中选择代表性样本。

扩散技术的作用是提供高频细节，提高手势质量。 扩散技术常用于图像的生成和改进，特别是在需要还原细节或增加视觉真实感的场景中，当应用于虚拟角色手势生成的过程时，扩散技术可以使手势更加自然流畅，使其更接近真实的人体动作。

在这项研究中，研究人员还创建了一个多视角的双人对话数据集，其中包括从不同角度拍摄的对话场景，使audio2photoreal能够更好地创建化身。

此外，与传统网格模型相比，audio2photoreal生成高度逼真的虚拟角色，并准确捕捉对话手势的细节，如模拟手指指向、手腕旋转或耸肩等，更加自然逼真。 研究团队现时将相关程序**及数据集公之于众，以促进相关研究领域的发展。