论文：https://arxiv.org/abs/2504.02433v1
项目页：https://humanaigc.github.io/omnitalker
体验页：https://huggingface.co/spaces/Mrwrichard/OmniTalker
我们先来看两段视频，就能感知到生成内容的真实感有多强：
是不是已经分辨不出小李子莱昂纳多和 LeCun 是AI复刻出来的了？感兴趣的读者也可以从项目页查看更多Demo。
接下来，就让我们看下阿里通义实验室 HumanAIGC 团队对此论文的解读。
背景
近年来，随着语言大模型的迅速发展，虚拟主播、虚拟助手等应用得到了广泛的推广与使用。然而，针对文本驱动的数字人生成研究仍然较少，现有方法主要采用级联流水线的方式，将文本转语音（Text-to-Speech, TTS）系统与音频驱动的数字人模型相结合。这种传统流水线一方面引入了系统复杂性和延迟开销，尤其是在实时互动场景下，各模块之间的延迟问题成为影响用户体验的重要因素；另一方面还从根本上存在音画输出不同步以及生成语音与视觉表情风格不一致的问题，无法完美复制真人的说话风格。
为了解决这些局限性，我们提出了 OmniTalker，能够在零样本实时场景中，根据文本和参考视频同时生成同步的语音和数字人视频，同时保留语音风格和面部风格。该框架采用双分支 DiT 架构：音频分支从文本合成梅尔频谱图，而视觉分支预测精细的头部姿态和面部动态。为了桥接模态间的信息，我们引入了一种新颖的视听融合模块，整合跨模态信息以确保音频和视觉输出在时间上的同步性和风格上的一致性。此外，我们的上下文参考学习模块能够从单个参考视频中有效捕捉语音和面部风格特征，而无需额外引入风格提取模块。此方法特别注重保持声音的一致性和说话风格的真实性，同时优化了处理速度，确保了实时响应性能，从而显著提升了数字人生成的质量和效率。相较于传统的数字人生产流程，此方法能够有效降低制作成本，提高生成内容的真实感和互动体验，满足更广泛的应用需求。
图 1. 区别于传统级联框架，OmniTalker 是一个端到端的统一框架，可根据文本和一段简短的参考音视频实时生成同步的语音和数字人视频，同时保持声音的一致性和说话风格的真实性。
方法介绍
图 2. OmniTalker 结构图
我们的目标是在紧凑的网络架构中实现音视频联合生成，确保音频和视频输出之间的对应关系，同时从参考视频中复制声音和面部风格。受启发于 LLM 的上下文学习能力，以及多模态 DiT 在文生图中的优势，我们提出了如图 2 所示的模型架构。该架构有三个核心部分：（1）三个嵌入模块来分别捕捉参考音视频的动态特征以及文本信息，（2）一个双流 DiT 模型用于音视频并行建模，以及 (3) 一个音视频特征融合模块来确保音视频特征的紧密同步。
1. 模型输入方面，包含驱动文本和参考音视频三种模态特征：
音频特征：我们从参考视频中提取音频流，并利用梅尔谱图作为音频特征的表示方法。通过一个基于 MLP 的嵌入模块，我们将梅尔谱图转换为音频嵌入 x^a；
文本特征：使用 ASR 模型将参考音频转化为文字，形成参考文本。随后，输入文本以及参考文本被转换成拼音序列（针对中文）或字符 / 字母序列（针对拉丁语系），并进行拼接。为了匹配音频嵌入 x^a 的长度，我们以某种填充标记对文本序列进行填充。文本嵌入过程采用了 ConvNeXt-V2 架构，生成的文本嵌入c_t作为条件指导音频和视觉分支的处理。
视觉特征：对于视频片段，我们提取包含面部表情的 51 维混合形状系数、6 维旋转与平移参数（RT），以及每帧的眼球运动系数在内的视觉编码。如同处理音频特征一样，这些视觉编码也通过一个 MLP 映射到视觉嵌入 x^v 上，以实现统一的特征表示。
在训练阶段，音频和视觉特征会随机掩码序列的一部分，利用上下文学习来达成风格复刻的需求；而在推理阶段，则依据参考音频的节奏及输入文本的长度对音视频特征进行零填充，确保处理的一致性。
2. 关于模型结构，我们方法的核心在于建模视频、音频和文本模态之间的交互，旨在生成既连贯又同步的音视频内容。我们的框架由一系列专门设计用于处理音频和视频数据流的 DiT 块组成，促进音频和视频特征间的跨模态融合，从而产出一致且同步的结果。模型的关键组件包括：
音视频特征融合模块：采用双分支架构，一个分支专注于处理视觉运动信息，另一个则负责解析音频信息。利用 MM-DiT 注意力机制，网络能够动态评估并平衡音频与视觉特征的重要性，确保最终生成的视频在时间轴上以及语义层面与输入音频完美对齐。
单模态 DiT 块：在完成初步的跨模态融合后，模型使用多个单模态 DiT 块进一步细化生成过程。这些块操作于已融合的多模态特征之上，但针对每个单独模态（即音频或视觉）进行优化，以提高输出质量。
音视频解码器：经过上述步骤生成的音视频特征随后通过预训练的解码器转换回原始格式。对于音频部分，我们使用 Vocos 解码器将合成的梅尔频谱图还原为语音，这是一种高保真声码器，也可替换为其他相似声码器如 HiFi-GAN。至于视频解码，我们设计了一个 GAN 模型（复用 ChatAnyone），它根据从参考视频中随机选取的参考帧为基础，并按照 DiT 模型预测的头部姿态和混合形状系数生成新的视频帧。该模型能以 30FPS 的速度生成分辨率为 512×512 的帧，满足实时推理的需求。
实验结果
鉴于当前尚无方法能够同时生成音频和视频，我们对文本转语音（TTS）技术和音频驱动的数字人生成（Talking Head Generation, THG）技术分别进行了比较分析。在 TTS 方面，我们挑选了三种代表性方法：MaskGCT、F5TTS 和 CosyVoice，并针对错词率（WER）和声音相似度（SIM）进行了对比评估。对于 THG 的评估，我们构建了一个多模态比较框架，涵盖以下几类方法：(1) 两种基于 GAN 的技术（SadTalker 和 AniTalker）；(2) 两种最先进的基于 diffusion 的方法（EchoMimic 和 Hallo）；(3) StyleTalk，一种具备风格保留功能的音频驱动 THG 方法。为了确保公平性和结果的可比性，实验中所有 THG 模型均采用由我们提出的方法生成的音频信号作为输入。
表 1. TTS 性能对比
表 1 展示了我们的方法在音频测试集 Seed 上的测试结果，与 TTS 基线模型相比，我们的生成结果显示出更低的错词率（WER），这表明生成的音频与文本之间具有更高的一致性。此外，我们的方法在声音相似度（SIM）指标中排名第二，进一步证实了其在零样本条件下保持声音特征的能力。值得注意的是，通过对比包含和不包含运动分支（Ours w/o motion）的模型表现，可以看出完整模型实现了更低的 WER，这证明了结合视觉监督能有效提升生成音频的感知质量。我们将这种改进归因于多任务学习的有效性，因为在音频生成和面部动作之间存在着高度的相关性，两者结合可以相互促进，从而提高整体输出的质量。
在视觉质量评估方面，除了传统的峰值信噪比（PSNR）、结构相似性（SSIM）、Frechet Inception Distance（FID）、Frechet Video Distance（FVD）、ID 相似度（CSIM）以及口型同步（Sync-C）等指标外，我们还引入了两个新的评估标准 ——E-FID（表情 FID）和 P-FID（姿势 FID），以分别衡量生成的面部表情和头部姿势的真实感。具体而言，E-FID 结合了 51 维面部混合形状系数和 4 维眼动参数进行计算，而 P-FID 则通过 6 维旋转 - 平移参数来量化头部姿势的一致性和真实性。
表 2. THG 性能对比
表 2 展示了 OmniTalker 在视觉生成方面的卓越性能。我们的方法在 9 个核心指标中，有 7 个达到了业界领先水平（SOTA），包括最高的 PSNR 和 SSIM，以及最低的 FID 和 FVD。
这些结果表明，我们的方法在视频生成质量方面具有显著优势。尤其在 E-FID 和 P-FID 上，我们的方法相比现有技术实现了一个数量级的提升，突显了其在保持面部运动风格和头部姿态方面的出色能力。这种能力使得我们的方法能够有效地继承参考人物的说话风格，从而实现高保真的音视频克隆。尽管我们的方法在 CSIM 和 Sync-C 指标上获得了次优成绩，但根据我们的经验观察，这些指标倾向于偏好正面视角的视频。相比之下，其他对比方法更倾向于生成正面视角的内容，而忽略了参考视频中实际的面部朝向。我们的方法通过准确捕捉并再现原始视频中的面部方向，提供了更加真实和自然的输出效果。
为了更直观地展示 OmniTalker 建模面部运动风格方面的卓越能力，我们对比了不同方法生成结果中的头部运动累积热图。如图 4 所示，通过将生成的视频与参考视频进行比较，可以清晰地看到，我们的方法生成的热图与真实数据的热图更为接近。图 3 则从时间维度进一步验证了这一点，我们选择头部偏航角（Yaw）作为跟踪指标来观察头部姿态的变化。左侧的红线代表参考序列，右侧展示了由各种方法生成的序列。结果显示，我们方法生成的序列无论是在幅度还是运动频率方面，都与参考序列保持了高度的一致性，同时保留了必要的自然差异，这表明我们的方法能够有效地继承头部姿态的风格特征。相比之下，其他方法生成的头部运动往往不够明显，缺乏动态变化。特别是 StyleTalk 方法直接复制参考姿势序列，虽然保证了与参考姿势的高度一致，但未能考虑语音内容与姿态之间的语义关联，导致生成结果缺乏灵活性和自然感。
综上所述，我们的方法不仅能够在视觉表现上精确模仿原始视频中的面部运动风格，还能在语义层面上实现更加丰富和自然的表现，确保生成的内容既真实又生动。
图 3. 头部姿态（Yaw）时间变化曲线
图 4. 头部运动累积热图
在实时性方面，我们的方法通过创新地采用 flow matching 技术以及相对紧凑的模型架构（仅包含 8 亿个参数），实现了音视频的实时同步高质量输出。这不仅保证了出色的推理速度，同时也确保了输出的质量优于其他现有方法，如表 2 所示。这种能力使得我们的方法在不牺牲输出质量的前提下，满足了实时应用的需求。
团队介绍
阿里巴巴通义实验室的 HumanAIGC 团队专注于 2D 数字人和人物视频生成的研究，在相关领域内已发表了多篇顶会论文，比如单图驱动角色视频生成 Animate Anyone 以及 Animate Anyone2，单图语音驱动视频生成技术 EMO 以及 EMO2，实时数字人 ChatAnyone 等均出自该团队。
]]>