ToolsAi

谢晨熹 2025-11-04 20:16 江苏

论文标题：DNAEdit: Direct Noise Alignment for Text-Guided Rectified Flow Editing
arXiv：https://arxiv.org/abs/2506.01430
项目主页：https://xiechenxi99.github.io/DNAEdit/
GitHub：https://github.com/xiechenxi99/DNAEdit_code
作者团队：谢晨熹,李明晗,栗帅,吴煜辉，易侨斯，张磊
机构：香港理工大学；OPPO研究院；哈佛大学
录用：NeurIPS@2025 Spotlight

为什么直接对齐图像的初始噪声

在文本引导图像编辑领域，依托大规模预训练文本 - 图像模型的强大生成能力，无训练（training-free）方法已展现出令人瞩目的编辑效果。然而，当前主流方法仍存在显著技术局限：

传统基于扩散（diffusion-based）的方法，以及近期兴起的基于修正流（rectified flow, RF）的方法，在实现过程中均需通过向清晰图像逐步添加预测的噪声来 “反向推导” 获得轨迹。在此过程中，这些方法通常会用当前时间步的带噪声潜变量（noisy latent）去近似后续时间步的带噪声潜变量 —— 这种近似策略会引入 “累积漂移（accumulated drift）” 问题，最终导致图像重建精度下降，影响编辑效果的准确性。
基于修正流（RF）的方法本身存在一个关键特性尚未被充分利用：在 RF 框架下，每个时间步的带噪声潜变量，本质上是通过高斯噪声（Gaussian noises）与清晰图像的直接插值来估计的。这一特性为从 “噪声域” 直接优化编辑过程提供了可能性，从而有效规避误差累积问题。

Direct Noise Alignment 的核心思想

通过插值替代近似预测的噪声。在传统扩散模型与早期修正流（RF）方法中，带噪声潜变量的获取依赖 “近似预测” 逻辑 —— 模型会基于当前时间步已有的带噪声潜变量，去估算下一个时间步的带噪声潜变量。这种 “递推式近似” 存在天然缺陷：每一步预测过程中产生的微小误差会随时间步推进不断叠加，最终导致 “累积漂移”，严重偏离真实的噪声分布，进而降低图像重建精度与编辑准确性。

而考虑到RF模型的特性：每个时间步的带噪声潜变量可通过高斯噪声与清晰图像的直接插值得到。具体而言，DNA 不依赖前一时间步的噪声进行 “猜测式预测”，而是直接基于初始清晰图像与高斯噪声，通过线性插值直接计算在每个时间步精准生成对应的带噪声潜变量。这种 “直接插值生成” 的方式，相当于跳过了传统方法中 “递推近似” 的中间环节，从根源上避免了误差的逐步累积，确保每个时间步的带噪声潜变量都严格贴合真实噪声分布。

通过移动噪声减小模型在指定时间步的理想和预测去噪速度差。我们通过高斯噪声和干净图片插值来获取中间的latent，这就导致了一个新的问题，用于插值的高斯噪声是否有“好坏”之分。假设我们很幸运的取到了那个理想的高斯噪声（即可以以这个高斯噪声为起点生成原图片的那个高斯噪声），那么以这个高斯噪声和原图片插值得到的noisy latent上模型预测的速度()和理想RF建模下的速度（（）这两个速度在一个良好预训练的T2I模型下应该很接近。基于此我们想到，如果在每个插值出来的noisy latent上的理想速度和预测速度差越小，说明这个高斯噪声越接近那个理想的高斯噪声。也就是说我们可以通过向着使速度差变小的方向移动高斯噪声，逐渐接近理想的高斯噪声。