CV君 2025-09-25 00:02 江苏
一招解耦色彩与亮度，让AI看清雨雪雾，还原真实世界。
如何让AI在狂风暴雨、大雪纷飞、浓雾弥漫的天气里，也能“看”得清清楚楚。这不仅仅是听起来酷，对于自动驾驶、户外监控这些应用来说，简直是刚需中的刚需。
恶劣天气下的图像修复（Adverse Weather Image Restoration, AWIR）一直是个老大难问题。天气状况千变万化，传统的修复算法经常“水土不服”，遇到没见过的恶劣天气就抓瞎。后来有人尝试用提示学习（Prompt-learning）的方法，但又太依赖模型对天气状况的判断，一不小心就可能修出“四不像”。
最近，来自南京理工大学等机构的研究者们提出了一个名为 LCDiff 的新框架，给这个问题带来了全新的解法。这个名字听起来有点技术范，其实是“Lumina-Chroma Diffusion”的缩写，核心思想就是“亮度和色度解耦的扩散模型”。简单来说，它把图像的亮度和色彩分开处理，再用扩散模型来个精装修，效果非常惊艳。
标题：When Color-Space Decoupling Meets Diffusion for Adverse-Weather Image Restoration
作者：Wenxuan Fang, Jili Fan, Chao Wang, Xiantao Hu, Jiangwei Weng, Ying Tai, Jian Yang, Jun Li
机构：南京理工大学、东南大学、南京大学
核心思想：从色彩空间下手
研究者们发现了一个有趣的现象：下雨、起雾这些天气，主要影响的是图像的亮度（Luminance），而对色彩（Chrominance）的影响其实没那么大。这就好比你戴上了一副脏了的眼镜，看东西会模糊、变暗，但物体的颜色本身没怎么变。
基于这个洞察，他们选择了在YCbCr色彩空间里做文章，而不是我们常见的RGB。在YCbCr空间里，Y通道代表亮度，而Cb和Cr通道代表色度。通过实验可以看到，把一张恶劣天气图像的Y通道换成一张清晰图像的Y通道，图像质量瞬间就上来了。这个发现，就是整个LCDiff框架的基石。
LCDiff框架：两步走，让图像变清晰
LCDiff的整个工作流程可以分为两大步，由两个核心组件完成：Lumina-Chroma Decomposition Network (LCDN) 和 Lumina-Guided Diffusion Model (LGDM) 。
第一步：LCDN负责“粗装修”
首先登场的是 LCDN（亮度-色度分解网络）。它的任务是把输入的退化图像分解成亮度和色度两个部分，然后分别进行修复。
亮度修复模块 (LRM) ：这个模块专门负责处理受天气影响最严重的Y（亮度）通道。它利用了像NAFNet这样在图像恢复领域表现出色的网络结构，专门去除亮度通道里的天气“痕迹”，比如雨丝、雾气等。
频率色度恢复模块 (FCRM) ：对于基本没怎么被天气影响的CbCr（色度）通道，FCRM则小心翼翼地进行处理，确保图像的颜色不会失真，同时还能抑制可能出现的色彩噪声。它聪明地将色度信号分解到频域，对低频和高频成分进行针对性优化，从而在保持颜色一致性的同时保留细节。
经过LCDN处理后，就得到了一张初步修复的图像。可以说，天气造成的“硬伤”基本都被修复了，但可能还存在一些细节模糊、纹理失真的问题。
第二步：LGDM负责“精装修”
接下来，轮到 LGDM（亮度引导的扩散模型） 上场了。它接手LCDN的“半成品”，进行精细的打磨和优化。
扩散模型大家可能不陌生，它在图像生成领域非常火。LGDM的创新之处在于，它不是盲目地去生成，而是利用了上一步LCDN修复好的亮度信息作为“引导”，告诉扩散模型应该朝哪个方向去优化。这样做的好处是，模型不需要再费劲去猜天气到底是什么，直接根据清晰的亮度结构来恢复图像细节，过程更稳定，效果也更好。
此外，作者还引入了一个叫 动态时间步损失 (Dynamic Time Step Loss) 的东西。CV君觉得这个点子很巧妙。在扩散模型的修复过程中，不同阶段（时间步）关注的重点是不同的。早期阶段，模型主要关注图像的轮廓、结构等低频信息；到了后期，则更关注纹理、细节等高频信息。这个动态损失就能在不同阶段自动调整优化目标，确保低频和高频特征都能得到均衡、高质量的恢复。
DriveWeather：一个更真实的“考场”
为了更全面地检验LCDiff的实力，研究者们还干了件大事：他们创建了一个全新的、面向自动驾驶场景的全天气数据集——DriveWeather。
这个数据集包含了浓雾、雨雾、阴天、雨痕、水坑、眩光等7种真实驾驶场景中常见的恶劣天气，每种天气还有5个不同的严重等级。整个数据集有多达 29,750 对精细对齐的“退化-清晰”图像对，为算法提供了一个极具挑战性又非常贴近现实的“考场”。
实验结果：实力碾压
是骡子是马，拉出来遛遛。LCDiff在多个公开数据集以及全新的DriveWeather数据集上，和现有的一众SOTA方法进行了PK。
定量比较
从数据上看，LCDiff几乎在所有测试中都名列前茅。
在Snow100K、RainDrop等多个天气修复基准上，LCDiff的PSNR和SSIM指标都取得了 最优 成绩。
在自家更具挑战性的DriveWeather数据集上，LCDiff在7种天气中的6种都取得了最佳性能，PSNR和SSIM比之前的SOTA方法MoCE-IR分别高出 +5.3% 和 +0.7%。
在包含多种混合退化的CDD11数据集上，LCDiff同样表现出色，尤其是在低光、雾、雨混合的场景下，提升高达 +1.1 dB。
视觉效果
光看数字可能不够直观，我们直接看图。
在去雪、去雨等任务中，LCDiff不仅去除了天气干扰，还很好地保留了图像的细节和光照，效果比其他方法更自然。
在复杂的混合天气场景下，其他方法可能会出现各种奇怪的“修复痕迹”，而LCDiff的结果则干净利落，色彩和结构都非常保真。
即使是在真实的雨天和雪天照片上，LCDiff也展现了强大的泛化能力，修复后的图像细节丰富，观感非常舒适。
消融实验
为了证明框架里每个组件都不是“吃干饭”的，作者还做了详尽的消融实验。
实验结果表明，无论是LCDN的分解网络，还是LGDM的生成式精修，以及动态时间步损失和亮度引导条件，都对最终的优异性能有不可或缺的贡献。
作者还对比了不同的色彩空间（RGB, HSV, YCbCr），实验证明YCbCr确实是处理这类问题的“天选之子”，其线性的亮色分离特性完美契合了天气退化的物理规律。
总结
总的来说，LCDiff通过“色彩空间解耦”这一巧妙的思路，将复杂的全天候图像修复问题，拆解成了两个相对简单且可控的步骤。它既利用了分解策略的鲁棒性，又发挥了扩散模型的生成优势，还不需要复杂的文本提示，为恶劣天气图像修复领域树立了一个新的标杆。
大家对这个方法怎么看？欢迎在评论区留下你的看法！