动态列表

  • 清华&南洋理工等提出稀疏模型反演:ViT反演加速高达3.79倍,告别无效背景!
  • Sketch-to-Layout,从草图到布局!DeepMind & EPFL 在设计领域的新工作
  • 为物理AI打造世界模型!英伟达发布Cosmos-2.5:模型缩小3.5倍,性能媲美SOTA
  • NeurIPS25 | 香港理工&OPPO&哈佛提出DNAEdit:直接噪声对齐让Rectified flow文生图编辑更加准确
  • AMD发布E-MMDiT:仅304M参数,单节点1.5天训练,实现高效图像合成新基准
  • 顶刊ISPRS (IF 12+) | 400+参考文献,遥感图像超分辨率最新综述!
  • 多媒体顶会ACM MM 2025 最佳论文公布,从“看懂”到“会用”,再到“会思考”:揭示AI与物理世界融合新篇章
  • NeurIPS 2025 | 电子科技大学联合A*STAR提出SCOPE:兼顾显著性与覆盖率,实现高效多模态大模型令牌剪枝
  • ICCV 2025 | 卡内基梅隆大学空间可变自动对焦:单次拍摄实现全场景清晰,重新定义计算摄影
  • 港中文&港科大等提出FullPart:让3D部件生成达到全分辨率精度
  • 从 「会思考」到 「善创造」: 多模态大模型的深度推理与协同进化
  • 英伟达开源ChronoEdit,让P图学会物理常识,时序推理颠覆图像编辑!
  • 谢菲尔德大学提出Region-CAM:mIoU提升13.6%,破解弱监督学习中的目标定位难题
  • ReDiff:突破并行生成瓶颈,多模态扩散模型生成质量与效率双提升
  • 港科大(广州)等联合发布多模态空间推理综述:为大模型画下空间理解的未来蓝图

低光图像增强新探索:SASW-Loss,无需改网络,即插即用提升多种模型性能

CV君 2025-11-05 13:12 江苏

一种全新的损失函数,让现有低光增强模型重获新生。

晚上拍照,光线不好,照片总是黑乎乎一团,还伴随着奇怪的色偏?这在计算机视觉里,是个经典的老大难问题——低光图像增强(Low-Light Image Enhancement, LLIE)。为了让黑夜变白天,研究者们设计了各种精巧的神经网络,但似乎总有些不尽如人意的地方,比如伪影、色彩失真、细节丢失等。

今天,我们来聊一篇很有意思的论文,它不卷网络结构,而是另辟蹊径,从“损失函数”这个源头入手,提出了一个即插即用的新方法 SASW-Loss,能显著提升现有多种LLIE模型的表现。这项工作由福建师范大学提出,为ACM MM 2025 oral论文,给LLIE领域带来了一股清新的风。

简单来说,这篇论文最核心的思路,可以概括为 “利用伪影打败伪影”

基于这个思想,SASW-Loss被设计出来,它的名字代表了两大核心组件:稀疏伪影相似度损失 (Sparsified Artifacts Similarity, SAS)Walsh-Hadamard系数损失 (Walsh-Hadamard Coefficients, WHC) 。前者负责利用伪影正则化恢复图像细节,后者则专注于在频域校正图像。

现有方法的“痛点”

在处理低光图像时,我们不仅希望把亮度提上来,还希望颜色和细节都能被忠实地还原。但理想很丰满,现实很骨感。

很多LLIE方法在增强亮度的同时,常常会引入不必要的“副作用”:

  1. 颜色跑偏:增强后的图像可能会出现整体性的色偏,比如天本来是黑的,结果增强后变成了诡异的紫色或蓝色。

  2. 细节丢失:为了抑制噪声或重建图像,一些模型可能会过度平滑图像,导致纹理变得模糊。

  3. 伪影严重:引入一些不存在的错误信息,即“伪影”,严重影响视觉效果和下游任务。

传统的损失函数,如L1损失或SSIM损失,虽然在一定程度上能指导模型学习,但它们对颜色和结构信息的感知能力有限,很难从根本上解决上述问题。

SASW-Loss:利用伪影打败伪影

作者认为,要解决细节和伪影的问题,必须转变思路。传统的想法是“抑制”或“消除”伪影,但作者创造性地提出:伪影本身就是一种宝贵的信息!

于是,SASW-Loss应运而生。它不改变任何现有LLIE模型的网络结构,只在训练阶段替换掉原有的损失函数,像一个“外挂”一样,即插即用。

整个框架非常清晰,由两个专门的损失项构成:

:利用伪影相似性,恢复结构细节

这正是“利用伪影打败伪影”思想的直接体现。这里的SAS是“稀疏伪影相似度”(Sparsified Artifacts Similarity)。

它的核心思想是:

  1. 首先,将正常光照的参考图像(Ground Truth)进行“稀疏化”处理。可以理解为,我们故意扔掉它的一部分信息(例如,通过WHT变换后,只保留少量频率系数),然后再重建它。这样得到的图像,会布满独特的“伪影”。

  1. 然后,将神经网络增强后的图像,也进行同样“稀疏化”处理,得到另一张带有伪影的图像。

  2. 的目标,就是让这两张图像的“伪影”看起来尽可能地相似(例如,通过计算余弦相似度)。

为什么这么做有效?因为伪影的模式,其实间接反映了图像丢失的细节和结构。通过强迫模型去“模仿”真实图像的伪影模式,模型就被引导着学会了如何更精确地恢复那些丢失的结构和纹理,而不是盲目地去噪或平滑。伪影从一个“敌人”,变成了指导细节恢复的“盟友”。

:用沃尔什-哈达玛变换守护频域信息

除了利用伪影,(Walsh-Hadamard Coefficients Loss)则在频域进行约束。你可能对WHT有点陌生,简单来说,它和傅里叶变换类似,是一种将图像从空间域转换到频域的工具,但计算上更高效。转换后,图像信息被分解成不同频率的“分量”,低频分量代表图像的整体轮廓和色块,高频分量则代表细节和边缘。

的核心思想是:

  1. 将增强后的图像和正常光照的参考图像都进行WHT。

  2. 直接在WHT频域中,计算两者变换系数的L1差异。

  3. 这个是全频域的约束,包含像素约束也包含颜色。

由于噪声通常集中在高频,而整体亮度和对比度与低频和中频更相关,通过直接约束所有频率的系数,这个损失函数能有效地帮助模型恢复正确的亮度和对比度、抑制噪声,并增强整体结构。

SASW-Loss

通过融合 ,该损失函数使模型在噪声抑制、结构细节恢复与亮度重建方面获得协同增强。两种损失机制共同优化细节特征与频域分量,从而实现更精准、更自然的图像重建。

最终损失函数如上所示,其完整计算流程见下图。

实验效果:即插即用的显著提升

定量分析

在有成对数据的LOL数据集上,效果提升是全方位的。从下表可以看到,几乎所有用了SASW-Loss训练的模型,在PSNR和SSIM这两个关键指标上都获得了明显增益。

在更具挑战性的无成对数据(unpaired data)场景下,使用无参考指标NIQE(越低越好)进行评估,SASW-Loss同样表现出色。在DarkFace、NPE等五个数据集上,它帮助基线模型取得了更低的NIQE分数,意味着生成图像的自然度更高。

定性对比

数字是抽象的,我们直接看图。相较于常出现过度平滑、噪声放大或色调映射失真等问题的传统基线模型,SASW-Loss能有效引导网络在保留结构细节的同时修复图像缺陷。这一优势在色彩丰富、物体特征多样或包含文字区域等复杂场景中尤为显著——SASW-Loss在保持图像清晰度的同时呈现出更自然的视觉效果。

具体而言,如上图所示,通过本方法处理的调色板色彩、背包纹理及黄牌标识均得到更精准还原,更贴近真实图像。这些增强结果展现出更优的色彩还原度、更准确的亮度修复以及更细腻的纹理恢复能力,尤其在曝光不足或光照不均区域改善明显。

此外,上图表明采用SASW-Loss训练的模型对非配对数据集也表现出更强鲁棒性。值得注意的是,基线模型修复的图像常出现伪影、过曝、异常条纹和色彩失真等问题,而本方法能有效应对这些挑战,显著提升图像的视觉真实感与整体质量。

消融实验

为了证明SASW-Loss的两个组件 都不是花架子,作者还做了消融实验。

通过对比可以清晰地看到:

  • 只用 :图像的结构和细节保留得不错,但颜色可能还是有点怪,没能完全摆脱色偏问题。

  • 只用 :颜色看起来非常自然、舒服,但图像的锐利度可能稍有欠缺,一些精细的纹理不如 保留得好。

  • 完整 :集两者之所长,既有 带来的自然色彩,又有 带来的清晰细节。画面整体效果无疑是三者中最好的。

结果表明,无论是单独使用 还是 ,都能带来一定的性能提升,但将两者结合起来()的效果是最好的。

总结

CV君觉得,这项工作最吸引人的地方在于它的通用性和实用性。在学术界越来越“卷”网络结构设计的今天,回头打磨一下损失函数这个基础环节,反而取得了意想不到的好效果。这种“利用伪影打败伪影”的思路,为LLIE领域甚至其他图像恢复任务提供了一个新的优化方向:在不增加任何推理成本的前提下,通过一个更优秀的损失函数来“解锁”现有模型的全部潜力。

值得一提的是,SASW-Loss“利用伪影打败伪影”的思路,不仅仅只在暗光增强有效果,在其他的图像恢复领域也显然可行。

你觉得这个技术未来会用在哪些场景?一起来聊聊吧!

阅读原文

跳转微信打开

联系我们