ToolsAi

CV君 2025-11-09 11:32 江苏

即插即用，让ViT学会“找不同”，计算开销不变，性能全面提升。

大家好，我是CV君。今天想和大家聊一篇来自清华大学和北京大学的最新研究，它给热门的Vision Transformer（ViT）带来了一次相当漂亮的“线性提速”。

这篇被 NeurIPS 2025 录用的论文，标题为《Linear Differential Vision Transformer: Learning Visual Contrasts via Pairwise Differentials》，提出了一种名为“视觉对比注意力”（Visual-Contrast Attention, VCA）的新模块。简单来说，VCA就像是给ViT装上了一双“火眼金睛”，让它不再是“一视同仁”地看图中所有内容，而是学会了主动“找不同”，聚焦于那些真正具有区分度的信息。最关键的是，这个新模块几乎不增加计算量，却能实打实地提升模型性能。

下面是论文的基本信息，感兴趣的朋友可以深入研究：

论文标题: Linear Differential Vision Transformer: Learning Visual Contrasts via Pairwise Differentials
作者团队: Yifan Pu, Jixuan Ying, Qixiu Li, Tianzhu Ye, Dongchen Han, Xiaochen Wang, Ziyi Wang, Xinyu Shao, Gao Huang, Xiu Li
所属机构: 清华大学、北京大学
论文地址: https://arxiv.org/abs/2511.00833
项目主页: https://github.com/LeapLabTHU/LinearDiff

ViT的“甜蜜烦恼”与VCA的诞生

熟悉CV的朋友们都知道，Vision Transformer（ViT）现在是遍地开花，无论图像识别还是图像生成，都能看到它的身影。但ViT也有个“甜蜜的烦恼”——它的核心部件，多头自注意力（Multi-Head Self-Attention, MHSA），计算量太大了。

MHSA会对图像中的每一对图块（token）都进行相似度计算，这是一个平方级别的复杂度（O(N²)）。这意味着，图像越大、图块越多，计算成本就呈指数级增长。很多时候，模型把大量的算力都浪费在了计算那些没啥信息量或者重复的区域关系上。

为了解决这个问题，研究者们想了不少办法。有的方法限制注意力范围，比如只在局部窗口内计算，但这又可能丢失全局信息。有的方法用低秩分解或傅里叶变换来近似注意力矩阵，但它们还是平等地对待所有信息，没能抓住重点。

而这篇论文的作者们另辟蹊径，他们认为，与其被动地处理所有信息，不如让模型主动去发现“对比”和“差异”。这个想法催生了 视觉对比注意力（VCA）。

VCA如何实现“找不同”？

VCA的设计非常巧妙，可以即插即用地替换掉原来ViT中的MHSA模块。它的核心思想分为两步：

第一阶段：生成全局对比信息

首先，VCA不再让所有的查询（query）都去和键（key）直接硬碰硬。它选择了一种更聪明的方式：

信息压缩：对于每个注意力头，VCA先把整个图像的查询特征图（Query Feature Map）通过平均池化（Average Pooling）操作，压缩成一个很小的网格（比如8x8）。这样，原来成百上千的图块（token）就被浓缩成了几十个“视觉对比令牌”（visual-contrast tokens）。
创建正负“视角”：接下来是关键一步。VCA为这些浓缩后的令牌添加两种不同的、可学习的位置编码，从而创造出两个“流”：一个“正向流”（positive stream）和一个“负向流”（negative stream）。你可以把它们想象成从两个略有不同的角度去观察同一份浓缩信息。
差分交互：这两个流分别与全局的键（key）和值（value）进行交互，然后将得到的结果相减。这一减，神奇的事情发生了——那些在两个“视角”下都差不多的普通信息被抵消了，而那些有显著差异的、真正重要的对比信息就被凸显了出来。

通过这个过程，VCA用很小的计算代价，就提炼出了一份信息量极高的“全局对比图”。

第二阶段：基于对比图进行精细化注意力

有了这份“全局对比图”，第二阶段就简单高效多了。原始的每个图块查询（patch query）不再需要跟所有其他图块去比较，而是直接与这份浓缩的“对比图”进行交互。

这个交互同样是差分式的，查询会同时关注对比图的“正向”和“负向”信息，最终计算出每个图块在“对比”视角下的重要性。

整个过程下来，VCA成功地将计算复杂度从 O(N²C) 降低到了 O(NnC)，其中 n 是对比令牌的数量，远小于 N。这意味着计算成本与图块数量 N 之间变成了线性关系，ViT终于可以“减负”了。

效果如何？数据说话

理论说得再好，还得看实际效果。作者们在图像分类和图像生成两大任务上对VCA进行了充分验证。

图像分类：精度显著提升

在ImageNet-1K分类任务上，VCA的效果非常惊人。

从上表可以看到：

给轻量的DeiT-Tiny模型换上VCA后，参数量只增加了0.3M，计算量（FLOPs）不变，但Top-1准确率直接从72.2%提升到了 75.6%，足足高了 3.4 个百分点！
即使是对于Swin Transformer这类已经经过优化的层级式ViT，VCA同样能带来稳定的性能提升，最高提升了 3.1 个百分点（在PVT-Tiny上）。

CV君认为，这个结果说明VCA的“对比”机制确实抓住了图像识别的关键，而且它的普适性很好，能给各种ViT架构带来增益。