原创 让你更懂AI的 2025-09-28 13:35 北京
复现门槛=零
还在为表征学习只看见“表面信息”而头疼吗？在电商、搜索、检索等实际场景中，我们往往需要的不仅仅是“这是大象”，而是包括环境、颜色、材质、场合在内的多维信息。
但传统方法往往只能给出单一标签。本文提出的条件表征学习（CRL），只需一次简单的矩阵投影，就能让模型快速对齐指定准则，生成更有解释力的表征。更关键的是——几乎零训练成本，复现难度低到“我奶奶都能跑”。
这项工作以“Conditional Representation Learning for Customized Tasks”为题，被正式录用为 NeurIPS 2025 Spotlight。
背景
一张图片包含的信息是多维的。例如下面的图 1，我们至少可以得到三个层面的信息：主体是大象，数量有两头，环境是热带稀树草原（savanna）。
然而，如果由传统的表征学习方法来处理这张图片，比方说就将其送入一个在 ImageNet 上训练好的 ResNet 或者 Vision Transformer，往往得到的表征只会体现其主体信息，也就是会简单地将该图片归为大象这一类别。这显然是不合理的。
▲ 图1：传统表征学习（上）与条件表征学习（下）的比较。传统的表征学习方法只能学习到一种通用的表征，忽略了其他有意义的信息；文章提出的条件表征学习能够基于指定准则，得到该准则下表现力更强的条件表征，适应多种下游任务。
此外，在各大电商平台，用户通常根据不同的标准（例如颜色、材质或场合）搜索商品。例如，用户今天可能搜索“红色连衣裙”，明天搜索“正装”，后天搜索某个全新的关键词。这对于拥有庞大规模商品的平台来说，手动打标签是不现实的，而传统的表征学习也仅仅只能获取到“连衣裙”这个层面的信息。
要获取图片中除了“大象”、“连衣裙”之外的信息，一个很容易想到的方法就是进行针对性的有监督训练：基于不同的准则比如环境，进行额外的标注，再从头训练或者基于已有表征训练一个额外的线性层。
但是基于这种方式，显然是“治标不治本”的。因为一旦有了新的需求，便又需要进行针对性的数据收集、标注和训练，需要付出大量的时间和人力成本。
很幸运的，我们处在多模态大模型的时代，这个在以前可能会很困难的问题在今天是有很多解法的。我们可以直接通过询问 LLaVA，它便会告诉我们图片在指定准则下的信息。
但这种方式也还不够高效，至少在 2025 年的今天，多模态大模型的使用成本还是需要考虑的。如果需要处理 ImageNet 之类的大规模数据集或者电商平台繁杂的商品，得到其在指定准则下的信息，这个开销就比较大了。所以对大多数人来说，现如今要获取图片的多维信息，还是需要找到一个更加高效的方法。
方法
我们知道，对于三维直角坐标系，一组基，比如 [(1, 0, 0), (0, 1, 0), (0, 0, 1)]，其线性组合即可构建出该坐标系中的任何向量。类似的，对于颜色体系，只需要“红”、“绿”、“蓝”三原色即可调出所有的颜色。
受此启发，我们想到，是否对于任意一个给定的准则，也存在着一个对应的“概念空间”及其基？如果能在这个空间中找到一组基，那么我们只需要将原始表征投影到该空间上，理论上就能获得在该准则下更具表现力和判别性的特征。
找到给定准则对应的基，这听起来有些困难。但没关系，我们不需要很准确地找到，只需要接近它就好。
基于这个想法，论文提出了一种即插即用的条件表征学习方法。如图 2 所示，给定准则（例如“颜色”），CRL 首先让大语言模型 LLM 生成该准则相关的描述文本（例如“红色”，“蓝色”和“绿色”等）。
随后，CRL 将由 VLM 得到的通用图片表征，投影到由描述文本张成的空间中，得到该准则下的条件表征。该表征在指定的准则下表达更充分，并且具有更优的可解释性，能有效适应下游定制化任务。
▲ 图2：所提出的条件表征学习（CRL）的总体框架。图中以通用表征空间（准则为隐式的“形状”）转换到“颜色”准则空间为例。
直白地说，只需要将对齐的图片和文本表征，做个矩阵乘法就好了，甚至不需要训练。复现难度约等于——
实验
分类和检索任务是衡量表征学习性能的两个经典下游任务。论文在两个分类任务（少样本分类、聚类）和两个检索任务（相似度检索、服装检索）上进行了充分的实验验证，部分实验结果如下：
▲ 图3：分类任务
▲ 表1：所提出的 CRL 在少样本分类任务上的性能
▲ 表2：所提出的 CRL 在聚类任务上的性能
▲ 图4：相似度检索任务。上为 “Focus on an object”（Focus），下为 “Change an Object”（Change）。
▲ 表3：所提出的 CRL 在相似度检索任务上的性能
▲ 图5：服装检索任务
▲ 表4：所提出的 CRL 在服装检索任务上的性能。
从上述结果中可以看出，CRL 可以作为一个即插即用的模块，与现有多模态方法相结合，在不同准则下，其得到的条件表征在下游任务中都取得了比原表征更加优异的表现，性能甚至超过了对应领域的专用方法。更多实验可参见论文。
总结
与传统的表征学习只得到单一的通用表征不同，本文提出了条件表征学习，通过获取指定准则下的文本基，并将图像表征投影到该文本基张成的空间中，即可得到该准则下表现力更强的条件表征，以更好地适应各种下游任务。
更多阅读
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
·