ToolsAi

CV君 2025-11-18 15:20 江苏

大道至简，LeJEPA能否引领自监督学习新浪潮？

大家好，今天想和大家聊一篇非常有趣的新工作，来自图灵奖得主Yann LeCun和他在Meta-FAIR及布朗大学的同事Randall Balestriero。这篇名为《LeJEPA》的论文，可以说是给当前的自监督学习（Self-Supervised Learning, SSL）领域带来了一股清流。

熟悉SSL的朋友们可能都有过被各种“祖传炼丹术”支配的恐惧：复杂的教师-学生网络、动量编码器、精心设计的负样本对、梯度停止（stop-gradient）等等。这些启发式技巧虽然在实践中有效，但往往缺乏坚实的理论支撑，让整个训练过程像是在“开盲盒”。而LeJEPA的目标，就是用坚实的理论和极简的设计，彻底告别这些“玄学”。

论文标题: LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics
作者: Randall Balestriero (布朗大学, Meta-FAIR), Yann LeCun (纽约大学, Meta-FAIR)
论文地址: https://arxiv.org/pdf/2511.08544v3
代码仓库: https://github.com/rbalestr-lab/lejepa

研究背景：JEPA与自监督学习的“痛点”

自监督学习的核心思想是让模型从数据自身中学习有用的表示（representation），而无需昂贵的人工标注。近年来，联合嵌入预测架构（Joint-Embedding Predictive Architectures, JEPA）成为一个很有前景的方向。它的理念很简单：在抽象的嵌入空间中，通过一个部分的上下文信息（context），去预测另一个部分的信息。

然而，JEPA框架有一个致命的“捷径”——表示坍塌（representation collapse）。模型可能会学到一个最简单的“躺平”策略，比如把所有输入都映射到同一个点或一个低维子空间上。为了避免这种情况，研究者们发明了各种复杂的技巧，比如对比学习（需要大量负样本）、知识蒸馏（需要非对称的教师-学生网络和动量更新）等。这些方法虽然有效，但也带来了超参数复杂、训练不稳定、实现繁琐等一系列新问题。

LeJEPA正是为了解决这些痛点而生。论文标题中的“Le”代表“Lean”，意为“精简”，其核心贡献就是为JEPA提供了一个坚实的理论基础，并在此基础上设计了一个极其简洁、可扩展且高效的训练目标。

LeJEPA的核心原理：理论与方法的双重突破

LeJEPA的优雅之处在于它从两个根本性问题出发，给出了漂亮的理论解答和工程实现。

理论突破：为什么是各向同性高斯分布？

第一个问题是：一个理想的、可用于各种下游任务的特征嵌入，应该服从什么样的分布？

论文通过严谨的数学推导（覆盖了线性和非线性下游任务），得出了一个惊人的结论：各向同性高斯分布（isotropic Gaussian distribution）是唯一的“最优解”。

简单来说，一个“各向同性”的分布意味着特征在所有方向上都是均匀的，没有特定的偏好。这使得模型学习到的表示具有最大的灵活性和最小的偏差，从而在面对未知的下游任务时，能表现出最低的“最坏情况风险”。

上图直观地展示了各向同性（左）与各向异性（右）嵌入在分类任务中的区别。在多次采样训练后，各向同性嵌入得到的决策边界（紫色线）更加稳定，方差更小。

这个理论发现为自监督学习提供了一个清晰的优化目标：我们不仅要让模型做出准确的预测，还要约束它产生的特征嵌入尽可能地接近一个标准的各向同性高斯分布。

方法创新：SIGReg——优雅实现分布匹配

第二个问题是：如何在高维空间中，高效、可靠地约束嵌入向量去匹配一个目标分布（比如各向同性高斯分布）？

直接在高维空间计算两个分布的差异是非常困难且计算昂贵的，这就是所谓的“维度灾难”。为了解决这个问题，论文提出了一种名为“速写各向同性高斯正则化”（Sketched Isotropic Gaussian Regularization, SIGReg）的全新目标函数。

SIGReg的思路非常巧妙，它借鉴了Cramér-Wold定理的思想：如果两个高维分布在所有一维投影上的分布都相同，那么这两个高维分布本身就是相同的。SIGReg正是利用了这一点：

速写（Sketching）：在每次训练迭代中，随机生成若干个（比如几百个）1D投影方向。
投影（Projection）：将一批高维的嵌入向量，分别投影到这些1D方向上，得到若干组一维数据。
匹配（Matching）：使用一个高效的统计检验方法（论文推荐了稳定且可微的Epps-Pulley检验），来计算这些一维数据与标准高斯分布之间的差异。
正则化（Regularization）：将这个差异作为正则化项加入到总损失中，从而“督促”编码器生成的嵌入分布向各向同性高斯分布看齐。

SIGReg工作原理示意图：将编码器（）产生的高维嵌入（中）投影到多个1D方向上（中，箭头），然后约束这些1D投影的分布（右，彩色线）去匹配标准高斯分布的1D投影（右，黑线）。

最终，LeJEPA的总损失函数非常简洁：

其中，是JEPA的预测损失，是SIGReg正则化项，而是唯一的权衡超参数。整个实现（除了模型和数据加载器）仅需约50行PyTorch代码，并且完全抛弃了stop-gradient、教师网络、动量编码器等所有启发式组件。

LeJEPA核心实现代码，可见其极致的简洁性。

实验结果：大道至简，性能不减

LeJEPA的简洁设计是否以牺牲性能为代价？实验结果给出了否定的答案。论文在超过10个数据集、60多种模型架构上进行了广泛验证，结果令人印象深刻。

训练稳定且损失函数具有指导意义

一个非常亮眼的发现是，LeJEPA的训练损失与下游任务的性能表现出了高达99%的斯皮尔曼相关性。这意味着训练损失越低，模型学到的表示质量就越好。这在以往的JEPA方法中是罕见的，它为无标签的模型选择和超参数调优提供了极其宝贵的信号，让我们终于可以摆脱“边训练边跑下游任务验证”的繁琐流程。

LeJEPA训练损失（经过简单缩放后）与下游任务准确率的Spearman相关性（y轴）可以达到接近99%，表明训练损失是模型质量的可靠指标。

性能强大，扩展性好

LeJEPA不仅稳定，性能也非常能打。例如，在ImageNet-1k上预训练后进行线性评估，一个ViT-H/14模型可以达到79%的Top-1准确率。

更值得关注的是它在特定领域的表现。论文在一个名为Galaxy10的天文图像数据集上进行了实验，结果表明，使用LeJEPA进行领域内预训练的效果，显著优于使用在海量自然图像上预训练的DINOv2/v3等前沿“基础模型”进行迁移学习。这证明了当SSL框架足够简洁易用时，针对特定领域从头开始预训练是一个比通用模型迁移更优的选择。

在Galaxy10数据集上，使用LeJEPA进行领域内预训练（彩色线条）在不同数据量下均优于强大的DINOv2/v3迁移学习（灰色线条）。