LeCun在Meta的「最后一作」

---

  新智元报道  

11月11日，Meta首席AI科学家Yann LeCun在arXiv上提交了他与Randall Balestriero合作的一篇新论文。

前Stability AI研究负责人Tanishq Mathew Abraham，在X平台上推荐了这篇论文，并调侃说这可能是LeCun在Meta发表的最后一篇论文之一。

因为就在这篇论文提交的同一天，媒体也曝出了LeCun即将在未来几个月离开Meta创业的消息。

Abraham评论道，这是一篇很有意思的论文。

它提出了一种新框架LeJEPA，可以解决当前JEPA方法中所存在的多种失效模式，仅需约50行代码即可实现。

论文地址：https://arxiv.org/pdf/2511.08544

对于LeCun这篇论文也颇具特殊意义——

既是为他在Meta FAIR实验室十多年的研究工作划下句点，同时也向外界传递出他下一步创业的新方向。

有网友评论这意味着LeCun回归初心，追求以优雅的力量取代大模型的暴力扩展。

联合嵌入预测架构（Joint-Embedding Predictive Architectures，JEPAs），由于缺乏明确的实践指南和系统理论，目前相关研究大多是临时性探索。

论文给出了一套完整的JEPA理论，并将其具体落地为LeJEPA，这是一种轻量、可扩展且有坚实理论基础的训练目标。

研究人员证明，若要最小化下游任务的预测风险，JEPA的嵌入理想情况下应服从各向同性高斯分布。

为此，他们提出一个新的目标函数Sketched Isotropic Gaussian Regularization（SIGReg，随机草图各向同性高斯正则化），用于约束嵌入向该理想分布收敛。

LeJEPA融合了JEPA和SIGReg思想，兼具多方面的理论和实践优势：

• 只需要一个权衡超参数；

• 时间与内存复杂度均为线性；

• 在超参数、架构（ResNet、ViT、ConvNet）以及不同领域之间表现稳定；

• 不依赖启发式技巧，以及适合分布式训练的实现，仅需约50行代码。

如图1所示，在使用ImageNet-1K进行预训练并对冻结骨干网络做线性评估的设定下，LeJEPA在ViT-H/14上可达到79%的精度。

在AI领域，一个长期存在的核心问题，是让模型学会对世界及其变化形成可用于实际决策和动作的表征（可操作表征）。

无论是图像识别、机器人，还是物理学、太空探索，都会面临一个共同的问题：

这里的「高维嵌入空间」，是指所有对象都被映射成高维向量，这些向量所在的数学空间。

使用深度网络（参数化为非线性算子𝑓𝜽）将观测映射到嵌入，是破解这道难题的标准第一步。

第二步，也是目前尚未标准化的部分，是如何训练𝑓𝜽。

JEPAs提出一种路径：通过最大化语义相关视图的嵌入之间的一致性预测来训练𝑓𝜽。

这里的「视图」可以以两种形式出现：变换或扰动。

它们可以包括掩码、裁剪、模糊、时间或空间平移、几何或光照变换、视角变化、来自不同传感器模态的视图等操作。

有监督形式下，则会引入人工构造的配对，例如图像–文本对、文本–代码对等。

无论采用哪种形式，这些视图都被假定在语义上存在一定关联，从而让预测任务能够将𝑓𝜽的嵌入对齐到数据中潜在的知识结构上。

然而，JEPA的预测任务存在一些失败模式，例如表征崩溃：𝑓𝜽将所有输入映射到几乎相同的嵌入（完全崩溃），或者只落在一个低维子空间上（维度崩溃）。

而有关JEPAs的理论基础研究在很大程度上仍处于空白状态，研究人员通过重新审视支撑JEPAs的若干基础设计原则来打破这一循环。

这种审视首先源于一个问题：JEPAs至少应该满足哪些必要条件？由此，研究人员提炼出一种全新且精简的JEPA「原则」：

研究人员证明，为了在任意下游任务上最小化经验风险，Enc(𝒙) 应该服从各向同性高斯分布。

研究人员首先通过分析线性探针（linear probe）来确定𝑓𝜽的嵌入的最优分布，这是评估冻结编码器时最常用的方法之一。

为了对预训练编码器𝑓𝜽进行更灵活的评估，研究人员还分析了两类广泛使用的非线性方法：

一种是基于半径的k-NN方法，该方法因其简单性而经常被采用；另一种是核方法，因其良好的理论可解析性而常用。

上图展示了各向异性嵌入如何比各向同性嵌入产生更高的方差估计值（左图）。

研究人员对二分类任务抽取了100个训练点，并拟合逻辑回归模型——在多个训练集样本上重复此过程。每次抽样都会产生一个决策边界（紫色）。

在证明各向同性高斯分布是最优嵌入分布之后，研究人员引入了SIGReg。

这是一个同时具有可微性、可扩展性、理论可证明性以及可解释性的分布匹配目标函数。

它建立在三个关键创新之上。

首先，研究人员将分布匹配表述为在原假设𝑃𝜽=𝑄下的统计假设检验；

其次，构造了一类检验，在保持线性复杂度和高效多GPU扩展的同时，保证梯度和曲率均有界。

第三，SIGReg避免了维度灾难，从而彻底消除了退化的捷径解（collapsed shortcut solutions）。

图4展示了具有不同Sobolev平滑系数α的球面上分布示例。

由于目标密度（各向同性高斯分布）是平滑的，嵌入的α系数会迅速增长，从而使SIGReg不受维度灾难的影响。

研究人员证明，SIGReg绘制Epps-Pulley测试图是稳定且可扩展的。

图5显示了构建的数据密度图。其「X」分布的边缘分布为标准高斯分布，协方差为单位矩阵（左侧密度图）。

图6展示了从一个1024维标准高斯分布中抽取100个样本（N=100），并改变前两个坐标以生成图5（最左列）中的「X」分布。

对于每个统计量（所有其他列），研究人员对样本执行梯度下降以最小化其值，在每次迭代步骤中，使用10个随机方向的样本（M=10）来评估SIGReg。

结果表明，尽管这是一个高维分布且样本数量有限，但SIGReg能够捕获退化子空间并相应地调整数据以匹配各向同性高斯分布。

在确定各向同性高斯分布是基础模型的最佳嵌入分布，并引入SIGReg来实现该分布之后，研究人员推出了完整的LeJEPA框架，并通过全面的实验来验证其有效性。

图9展示了使用LeJEPA开箱即用的ImageNet-10预训练和冻结骨干网络线性评估方法在timm模型上的应用。

研究人员对学习率和权重衰减进行了交叉验证。

虽然最佳模型和最差模型之间存在细微差异，但在涵盖8个模型系列的50个模型中，LeJEPA能够生成非平凡的表示，从而以SOTA水平解决下游任务。

跨架构稳定性，LeJEPA是关键优势之一。

大多数现代自监督学习方法都针对Vision Transformer进行了优化，而LeJEPA无需修改，即可在各种不同的架构系列中运行。

为了验证这一结论，研究人员使用ImageNet-10数据集预训练了来自8个不同架构系列的约50个模型，这些模型均来自timm库，且参数量均小于2000万。

所有模型均能学习到高质量的表征，在冻结骨干线性探测的情况下，Top-1准确率达到了91.5%到95%。

结果表明，在监督学习环境中表现良好的模型，例如ResNet和Vision Transformer，也同样适用于LeJEPA。

自监督学习的一个关键优势在于学习能够跨任务和领域泛化的通用表征。

然而，当前前沿的基础模型（如DINOv2/v3、I-JEPA）都是在自然图像上进行预训练的，这迫使特定领域的从业者需要收集大量的标签来进行监督式微调。

事实上，大多数前沿模型无法直接在这些领域进行训练，因为样本数量可能很少，而且重新搜索超参数会非常耗时。

图12展示了使用冻结骨干网络或完全微调（列）以及不同类别样本数（x轴）的LeJEPA在小型架构（Galaxy10）上的域内预训练，并结合线性探针评估。

研究人员将其与最先进的基础模型（DINOv2/v3、I-JEPA）在3个不同的随机种子上进行了比较。

结果表明，LeJEPA能够开箱即用地在不同架构上进行域内预训练，并且性能优于目前最先进的基础模型。

图13展示了基于最后一层阈值的涌现式目标分割，LeJEPA无需显式监督即可自然地学习分割和跟踪显著目标（如每个视频右侧的注意力图所示）。

图14展示了LeJEPA通过自监督学习习得丰富的语义表征。

在没有任何监督的情况下，LeJEPA自发地构建出语义丰富的表征：暖色（红色/品红色/粉色）始终用于表示前景物体（鹦鹉的身体、狗的脸），而冷色（青色/绿色/黄色）则用于表示背景和树叶。

这种涌现的物体-背景分离和感知分组，完全基于未标记的数据，揭示了世界的视觉结构。

研究人员在多个领域、超过60种架构上验证了LeJEPA，其中包括参数规模高达18亿的巨型模型版本。

结果证明，尽管其核心设计非常简单，LeJEPA的核心实现代码不足50行，但仍能够达到当前最先进方法的性能，该方法填补了长期以来在自监督学习理论基础研究领域的空白。

Yann LeCun

Yann LeCun是法国计算机科学家、深度学习先驱，纽约大学终身教授，曾任Meta首席人工智能科学家。

他于20世纪90年代提出并工程化了卷积神经网络（LeNet），推动了深度学习在图像识别等领域的实际落地，因此与Geoffrey Hinton、Yoshua Bengio一同被称为「深度学习三巨头」。

2018年，他因在神经网络与深度学习方面的开创性贡献获得图灵奖。

近年来，LeCun主要关注自监督学习、世界模型和能量基模型等方向，对当前大模型通往AGI的前景持审慎甚至批评态度，同时强烈支持开源与开放科研。

https://x.com/iScienceLuvr/status/1988560605133812119?s=20