从表征预测到生成模型：2020—2026 自监督学习综述

2020 年以来，自监督学习（self-supervised learning，SSL）的中心问题发生了变化。早期工作集中于样本对、负样本和数据增强；随后，掩码建模把竞争焦点转向预测目标：原始像素、离散伪标签、教师特征和潜在状态分别保留不同粒度的信息。模型规模继续增长后，数据整理、教师来源、密集特征质量和评测协议又成为与目标函数同等重要的变量。本文以图像为主线，考察这些机制如何迁移到视频与音频，再比较文本领域的 encoder 表征学习、自回归大语言模型和 diffusion 文本模型。本文的核心判断是：跨模态进展主要来自对“什么信息应当可预测”的重新定义，而不是某一种损失统一取代其余路线。训练接口同样改变因果归因：冻结预训练表征能提供稳定目标、降低第二阶段成本并保留模块接口，却把信息上限和上游成本带入新系统；迭代目标、EMA 教师、局部解冻与受约束联合训练尝试恢复可塑性，也重新引入目标漂移、坍塌、多损失冲突或完整预训练成本。视频的时间顺序、音频的多粒度结构，以及文本经 tokenizer 得到的离散序列进一步改变了这些交换。到 2026 年中，潜表征预测已扩展到图像、视频和音频，跨模态系统在空间、接口或参数层部分统一，文本 AR 与 diffusion 则形成 checkpoint 转换、块式解码、固定连续流形和表征共演化等混合方案。严格等资源比较、全管线资产核算、监督来源审计和跨域外推仍是主要证据缺口。

1. 研究问题#

自监督学习从原始数据构造训练目标，不依赖下游任务的人工类别标签。这个定义很宽：图像模型可以判断两个裁剪是否来自同一张图，语音模型可以预测被遮挡片段的聚类编号，语言模型也可以用前文预测下一个 token。它们都从数据本身产生监督，却学习不同对象。

本文回答一个具体问题：2020—2026 年间，SSL 的学习信号和表征更新权限如何共同决定可迁移表示，它们从图像迁移到视频、音频和文本时发生了哪些变化，又如何与自回归 LLM 和 diffusion 文本模型汇合？

现有文献支持一个较稳定的解释。SSL 的关键设计量是目标中保留的信息，而“有没有人工标签”只描述了数据来源的一部分。对比学习用视图关系定义不变性；重建方法要求模型保存输入细节；离散伪标签规定可预测单位；教师特征和 JEPA 类目标把学习集中到上下文化潜变量；AR 与 diffusion 则进一步定义完整生成分布。另一个独立问题是目标能否反向改写产生它的表征空间：永久冻结、分阶段更新、EMA 共演化和全量联合训练给出不同的稳定性—可塑性交换。模态差异决定这些选择的后果：颜色变化对图像可能安全，播放方向对视频往往不安全；语音内容、说话人和音乐音高需要不同时间粒度；文本已有离散符号和明确顺序，因而能直接写出链式似然。

2. 范围与方法#

本文采用时间线覆盖、近三年加权的叙述性综述。检索窗口为 2020 年 1 月至 2026 年 7 月 11 日。2020—2023 年工作用于建立范式转折，2024—2026 年工作用于判断当前共识、争议与融合方向。检索优先使用 Hugging Face Papers 的论文搜索与可读全文，再以论文首页、正式 proceedings、OpenReview 或官方研究页面核对年份、状态和机构。核心工作需要方法与评价层面的全文证据；只有摘要的条目不承担强结论。

纳入范围包括图像、视频、语音与通用音频、文本的通用表征或生成式预训练，以及能改变跨模态 SSL 解释的代表性系统。对冻结表征路线，只有在新增模块继续使用无标签数据上的预测、重建、去噪或跨模态目标时才纳入；普通冻结 probe 和只使用下游标签的 adapter 不属于这条线。2025—2026 年的不少结果仍是预印本，本文把它们视为前沿证据，不把作者报告的领先结果写成稳定共识。本文也不声称穷尽全部论文或执行了系统综述协议。

加入表征解耦的定向检索后，各检索包累计约 170 个条目，其中包含 data2vec、MJEPA 等跨领域重复项；这个数字描述检索广度，不是去重后的精确论文数。正文使用 105 项能承担机制、转折、反例或评价边界的工作，其余文献保留在 workspace 的 field-map 与背景层。

既有综述提供了四个互补坐标。爱丁堡大学与南洋理工大学团队的 Self-Supervised Representation Learning: Introduction, Advances and Challenges(2022) 主要反映约截至 2021 年的判别式跨模态表征学习，并明确不以生成模型为核心。University of Central Florida CRCV 的 Self-Supervised Learning for Videos: A Survey(2023) 深入整理视频 pretext、生成、对比与跨模态一致性，核心语料保守定位在 2022 年中前后。Meta、National Taiwan University、Corti AI/University of Copenhagen 等机构组成的 Self-supervised Speech Representation Learning: A Review(2022) 系统覆盖语音生成式、对比式与预测式目标。MBZUAI VILA Lab 与清华大学的 A Survey on Diffusion Language Models(2025) 则在文本扩散内部组织连续、离散和 AR—diffusion 混合路线。本文以“监督输出 × 生成合同 × 表征更新权限 × 模态约束 × 监督来源”为跨域镜头，延伸到 2026 年 7 月；二级综述只用于定位和查漏，方法性结论仍回到原论文。

3. 一套跨模态解释框架#

3.1 狭义与广义 SSL#

机器学习社区常把 SSL 窄化为“预训练 encoder，再迁移到下游任务”。在这个狭义口径下，表示的线性探测、冻结迁移和低标注微调是主要证据。广义 SSL 则包括从原始序列产生目标的生成模型。decoder-only LLM 的 next-token 标签来自文本自身，因此训练方式属于广义 SSL；它与经典 encoder SSL 的差异在学习对象和使用方式，而非标签来源。

这个区分能避免两个常见混淆。生成模型可以产生连贯样本，却未必给出最好的冻结特征；encoder 能在分类与检索中迁移，也不一定定义有效的自由生成过程。两类证据需要分别报告。

3.2 预测目标决定信息取舍#

目标对象与生成合同是两个坐标。第一个问题是：损失函数直接监督什么输出？

目标对象	训练关系	主要收益	典型风险
视图级 embedding 关系或原型分配分布	对齐同一样本的两种视图，或预测另一视图的 prototype distribution	学得增广不变性，适合检索与分类	人为增广会删除任务信息；负样本或原型均衡会改变语义粒度
原始输入重建	从少量可见 token 恢复像素、谱图或文本	目标无需外部 tokenizer，易扩展	可能把容量花在低层细节；强微调掩盖冻结特征质量
内容离散码或聚类标签	预测 patch、帧或 token 位置上的量化单位与伪标签	控制局部内容粒度，便于分类式训练	tokenizer 与教师把自己的监督和偏差带入模型
连续教师或潜表征	从遮挡上下文预测 EMA 教师的上下文化特征	忽略难以预测的表面噪声，不需固定词表	目标归一化、mask 几何与防坍塌机制成为隐式监督

原型分配监督的是视图级分布，内容离散码监督的是具体位置的内容单位；iBOT 等组合方法可以同时占两类。这个坐标用于判断实验的直接学习信号与信息取舍，允许多重归属。

3.3 表征条件目标与生成概率合同#

第二个坐标描述模型是否定义可采样的联合分布。这里的“生成合同”指训练目标允许模型怎样计算概率、评价序列和从初始状态采样，不是软件接口。encoder SSL 通常只学习条件表征或局部恢复目标；AR 通过固定顺序的链式分解定义联合分布；diffusion 指定前向破坏过程和反向恢复过程，也能从高噪声状态采样。AR 仍在预测离散 next token，masked diffusion 也常预测离散 clean token，因此它们可以同时属于“离散目标”和“完整生成合同”。文本小节按这个概率坐标比较 AR 与 diffusion。

3.4 表征更新权限决定稳定性与可塑性#

第三个坐标追踪第二阶段损失能否改变产生目标或输入特征的表示器。永久冻结把预训练 encoder、tokenizer 或 autoencoder 变成稳定接口；分阶段方法在一轮内固定目标、在轮次之间重建目标；EMA teacher 以较慢时间尺度跟随 student；局部解冻和联合训练则允许梯度直接改变表示参数。它们可以使用相同的 mask 或去噪目标，却具有不同的能力来源与成本。

冻结首先解决三个实际难题：它避免表示器与 predictor 同时移动造成的坍塌或损失冲突，复用稀缺模态之外已经昂贵学习到的语义，并把大模型的反向传播从第二阶段移除。相应代价是条件上限：新增模块只能利用固定特征中仍存在的信息，也无法把新模态结构反向写入 encoder。本文把这类方法称为表征解耦的第二阶段 SSL，并以稳定性、语义或可解码性、全管线成本和模块接口四项检验后续补救是否保留了冻结的原始收益。

3.5 无标签训练仍包含设计监督#

“无人工类别标签”没有消除监督来源。图像增强规定哪些变化应被忽略；自然同步的音频和视频提供共现关系；网页 caption 带入人类语义；外部分割器、跟踪器或音频教师生成的伪标签继承上游模型的训练数据与错误；EMA 教师则是学习器自身的动态目标。本文在跨模态比较中把这些来源分开，因为它们支持的结论强度不同。

4. 模态约束下的目标迁移#

下面四节是同一个综合块：每一节都考察相同的目标家族在一种数据结构中保留什么、丢失什么。图像提供空间主线；视频加入时间与行动；音频加入多时间尺度和领域结构；文本经 tokenizer 得到离散序列，并进一步引出生成概率合同。

4.1 图像 SSL：从实例不变性到目标空间#

本节按问题递进：先解释防坍塌与不变性，再比较遮挡后的预测目标，最后讨论规模化带来的数据和 dense/global 冲突。

4.1.1 负样本退居次要，防坍塌问题保留#

Google Brain 的 SimCLR(2020) 用同一图像的两种强增广构造正对，用批内其他图像构造负对。它清楚展示了增广组合、投影头、大批量和长训练对结果的影响，也暴露出实例判别的边界：语义相同的不同图像可能被当作负样本，模型学到的等价类取决于增广设计。

DeepMind 的 BYOL(2020) 去掉显式负样本，让 online 网络预测另一视图经 EMA target 网络得到的表征。Inria 与 Facebook AI Research 的 SwAV(2020) 改为交换预测在线原型分配。Facebook AI Research 的 DINO(2021) 又把多裁剪、EMA 教师和温度化分布对齐结合起来，并在 ViT 注意力中观察到对象边界。

后续工作把防坍塌机制进一步拆开。Facebook AI Research 的 SimSiam(2021) 只保留 predictor、stop-gradient 和两分支非对称性，不使用负样本或 momentum encoder。Facebook AI Research 与 NYU 的 Barlow Twins(2021) 把两视图表征的互相关矩阵推向单位阵，同时学习不变性并减少维度冗余。Facebook AI Research、Inria 与 NYU 的 VICReg(2022) 又把目标显式拆成 invariance、variance floor 和 covariance decorrelation。三者说明，负样本、EMA、stop-gradient 和统计正则是不同的稳定化路径，没有一种方案免除了视图增广和 projector 的归纳偏置。

Facebook AI Research 的 MoCo v3(2021) 还记录了 ViT SSL 训练中的隐性退化：最终 loss 看似正常，部分网络却已失稳，固定随机 patch projection 能缓解问题。这个负面结果提醒我们，单次最优准确率不足以说明训练机制稳定。

这些结果共同收窄了对比学习的定义。显式负样本并非必要条件；稳定的非对称目标、stop-gradient、centering、sharpening 或原型均衡仍在阻止表示坍塌。研究问题由“如何采负样本”转向“如何定义有用的不变性并维持非退化目标”。注意力图出现对象结构是有价值的诊断，但不能替代密集分割、几何对应或跨域评测。

4.1.2 掩码建模的分歧在预测对象#

Microsoft Research 与哈尔滨工业大学的 BEiT(2021) 先把图像量化为离散视觉 token，再预测被遮挡位置的 token。Facebook AI Research 的 MAE(2022) 采用更直接的路线：encoder 只处理约四分之一的可见 patch，轻量 decoder 重建像素。ByteDance 等团队的 iBOT(2022) 用在线教师同时提供 patch 与全局目标，避免独立训练视觉 tokenizer。Meta AI 的 I-JEPA(2023) 则预测目标块的 EMA 潜表征，不生成像素。

Microsoft Research Asia 的 SimMIM(2022) 用线性 head 直接回归 RGB，证明复杂 decoder 或离散 tokenizer 不是像素 MIM 的必要条件。北京大学、香港大学、UC Berkeley 与百度的 CAE(2022) 先在 encoded space 预测遮挡区域的 latent，再由 decoder 重建像素，把“表征预测”和“可观察重建”分成两层。MIT CSAIL、University of Maryland 与 Google Research 的 MAGE(2023) 使用离散 token 和可变 mask ratio，让较低遮挡服务表征、较高遮挡服务生成；同一骨架可以兼顾两种合同，具体能力仍由 mask schedule 和附加对比项分工。

四条路线都遮挡输入，学习内容却不同。像素重建要求模型保留颜色、纹理和局部统计；离散 tokenizer 把预测空间压缩到码本；在线教师让目标随学习过程变化；JEPA 允许 target encoder 把难以预测的表面细节消解掉。“masked image modeling”规定了输入 corruption；完整机制分类还需要说明预测目标。

公平比较也比排行榜复杂。MAE 的代表性结果大量依赖全量微调，DINO 和 JEPA 更常强调冻结 probe；BEiT 与 iBOT 还引入不同来源的 tokenizer 或教师。目标优劣需要在相同数据、骨干、训练 FLOPs、mask 和下游协议下检验，目前跨论文证据不足以给出单一胜者。

Apple 的 AIM(2024) 提供了另一种边界：模型按固定 patch 顺序自回归预测归一化像素，目标简单且规模曲线清楚，但同尺寸下表征弱于强对比模型，也需要更多数据。纯视觉自回归因此能产生 encoder，却没有自动消除表面细节与语义迁移之间的张力。

4.1.3 规模化把问题推向数据与局部结构#

Meta AI 的 DINOv2(2024) 把 DINO 与 iBOT 类目标、数据检索去重与重平衡、知识蒸馏组合起来，在其分类、深度、分割和跟踪等冻结评测套件中展示广泛迁移。它也说明，大模型收益无法只归因于损失函数：数据整理与训练工程已成为方法本身。其网页图像池与筛选过程不能完整复现，论文还报告了地区和收入分组的性能差距，因此无监督训练没有消除数据选择带来的不均衡。

Meta AI Research 的 DINOv3(2025) 报告长时间训练会让 patch 级密集特征退化，于是固定一个较早模型，把它的 patch 两两相似度 Gram matrix 作为锚，约束后期模型保留局部特征关系。这个结果与视频领域后来的 dense predictive loss 指向同一瓶颈：全局语义继续改善时，局部对应关系可能变差。两个不同系统都来自 Meta/FAIR 相关团队，当前仍缺少跨团队、公开数据与中等规模模型上的复现。

University of Adelaide、Tongji University 与 ByteDance AI Lab 的 DenseCL(2021) 已较早在全局 MoCo 目标外加入局部 correspondence，直接指出 ImageNet 分类与检测、分割之间的目标错位。Prescient Design/Genentech 与 NAVER AI Lab 的 What Do Self-Supervised Vision Transformers Learn?(2023) 进一步发现，对比式 ViT 更偏全局形状和线性可分性，MIM 更偏局部结构并随规模获益。dense/global 冲突的证据链由此跨越 2021—2026 年。

4.2 视频 SSL：时间结构改变了安全不变性#

本节从时间不变性的风险进入 mask 与目标设计，再考察行动条件预测、图像先验和评价协议；这些小节是递进问题，不是互斥方法类别。

4.2.1 从时间不变到时间可辨#

Google Research 的 CVRL(2021) 把图像对比学习迁移到视频时，对空间增广保持跨帧一致，并限制正对 clip 的时间距离。这个细节很关键：同一长视频中的远距离片段可能属于不同事件。将它们强制对齐会把语义变化当成噪声。

UC Berkeley 与 University of Michigan 的 CRW(2020) 选择了另一种学习单位：帧内 patch 是节点，相邻帧相似度是边，模型沿正放再倒放的视频路径做随机游走并返回起点。它以 cycle consistency 学 dense correspondence，不依赖动作类别。CRW 与 CVRL 分别代表局部对应和全局 clip 不变性，二者不能由同一动作分类指标充分评价。

视频任务还关心方向、速度、对象交互和事件顺序。对所有时间扰动保持不变，会删掉这些变量。视频 SSL 因此逐渐从“识别同一个视频”转向“预测时间变化”：短片段预测长上下文、遮挡 tube 重建、潜在未来状态预测和轨迹预测分别保留不同的时间信息。

4.2.2 高遮挡率利用冗余，目标仍决定运动质量#

Facebook AI Research 的 MaskFeat(2022) 遮挡时空 token 后预测 HOG 特征，说明人工设计的中层目标也能有效。南京大学等团队的 VideoMAE(2022) 使用沿时间一致的 tube mask 和 90% 以上遮挡率重建像素。视频的空间与时间冗余使极稀疏编码可行。南京大学与上海 AI 实验室的 VideoMAE V2(2023) 再对 decoder 目标做稀疏采样，把路线扩展到十亿参数模型。

Meta AI/FAIR 的 MAE-ST(2022) 在同期实验中发现，随机时空 patch mask 可以优于 tube mask。两项工作都利用高冗余，却对最合适的 mask geometry 给出不同答案。复旦大学与 Microsoft Cloud + AI 的 MVD(2023) 又让 masked student 分别预测图像和视频 teacher 特征：图像教师偏空间任务，视频教师偏时间任务。目标来源因此会把能力偏置直接传给 student。

高遮挡率解决了计算和任务难度，并未自动证明模型学到细粒度运动。动作分类数据常含场景捷径；像素重建也可以依靠局部连续性。University of Liège 与 KAUST 的 TrackMAE(2026) 把外部点跟踪器生成的轨迹设为显式预测目标，并在运动相关与域偏移任务上报告改善。它为“运动需要专门目标”提供了直接证据，同时引入新边界：跟踪器可能受监督训练，快速运动和遮挡会制造错误伪标签，预训练成本也随之上升。

4.2.3 潜表征预测走向行动条件模型#

Meta FAIR 的 V-JEPA(2024) 从可见时空上下文预测被遮挡块的 target-encoder 特征，不使用文本、负样本或像素 decoder。它支持潜表征预测作为独立视频 SSL 目标，却仍主要以动作与图像 probe 证明表示效用。

Meta FAIR 的 V-JEPA 2(2025) 在大规模无标签视频 encoder 上增加少量机器人视频和状态数据，训练 action-conditioned predictor，并以潜空间能量和模型预测控制选择动作。该系统把表征学习推进到预测与有限场景规划，但“世界模型”结论受相机视角、视觉目标、短时间跨度、搜索成本和小规模机器人试验限制。Meta FAIR 的 V-JEPA 2.1(2026) 又增加密集预测和多尺度目标，以修复全局表征对局部任务的不足。它与 DINOv3 在两个系统中给出相符观察，却尚未形成跨团队的普适解法。

4.2.4 图像先验能节省训练，时间模块仍不可省#

图像和视频共享大量空间结构，因此复用图像 encoder 是自然的捷径。University of Chinese Academy of Sciences、StepFun 与清华大学团队的 AdViSe(2025) 固定图文弱监督或纯视觉预训练的图像底座，只用播放速率目标训练轻量时间模块；论文协议显示，这样能明显减少预训练时间、显存和可训练参数。简单平均静态特征仍无法覆盖时间导向任务，压缩后的通道信息也不能靠延长第二阶段训练补回。使用图文弱监督底座时，系统应表述为“视频阶段自监督”，整套模型的监督来源仍包括图文配对。

大规模视频系统把这种分工做得更明确。Google 的 VideoPrism(2024) 先用 video-caption 对齐获得外观语义，再在 video-only 数据上联合教师蒸馏、masked modeling 和 token shuffling，补充运动与上下文。OpenGVLab 与上海 AI 实验室的 InternVideo2(2024) 也分阶段组合 masked reconstruction、图像/视频教师、音频和语言对齐。这些系统覆盖面广，能力来源却无法归给单一 SSL 目标；文本、合成 caption 和教师知识必须单列。

4.2.5 评价协议决定“视频表征”的含义#

University of Amsterdam 的 SEVERE(2022) 在多个方法、数据集和任务上系统改变域、样本量、动作粒度与任务类型，发现常规 benchmark 排名对这些变化很敏感，部分 SSL 模型在域移或少样本条件下甚至落后普通监督预训练。NYU 与 Meta 的 PooDLe(2025) 则在自然连续视频中同时优化 pooled 语义和 optical-flow 引导的 dense 等变性，说明 iconic ImageNet 式单对象裁剪不适合拥挤、多对象视频。动作分类、局部对应、方向辨识和自然场景小对象各自测量不同能力，不能折成一个“通用视频”总分。

4.3 音频 SSL：离散单位、连续目标与领域边界#

本节先追踪语音单位的形成方式，再比较重建、离散与连续目标，随后用多语、音乐和跨模态证据检验“通用音频”的边界。

4.3.1 语音把目标粒度问题推到前台#

Facebook AI 的 wav2vec 2.0(2020) 从原始波形得到连续潜变量，再联合量化为离散单位；模型在被遮挡时间步从负样本中识别正确单位。Facebook AI 与 CMU 的 HuBERT(2021) 把目标改为离线聚类伪标签，并通过重新聚类迭代更新。Microsoft 的 WavLM(2022) 保留 HuBERT 式目标，同时加入噪声与重叠语音，扩大到说话人、分离和 diarization 等任务。

离散目标本身也有多种生成方式。MIT CSAIL 与 Google Brain 的 W2v-BERT(2021) 联合训练对比量化和 MLM，省去 HuBERT 的离线交替聚类。Google Research Brain Team 的 BEST-RQ(2022) 使用固定随机投影和随机码本，仍能为 ASR 产生有效目标；这反驳了“有效 token 必须预先具有可解释语义”的强版本。MIT CSAIL 与 Meta AI 的 DinoSR(2023) 又让连续 EMA teacher 经在线聚类生成离散单位。离散与连续目标由此形成组合关系，而非互斥阵营。

三者也给出表征更新权限的连续谱。HuBERT 在单轮内固定聚类标签、轮次之间重新抽取特征并聚类，以重复训练成本换取稳定移动；BEST-RQ 永久固定随机 quantizer，把架构自由和训练简洁放在目标语义之前；DinoSR 则让 teacher 与 codebook 用 EMA 慢速跟随 student，以双网络前向、momentum 和 codebook 稳定措施换取在线适应。音频领域的主流补救因此不是直接同步解冻全部模块，而是控制目标变化的时间尺度。

这条谱系说明，语音 SSL 的性能变化不只来自 Transformer。单位如何形成、时间粒度多细、输入是否暴露噪声和多说话人结构，都会决定表示偏向内容、声学环境还是说话人信息。ASR 的 WER 只能验证其中一部分能力。

多语场景进一步暴露容量与数据配比。Meta/Facebook AI 的 XLSR(2021) 于 2020 年首次公开，后以 Interspeech 2021 口径引用；它让多种语言共享 wav2vec 2.0 的编码器与码本，并报告高资源语言并非总从共享模型获益。Meta AI 主导的 XLS-R(2022) 于 2021 年公开、2022 年正式发表，以更大模型、更多语种和近 50 万小时数据缓解竞争。CMU、上海交通大学与 TTIC 的 XEUS(2024) 把覆盖扩到数千种语言并加入去混响目标。语言数量、每语种小时数、模型容量与录音域需要分别报告；更多语言不是低资源迁移的充分条件。

4.3.2 重建、离散教师与连续教师长期并存#

MIT CSAIL 的 SSAST(2022) 把谱图切为 patch，同时做判别与重建。Meta AI 与 CMU 的 Audio-MAE(2022) 采用高比例谱图遮挡和轻量 decoder。Microsoft 的 BEATs(2023) 则迭代训练声学 tokenizer，让 encoder 预测离散标签。

连续目标提供了另一条证据链。Meta AI 的 data2vec(2022) 让 student 从遮挡输入回归 EMA teacher 多层平均的上下文化表征，同一目标分别用于语音、图像和文本。上海交通大学 X-LANCE 团队的 EAT(2024) 让 student 同时预测 utterance 级全局目标和 frame 级局部教师特征，用多组 mask 复用一次 teacher 表征以降低训练成本。Kunlun 的 A-JEPA(2024) 从可见谱图 patch 预测被遮挡时频区域的 EMA latent，并用课程式 mask 改变预测难度。两者都绕过离散 tokenizer，评价仍以短片段分类为主。

现有证据不能把离散 token 宣布为语义抽象的必要条件，也不能证明像素或谱图重建在所有任务上较弱。BEATs 的 iter2/iter3 仍可由纯 SSL teacher 产生，只有 iter3+ tokenizer 使用监督微调教师；EAT 的速度比较跨硬件与实现；Audio-MAE 与 A-JEPA 又主要在短片段分类上评价。真正需要的是同一数据、骨干、训练 FLOPs 和多类下游任务上的控制比较。

Westlake Institute 的 ATST(2024) 把 clip-level 与 frame-level teacher-student 目标分开，显示时间分辨率会改变声音事件检测与片段分类的相对结果。NTU、MIT、FAIR、JHU、Amazon 与 CMU 等机构的 SUPERB(2021)、HEAR 联盟的 HEAR(2022) 和多机构团队的 ML-SUPERB(2023) 分别覆盖英语语音多属性、跨声音域任务和多语识别。它们定义了三种不同的“通用”，也说明 probe、时间尺度和语言集合会重排模型结论。

4.3.3 “通用音频”受到音乐与多语信号的约束#

m-a-p.ai 等团队的 MERT(2024) 为音乐引入声学离散目标与 CQT 音乐教师，显示通用语音或环境音目标未必保留音高与调性。CMU 与 AIST 的 OpenBEATs(2025) 开放 BEATs 式训练管线，并把评价扩到环境音、生物声学、音乐和音频推理。Xiaomi MiLM Plus 的 GLAP(2025) 扩展音频—文本对比学习，覆盖声音、音乐和多语语音。

腾讯 AI Lab 与上海交通大学等团队的 MuQ(2025) 使用 Mel residual vector quantization 和迭代训练强化音乐单位。m-a-p.ai、BAAI、CMU、QMUL 等机构的 MARBLE(2023) 把音乐评价拆成声学、演奏、乐谱结构与高层描述。音乐因此是周期、音高和长时层级结构的压力测试，不能缩成环境音表格中的 genre 一列。

这些工作共同削弱了“单一 AudioSet 或 LibriSpeech 指标足以证明通用性”的命题。MERT、MuQ 与 MARBLE 建立音乐结构和评价边界；OpenBEATs 与 GLAP 扩大声音域、任务和语言覆盖。它们没有证明每个领域都需要独立模型，而是要求把域别 Pareto 曲线、held-out domain、语言覆盖和配对文本质量加入评测。

MIT CSAIL 与 Amazon 的 USAD 2.0(2026) 从 WavLM、通用音频和音乐专家的多层表示蒸馏一个学生，后续阶段又加入监督语音与音频 LLM encoder 教师。它支持“专家知识可以合并到统一音频接口”，却不证明单一纯 SSL 目标能自然发现全部领域结构；学生还会继承教师盲区和多阶段训练成本。

4.3.4 音频与语言、视频的融合使用不同监督#

Microsoft 的 CLAP(2022) 用配对音频和自然语言描述训练双 encoder，文本由此成为开放词汇查询。它不依赖固定类别标签，却消费人类描述或元数据，应称为自然语言监督的跨模态预训练。

音视频融合也经历了目标复杂度的变化。Meta AI 的 AV-HuBERT(2022) 对音频和嘴部视频融合表征做多模态聚类预测，重点仍是视觉语音。MIT CSAIL 等团队的 CAV-MAE(2023) 组合模态内重建与跨模态对比；FAIR at Meta 与 UC Berkeley 的 MAViL(2023) 再加入基于第一阶段表征的 self-training。多目标可以提高协同，也让总成绩无法归因于某一个组件。

FAIR at Meta 与 NYU 的 MJEPA(2026) 使用自然同步音视频，不引入文本或外部伪标签教师。一个共享 ViT 处理音频、视频和联合输入；同类 JEPA 损失既做模态内预测，也做高层跨模态预测。关键消融显示，朴素共享 encoder 会低于单模态基线，加入 cross-modal prediction 后才出现正迁移。这个结果把“共享参数天然促成统一表示”的假设改写为可检验问题。目前证据只来自音视频、单篇 2026 预印本和全局池化对齐，尚不能外推到细粒度同步或任意模态。

在音频章节中，文本是描述音频的监督信号；进入下一节后，文本本身成为建模对象。音频的离散单位通常由量化、聚类或教师学习得到，文本则经 tokenizer 得到明确的离散序列。问题因此从“发现什么声学单位”转为“如何分解并采样 token 的联合分布”。

4.4 文本：表征学习、AR LLM 与 diffusion#

本节按概率建模问题递进：先区分 encoder 表征与 AR 联合分布，再说明 diffusion 的反向过程，随后讨论规模、混合路径与公平评测。

4.4.1 文本 SSL 的分叉来自概率对象#

Stanford 与 Google Brain 的 ELECTRA(2020) 用 replaced-token detection 训练双向 encoder；Princeton 与清华的 SimCSE(2021) 用同一句的两次 dropout 构造对比正对。它们说明，文本 SSL 可以只学习判别表征或句向量。

Facebook AI 的 BART(2020) 把任意 corruption 后的文本交给双向 encoder，再由左到右 decoder 复原；Google 的 T5(2020) 用 span corruption 和统一 text-to-text 接口。Imperial College London 与 Google Research Brain Team 的 PEGASUS(2020) 选择“重要句”作为 gap sentence，直接把摘要先验写进 corruption。三者共享去噪语法，decoder 仍按 AR factorization 生成；corruption 选择本身就是任务先验。

University of Toronto、Vector Institute 与 UHN 的 DeCLUTR(2021) 从同一文档抽取 span 正对，扩展了文本对比表示路线。中国人民大学与 Microsoft 的 SEED-Encoder(2021) 以及 Carnegie Mellon University LTI 的 Condenser(2021) 则指出，decoder 能绕过单向量表示时，较低重建损失不代表检索表示更好；限制 decoder 或让 token prediction 显式依赖 dense representation，才会把信息压入 encoder。文本 encoder 的质量因此取决于信息瓶颈和聚合路径，不只取决于 mask recipe。

OpenAI 的 GPT-3(2020) 延续 decoder-only next-token likelihood，通过规模化展示 in-context learning。AR 模型直接使用链式分解

p(x)=\prod_{i=1}^{n}p(x_i\mid x_{<i}),

训练和生成都沿固定的从左到右顺序进行。它能计算精确 token 似然，并对已生成前缀使用 KV cache。代价是每个新 token 都在既有前缀条件下承诺，后续步骤难以直接修改早期选择。

AR 也不是一个固定基线。DeepMind 的 Chinchilla(2022) 在给定计算预算下联合调整参数量和训练 token，说明欠训练的大模型会扭曲“参数相同”的比较。EleutherAI 的 Pythia(2023) 用相同数据顺序保存多个尺寸和训练阶段 checkpoint，使记忆、偏见与能力形成过程可以被追踪。Stanford CRFM/HAI 的 HELM(2023) 又把准确率、校准、鲁棒性、公平性、毒性与效率放进统一 scenario—metric 矩阵。diffusion 与 AR 的对照需要同时控制训练预算、轨迹和评价，而不是随手选一个公开模型分数。

encoder MLM、句子对比和 AR LLM 都从原始文本构造目标，因此同属广义 SSL。它们的证据合同不同：GLUE 或语义相似度测表征，perplexity、开放生成、指令跟随和整序列正确性测生成模型。

4.4.2 文本 diffusion 从连续 embedding 转向离散 mask#

离散 diffusion 先按一个噪声日程逐步遮盖或替换 token，训练模型估计每个噪声级下的干净 token 或逆向转移；采样时再从全 mask 或高度破坏的序列反复恢复文本。Google Research Brain Team 的 D3PM(2021) 给这个过程定义 uniform、邻近 token 和 absorbing [MASK] 等离散转移。Stanford 的 Diffusion-LM(2022) 则在 token embedding 上加入 Gaussian 噪声，通过反复去噪和连续梯度实现细粒度控制。它也明确报告了 rounding、固定长度、训练收敛和慢采样问题。连续视觉或音频扩散的成功无法直接解决这些文本特有成本，因为词表是离散的。

2024 年出现更强的离散概率路线。Stanford 的 SEDD(2024) 不直接回归连续噪声，而是估计两个离散状态在数据分布中的概率比；score entropy 训练这些比率，使它们能参数化逆向跳转。Cornell Tech 的 MDLM(2024) 聚焦 token 只会逐步变成 [MASK] 的 absorbing 路径，并把变分下界化为跨 mask 比例加权的 token 恢复损失。MDLM 因而建立了经典 masked recovery 与可采样反向过程之间的形式桥。

Stanford 的 Plaid(2023) 在连续 embedding diffusion 中加入 maximum-likelihood 改进和 diffusion-specific scaling 分析，推动连续路线从可控生成走向似然建模。它与 GPT-2 级基线的比较参数和计算并不相等，能证明路线可扩展，不能证明连续 diffusion 已达到现代 AR 的等资源效率。

4.4.3 连续文本生成的表征空间从哪里来#

连续文本生成把离散化推迟到末端，也把一个基础问题暴露出来：可供 diffusion 或 flow 建模的连续语义空间由谁学习。Cornell 团队的 LD4LG(2022) 在预训练 BART/T5 之间加入压缩 latent，随后冻结基础语言模型，在固定长度表示上训练 diffusion；成熟 decoder 承担词法实现，diffusion 只需学习较低维的全局变化。这个分工降低生成难度，却让基础模型和第一阶段 bottleneck 决定可表达内容。

MIT 的 ELF(2026) 采用更直接的 token 对齐路线：冻结 T5-small encoder，把整段文本映射为双向上下文化 hidden states，在这些状态与高斯噪声之间做 Flow Matching，最后由共享网络切换到离散解码模式。其表示消融中，预训练上下文表示优于固定 token embedding、随机表示和联合学习 token embedding；在后一配置中，同时学习 embedding 与 denoiser 的结果最弱，说明至少在这个 token-level 对照里，移动目标增加了优化困难。论文尚未验证从零联合训练 contextual encoder 能否达到主结果。ELF 所说的“无需蒸馏”特指没有额外的少步采样蒸馏；T5 的预训练数据、算力和表示偏差仍是整条管线的外部资产。因而其贡献是固定 T5 表征流形上的强连续生成配方，而非从原始 token 与噪声共同自举语义空间。

ByteDance Seed 主导的多校合作团队的 Cola DLM(2026) 直接检验永久冻结的上限。它先训练 Text VAE，再在第二阶段让 VAE 与 block-causal DiT 持续共同更新，同时用参考 encoder、KL 和语义重建约束 latent drift。固定 VAE 较早饱和；稳定初始化后的持续联合更新优于弱更新、周期冻结和全组件从零训练。这个消融支持的是有锚的表征共演化：可塑性提高了上限，稳定性仍由第一阶段和固定参考锚买回。Cola 的 VAE 预训练、联合反传和参考网络也必须进入总成本账本，当前论文不足以重建完整 Stage-1 token 与 FLOPs。

ELF 与 Cola DLM 因此不是同一工作，也代表不同结论。前者证明好表征上的流模型可行，后者说明稳定初始化后的表示仍可继续适配生成目标；两者都没有证明高层文本 latent 已能在同等规模下无锚、从零稳定自举。

4.4.4 大 diffusion LM 已证明可扩展，尚未证明普遍占优#

中国人民大学高瓴人工智能学院的 LLaDA(2025) 从头训练 8B masked diffusion Transformer，展示 scaling、in-context learning 和指令微调的可行性。论文也明确记录了边界：最大模型没有同尺度 AR 对照，输出长度需要预设，当时缺少专用 KV cache 与 RL 后训练，其目的并非证明速度普遍优于 AR。

北京大学与蚂蚁集团的 Theoretical Benefit and Limitation of Diffusion Language Model(2025) 区分 token error rate 与整序列 error rate。某些 token 级指标可用少量并行去噪步接近最优；在最坏情况下追求整序列完全正确，步数仍随长度增长，而每一步会处理整段序列。这个分析解释了为什么“并行预测多个 token”不能直接推出较低端到端延迟。

中国人民大学高瓴人工智能学院与 ByteDance Seed 等团队的 iLLaDA(2026) 把 from-scratch masked diffusion 扩展到更大的预训练数据，并报告 base 模型与强 AR 基线在部分任务上的差距收窄，instruction 模型平均表现仍有差距。当前最稳妥的结论是：diffusion 已成为可扩展的文本生成因子分解；其通用质量、服务效率和长链正确性仍依赖数据、后训练、长度协议和实现优化。

FuriosaAI、UW–Madison、Microsoft Research、UC Berkeley、SNU 与 KRAFTON AI 的 ParallelBench(2025) 专门构造 token 间依赖可控的并行解码任务，发现现有 unmasking 策略难以按任务依赖自适应并行度。one-token-at-a-time 的高准确率没有验证 diffusion 的并行卖点；并行 commit 的质量和速度需要一起测试。Carnegie Mellon University 与 Lambda 的 Diffusion Beats Autoregressive in Data-Constrained Settings(2025) 进一步研究有限数据被反复使用的情形：随机生成顺序相当于为同一文本提供更多条件视图，只有在额外计算充足时才可能越过 AR；接近 compute-optimal 的区域中，AR 可以先占优。两项负面证据把“更快”“更省数据”改写成资源条件图，而不是无条件属性。

4.4.5 AR 资产与 diffusion 解码的混合路径#

University of Hong Kong 等团队的 DiffuLLaMA(2025) 从 GPT-2/LLaMA checkpoint 继续训练为 diffusion 模型。Cornell Tech、Stanford 与 Cohere 的 Block Diffusion(2025) 在块之间使用 AR 分解，在块内使用离散 diffusion，使已完成块可以缓存、当前块可以并行修订。Duke University 与 AITHYRA 的 Repr-Align(2026) 又把 diffusion 模型的多层 hidden state 对齐冻结 AR teacher。

这些工作证明 AR 资产和 diffusion 解码可以组合，也让归因更难。一个由 AR checkpoint 转换的 diffusion 模型同时继承原始预训练数据、表示几何和计算投入；只报告追加 diffusion tokens 会低估总成本。Block size 越小越接近 AR，越大则获得更多块内双向修订，同时增加全块重复计算。研究问题已经变为如何在顺序承诺、并行修订、缓存和表示复用之间分配计算。

4.4.6 AR 与 diffusion 的公平比较#

文本模型的“更快”或“更会推理”至少需要控制以下条件：

比较维度	必须对齐的内容
训练资产	tokenizer、语料、去重、训练 tokens、有效 FLOPs；AR checkpoint 的原始成本计入转换模型
模型与上下文	非 embedding 参数、层宽、attention kernel、位置编码、上下文长度
概率指标	AR NLL、diffusion ELBO/NELBO、估计 perplexity、外部 LM 评分分开报告
输出协议	prompt、实际输出长度、EOS/固定长度、采样温度、best-of、verifier 与停止规则
服务系统	相同 GPU、精度、batch、内存、编译器、KV cache 与并行解码优化
质量约束	在相同 accuracy、token error 或 sequence error 上比较延迟、吞吐、FLOPs 与能耗

缺少这些条件时，实验可以证明一个系统在特定配置下有效，不能证明某种 factorization 普遍优越。

5. 表征解耦：冻结接口为何反复出现#

前述模态章节中反复出现同一种结构：先获得一个表征空间，再固定它并用新的无标签数据训练 predictor、temporal module、decoder、token prior 或生成模型。此时第二阶段仍是 SSL，完整系统却继承了第一阶段的监督来源和信息边界。冻结的价值不应由“encoder 没有更新”反推；它解决的是目标空间、优化稳定性、稀缺模态成本和模块复用等更难的问题。

5.1 冻结用可塑性交换稳定目标与边际成本#

图像生成提供了最清楚的成本动机。LMU Munich、Heidelberg University/CompVis 与 Runway 团队的 LDM(2022) 先训练感知 autoencoder，再固定 latent 接口训练 diffusion，把大量难以感知的像素细节移出生成过程。中等压缩率在论文协议中形成计算与保真折中；过强压缩的重建误差也直接成为生成上限。NVIDIA 与 LMU Munich 等团队的 Video LDM(2023) 进一步冻结图像生成器的空间层，只训练时间模块，使运动能够作为插件迁移到不同图像 checkpoint。逐帧 decoder 的闪烁和长程退化又说明，空间质量并不等于视频动力学。

冻结还可以把第二阶段限定为一个较窄、可诊断的问题。AdViSe 固定图像语义，让新增模块集中学习播放速率；HuBERT 在每轮内固定聚类目标，避免 student 追逐同步移动的离散单位；Meta FAIR 的 ImageBind(2023) 固定图像枢纽，避免收集所有模态的两两配对；ELF 固定 T5 上下文空间，避免连续表示与 flow 同时漂移。它们解决的问题不同，交换结构相同。

场景	冻结首先解决的问题	可观察收益	随之固定的上限
图像/视频生成	像素建模昂贵，视频数据不足以重学空间质量	低维 latent、空间模块与时间模块可复用	autoencoder 重建误差、逐帧解码和空间—时间错配
图像到视频迁移	从头视频反向传播昂贵，静态语义容易遗忘	小型时间模块、较低显存与可插拔图像底座	encoder 未保存的运动、通道或局部信息无法补回
音频单位预测	在线 quantizer 与 student 同步变化容易不稳	轮内一致目标、架构自由、可离线缓存	聚类粒度、语言和声音域偏差；多轮成本被移到阶段之间
连续文本生成	token 空间离散，联合学习高层 latent 容易坍塌	稳定、可解码的语义流形与较简单的去噪路径	教师语义和领域上限；预训练成本移出第二阶段账本
跨模态对齐	全部模态两两配对不可得	通过固定 hub 接入新模态和旧工具	hub 不包含的概念、Web 偏差与模态独有结构被压缩

5.2 瓶颈包含信息、优化与核算三个层面#

固定 encoder 的第一类上限是信息性的。若图像特征压缩掉方向或纹理，时间模块和 decoder 无法从无标签视频中恢复它们；若 T5 的上下文空间弱化某个领域或语言，flow 只能更好地拟合这个空间。冻结小模块取得的结果因此支持的是“给定表征条件下可学习”，不能自动归因于新阶段学会了表征本身。

第二类上限来自目标错配。一个为分类、重建或图文对齐学习的空间未必适合精确生成、运动、音高或整序列推理。NYU 的 RAE(2026) 显示，冻结 DINOv2、MAE 或 SigLIP2 这类语义 encoder 后，强 decoder 与 DiT 可以利用高维表示；不同 encoder 在重建和生成上的排序并不相同，高维 latent 还需要专门的宽度、噪声日程和带噪 decoder 训练。强表示能提高起点，也不会消除接口适配。

第三类上限是证据核算。ELF 的第二阶段 token 数不含 T5 的原始预训练；LDM 的 diffusion 训练不等于 autoencoder 的总成本；HuBERT、BEATs 与 AV-HuBERT 的最后一轮之前还有特征抽取、聚类、tokenizer 或前序模型；由 AR checkpoint 转换的 DLM 也继承原模型的语料与算力。冻结降低的是新增阶段的边际成本，只有完整资产账本才能回答总成本是否更低。

5.3 解决路线在不同时间尺度上重新开放表征#

现有工作并未形成“冻结—端到端”的二元选择，而是在目标更新速度与梯度范围上形成连续谱。

耦合方式	代表机制	恢复的可塑性	为保留原收益付出的新代价
轮内固定、轮间更新	HuBERT、AV-HuBERT、BEATs 重聚类或重训 tokenizer	下一轮目标吸收上一轮表示	全量抽特征、聚类和重复训练；总成本随轮次累积
EMA 慢速共演化	data2vec、DinoSR、DINO、V-JEPA	teacher 或 codebook 持续跟随 student	双网络前向、momentum 与归一化；仍需防坍塌
局部解冻	University of Amsterdam QUVA Lab 的 Time Does Tell(2023) 只更新图像 ViT 最后两个 block 与时间模块	高层特征吸收视频对应关系	早层上限仍在；显存、遗忘和层数/学习率成为超参数
有锚联合训练	Cola DLM 的 VAE—DiT 共演化	latent 直接适配生成 prior	第一阶段、参考 encoder、KL/重建约束和联合反传
联合多模态目标	CAV-MAE 同时优化音视频重建与对比	各模态表示共同适应自然配对	multi-stream forward、模态专用 encoder 和目标权重用于防止失衡或坍塌
从头自举	VideoMAE、V-JEPA、LLaDA 等不依赖固定外部表征	目标可改变全部主干参数	重新承担完整数据、算力、稳定性和捷径控制问题

这张谱系给出一个比“是否端到端”更有信息量的评价标准：方法是否允许新目标改变必要的表示，同时保住冻结原本提供的稳定性、语义或可解码性、边际成本和模块接口。Cola DLM 的全组件从零版本弱于稳定初始化后的共同更新，CAV-MAE 的联合对比需要额外 forward 结构避免坍塌，Time-Tuning 只开放高层参数；它们都支持受控共演化，而不支持无条件全量解冻。

这几类路线的证据厚度并不相同。轮次更新和 EMA 在音频、视觉及跨模态中都有代表工作；严格无标签的局部解冻直接证据目前主要来自视频 Time-Tuning，音频和文本仍缺少同协议的永久冻结—adapter—部分解冻—全量联合对照。

目前最缺少的是同一数据、骨干和预算下的耦合强度曲线。理想实验应从永久冻结开始，逐步加入 adapter、末层解冻、EMA 更新和全量联合训练，同时报告新阶段与全管线 FLOPs、activation memory、旧任务遗忘、目标空间漂移、冻结 probe、生成质量及域外任务。只有这样才能判断一个补救是在解除表示上限，还是把冻结解决的问题重新引入系统。

6. 跨模态融合：统一的是哪一层#

“统一模型”经常把几种不同主张压成一个词。至少需要分别检查：目标是否相同、backbone 是否共享、表示是否处于可比较空间、输入输出接口是否统一。

工作	统一目标	共享 backbone	共同空间或接口	监督来源	可支持的结论
data2vec(2022)	是，masked contextual latent regression	否，各模态独立模型	否	各模态内部自蒸馏	同一算法模板可跨模态复用
Meta FAIR 的 ImageBind(2023)	成对 InfoNCE 家族	否，模态专用 encoders	图像 hub 的共同度量空间	自然传感器配对与网页图文弱监督	未直接配对的模态可经图像传递对齐
EPFL 与 Apple 的 4M(2023)	是，多模态 masked token prediction	共享 Transformer，tokenizers 分立	统一离散 token 接口	图文弱监督与多种外部教师伪标签	单模型 any-to-any 预测和生成可行
EPFL 与 Apple 的 4M-21(2024)	延续 4M	延续 4M	扩到数十种任务/表示接口	文本、模型特征和伪标签混合	共享接口可随任务种类扩展
MJEPA(2026)	模态内与跨模态 JEPA 家族	音频/视频共享 ViT	高层 pooled latent 对齐	自然同步音视频与自身 EMA target	两模态下目标、参数和高层空间可同时统一

这条时间线并非简单升级。data2vec 的优势是目标简洁，却没有联合训练；ImageBind 建立开放的共同空间，却保留多个 encoder，并借助图文语义；4M 提供通用生成接口，却依赖模态 tokenizer 和大量教师知识；MJEPA 的监督更内生、参数共享更强，但只覆盖音频与视频。统一程度和覆盖广度存在真实取舍。

另一个重要结论来自监督来源。自然共现提供相关性，caption 提供人类语义，外部教师提供已有任务知识，自身 EMA teacher 提供动态潜目标。把四者统称“无标签数据”会掩盖模型能力的来源，也会让跨系统比较失去因果边界。

7. 共识、争议与研究议程#

7.1 目前较稳的共识#

掩码是一种输入操作，图像、视频、音频和文本都能使用；预测目标、mask 几何和目标来源共同控制表示。负样本是可选的防坍塌机制，视图与稳定化设计仍不可省。

模态之间共享的主要是 Transformer、teacher-student 与 masked prediction 等算法模板。有效迁移需要保留模态结构：视频需要方向和运动，音频需要跨时间尺度与领域，文本需要离散概率路径。共享参数若缺少显式跨模态耦合，还可能产生负迁移。

规模化研究已经进入“目标 + 数据 + 教师 + 系统”的联合阶段。DINOv2/3、VideoMAE V2、InternVideo2、4M-21 和大 diffusion LM 都无法用单一损失解释结果。冻结 probe、全量微调、自由生成和规划又测量不同能力，跨论文精确排名的解释力有限。

表征解耦在各模态反复出现，因为它能把稳定目标、已有语义和模块接口与新阶段分开优化。它支持较低的边际训练成本，却不证明总成本更低，也不证明新增模块能创造 encoder 已丢失的信息。迭代更新、EMA teacher、局部解冻和有锚联合训练是在不同时间尺度上恢复可塑性。

7.2 尚未解决的争议#

重建、离散 token 与连续潜目标。 三类路线都在多个模态取得强结果，缺少同预算、多任务控制实验。
通用与专域。 音频的音乐证据、视觉的 dense/global 冲突和视频的运动目标都说明单一全局指标会隐藏能力损失。
纯 SSL 的边界。 图文数据、外部 tracker、分割器和监督教师提供不同程度的人类知识；系统级结论必须追溯这些来源。
稳定接口与表示上限。 永久冻结、阶段更新、EMA、局部解冻和联合训练缺少同预算比较；当前证据还不能给出跨模态的最优耦合强度。
AR 与 diffusion 的 parity。 diffusion 已显示 scaling、指令跟随和修订能力，但等训练资产、等后训练和优化 serving 的比较仍少。
统一模型的含义。 共同目标、共同空间、共同接口与共同参数各自需要独立实证，模态数量不是充分证据。

7.3 能关闭缺口的实验#

未来工作的价值取决于它能排除什么解释。以下实验比继续增加一张跨协议排行榜更有信息量：

在同一数据、骨干、token 数、FLOPs 和评测协议下，比较关系目标、原始重建、离散教师与连续潜目标；同时报告冻结和全量微调。
固定第二阶段数据与任务，从永久冻结依次增加 adapter、末层解冻、EMA 更新和全量联合训练；同时核算上游预训练、所有阶段 FLOPs、显存、旧任务遗忘、目标漂移和域外能力。
构建受控视频集，独立改变方向、速度、对象身份与背景，检验模型学到不变性还是运动等变性。
对语音、环境音、音乐和生物声学做域别 held-out 与 Pareto 评价，记录数据混合权重和教师贡献。
训练真正等资源的 7B/8B AR 与 masked diffusion 模型，并在同硬件、同长度、同后训练下报告质量—延迟—能耗曲线。
对跨模态模型加入错位、缺失模态、反事实 caption、教师错误与 hub 替换，检验共同空间是否依赖捷径。
公开网页数据的来源、去重、筛选、地区与语言覆盖，以及训练能耗和分群误差；“无标签”不能代替数据治理。

8. 结论#

2020—2026 年的 SSL 没有沿一条路线收敛。它形成了一套逐渐清晰的设计空间：模型可以对齐视图、重建输入、预测离散单位、回归潜表征，或学习完整生成分布；目标又可以来自永久冻结接口、分阶段更新、慢速教师或共同优化的表示器。每种组合都选择了要保留的信息，也选择了稳定性与可塑性的分配方式。

图像领域率先暴露了负样本、增广和目标空间之间的关系；视频把问题扩展到时间可辨性和行动条件预测；音频显示离散单位、连续教师与领域知识长期互补；文本则把广义 SSL 推向 AR 和 diffusion 两种生成 factorization。冻结表征能让视频只学时间、让 diffusion 只学潜变量分布、让新模态接入共同空间，也会固定运动、细节、语言和枢纽语义的上限。当前较有说服力的补救是受控共演化：先建立稳定空间，再以轮次、EMA、局部梯度或显式锚逐步开放表示，而非假定全量端到端训练自然保留原有收益。

因此，判断下一项 SSL 工作时，最有用的问题仍很朴素：目标从哪里来，要求模型预测什么，谁有权改变目标空间，冻结解决了什么更困难的问题，补救又是否保住这些收益。连同哪些信息被压缩、哪些训练资产被移出账本，以及实验真正排除了哪些替代解释，这组问题比“模型是否无标签”“是否端到端”“是否统一”“是否生成式”更能解释当前证据，也更能指导下一轮可复现研究。