从“认猫”到“听懂人话”——视觉基础模型如何重新定义“看见”

2012年，一个叫AlexNet的神经网络在ImageNet图像识别比赛中以巨大优势夺冠，计算机视觉由此进入深度学习时代。但那个时代的模型有一个共同的特点：专一而脆弱。一个训练来识别猫狗的网络，换一个任务——比如分割肿瘤区域——就需要几乎从头再来。模型认识的是“标签”，而不是世界。

十余年后，情况已经彻底改变。2026年的视觉基础模型，可以在从未见过的图像类别上完成识别，可以用一句“把那只狗抠出来”来驱动像素级分割，可以在生成图像之前先在“脑子里”推演物理规律。变化的本质，是计算机视觉从“训练专用工具”，转向了“构建可提示、可组合的通用感知层”。

CLIP：让图像和语言落到同一个坐标系里

理解这场转变，CLIP是一个绕不开的起点。2021年OpenAI提出的这个模型，核心思路出奇地简单：与其让网络学习“这张图属于第3类（猫）”，不如让它学习“这张图和哪一段文字更匹配”。

具体做法是，用数亿对互联网上抓取的“图片—文本”配对数据，同时训练一个图像编码器和一个文本编码器。训练的目标是对比学习：在一批数据中，让真正配对的那对图像和文本在向量空间里彼此靠近，让所有错误配对的彼此推远。训练完成后，模型获得了一种此前不具备的能力——零样本迁移。面对一个从未在训练集中出现过的类别，只要给出它的文字描述，CLIP就能判断某张图片是否与这段描述匹配，而不需要任何额外的标注数据。

这听起来似乎只是一个分类技巧的升级，但它的深层含义在于：视觉概念不再被锁死在固定的标签体系里。语言成了操作视觉模型的接口。“找出画面中所有红色的、圆形的、可以吃的东西”，这句话在传统检测器面前毫无意义，但对一个经过图文对齐训练的模型来说，它是一个可以尝试执行的任务。

CLIP并不完美。它对细粒度差异、空间关系、否定表述的处理仍然粗糙，“一只猫在沙发上，旁边没有狗”这样的描述可能让它困惑。但它打开的那扇门——用自然语言来指定视觉任务——成为了后续几乎所有视觉基础模型的共同语法。

SAM：分割的“提示范式”

如果说CLIP解决的是“图像和文字如何对齐”，那么Meta的SAM（Segment Anything Model）解决的是另一个维度的问题：如何让像素级的分割任务变得可提示、可交互。

在SAM之前，图像分割是一个高度专用化的领域。医学影像分割、自动驾驶街景分割、卫星图像分割，各有各的模型、各有各的训练数据、各有各的标注体系。2023年发布的SAM改变了这个格局。它的设计核心是一个“可提示”的接口：用户给一个点、一个框、一段粗略的掩码，或者一句文字描述，模型返回对应的物体掩码。SAM在大规模多样化的数据上训练，学会了关于“物体是什么”的一般性概念，从而能够对训练中未出现的物体类型进行零样本分割。

到2026年，SAM已经演进到第三代。SAM 3引入了“可提示概念分割”：给定一个文本提示或一个图像示例，模型可以检测、分割并跟踪该视觉概念的所有实例。与此同时，SAM 2将能力从静态图像扩展到视频，推理速度提升到前代的6倍。分割不再是一个需要为每个新领域重新训练模型的苦活，而变成了一个“给出提示、获得结果”的通用操作。

CLIP和SAM的组合效应，构成了当代视觉基础模型栈的底层语法。CLIP提供了跨模态的语义对齐，SAM提供了像素级的可提示操作能力。二者的交汇，使得一个系统可以同时理解“这是什么”和“它精确地在哪里”，并且这种理解可以通过自然语言或简单的交互提示来调用。

五条轴线上的位移

如果把视角拉远，2026年视觉基础模型的演进可以概括为五条相互交织的轴线：从单模态走向多模态，从小规模专用模型走向大规模基础模型，从专用接口走向通用可提示接口，从闭集识别走向开放词汇，从纯感知走向感知加推理。

每一条轴线上的位移都不是孤立的。多模态化让语言成为操作视觉的接口，通用接口化让同一个模型可以服务分割、检测、跟踪等多种任务，开放词汇化让模型不再被训练时见过的类别所束缚，推理化则让模型开始输出带有语言解释的判断，而不仅仅是一个冷冰冰的类别编号或边界框。

一个具体的例子是C-RADIOv4所代表的“视觉骨干聚合”思路：将SigLIP2、DINOv3和SAM 3三个各自专精的教师模型的能力，蒸馏到一个统一的学生编码器中。这不是简单地把模型堆在一起，而是在尝试回答一个更深的问题：一个通用的视觉表征，应该同时携带语义信息、空间精度和可提示性，而这三者此前分散在不同的架构传统里。

当“看见”开始包含“推演”

基础模型的成熟，也改变了生成一侧的图景。2025年的图像和视频生成模型，正在从“基于概率的随机拼凑”转向“具备物理一致性与视觉推理的逻辑构建”。Google的Nano Banana Pro引入了“思维链”机制：在生成像素之前，模型会先对场景的几何结构、光影逻辑、物体之间的物理关系进行推理。当用户要求生成“一个透明咖啡杯摔碎的瞬间”，模型不是在检索相似的训练图像进行缝合，而是在内部先构建一个关于碎裂、流体、折射的物理场景，再把这个场景渲染成像素。

Sora 2和Veo 3在视频生成上的竞争，则把这种“理解世界如何运作”的能力推向了时间维度。物理一致性、角色连贯性、音画同步，这些指标背后是同一个问题：模型是否在内部建立了一个关于场景如何随时间演化的表征，而不仅仅是在逐帧“画得像”。世界模型的概念由此进入视野——一个能够预测“如果这样做，接下来会发生什么”的内部模拟器，被认为是通向可泛化具身智能的关键路径。

这条线索与感知一侧的演进是同一枚硬币的两面。当视觉模型开始理解物理规律和因果结构，它就不再只是一个“识别器”，而成为一个可以在内部推演可能性的系统。自动驾驶中的占用网络判断每个空间格是否被占据、是否在移动，本质上就是在做一种局部的、实时的世界建模。生成模型在像素层面学习物理常识，感知模型在三维空间里构建占用表征，两条路径正在从不同的方向逼近同一个目标。

通用不等于万能

视觉基础模型的叙事容易让人产生一种印象：专用模型即将退出历史舞台。但工程现实要复杂得多。在实时性要求严苛的安全关键场景中，闭集的专用检测器仍然常常是更可靠的选择；基础模型的开放词汇能力令人兴奋，但它的输出分布更难约束，在边缘情况下的行为更难预测。许可限制、推理成本、以及大模型固有的“幻觉”倾向，都是部署时必须面对的硬约束。

更值得留意的是一种微妙的认知转变。当模型可以用自然语言回答关于图像的问题时，人很容易把理解的语言误认为理解的能力。CLIP知道“这张图和这段文字匹配”，但它不知道“匹配”在物理世界中意味着什么。SAM能精确地分割出一个物体，但它不“知道”那个物体是什么、用来做什么。基础模型拓展了机器视觉的边界，却没有取消那个古老的区分：识别模式，和真正理解一个场景，仍然是两件不同的事。