突然有点理解 LeCun 为什么喷 LLM 了
最近因为 GPT-5.5 太牛了，我开始翻了一些 LLM 和 VLM 相关的论文。与此同时，我又分别和不同朋友聊到了同一个问题，结果得到了两个截然相反的结论。这让我非常好奇，也产生了一些新的思考。
先叠个甲。
我本人没有训练过 LLM 和 VLM，对这个方向的认知基本都来自于量子位等无良自媒体，以及有限的几篇论文和技术报告。我的朋友们也没有从事基座模型研发，做的更多是模型微调相关方向，也没有训练过动辄几百 B 的真*大模型。
事情源自于我问的一个问题，一个正常模型RL的训练到底要训练多久？
我做 LLM 的朋友说，大概 16 卡 A100 的话，一天左右。他非常建议我跳过 SFT，直接训 RL。他说是，SFT本质是模仿，而 RL 是熵探索，能学到行为本质。他现在训练基本都是直接做 RL，不做 SFT。
但我做 VLM 的朋友直接跟我说，别训 RL。他说他之前专门试过好多次，在视觉场景，也就是 VLM 里，RL 基本毫无卵用。除了让中间 think 的字变长之外，对最后视觉任务的性能几乎没有影响。所以他都是只用 SFT，不用 RL。
这就引起了我极大的好奇。
到底是什么，导致了从事 LLM 和 VLM 的两个人，对 RL 得出了如此巨大的结论差异？
是训练方式不对么？毕竟众所周知，RL很难训练。
但好像也不完全对。因为 RL 的过程确实极大增加了模型中间的思考长度，只是视觉任务的结果不对而已。
后来想了想又聊了一下，我发现问题可能出在现在大多数视觉任务的定义上。
传统的视觉任务包括分类、分割、检测、文本描述、视频理解、OCR 等等。这些任务其实都有一个最大的特点，就是它们大多不需要推理。
作为人，只要能看见，就能回答这些问题。它们更像是单纯的图片到文字的映射。模型只要能看见，就能知道。而 RL、CoT 这种东西，是通过 step by step 的方式，让模型进行更深度的推理，从已知条件推出结果。
这些VLM任务考验的是视觉token的提取和利用情况，而LLM的文字任务更多考验知识以及推理能力。我就感觉训练RL对VLM没用的原因可能是RL并不会凭空让LLM推理出它没有的知识，这部分还是得外挂web或者RAG才能解决，而视觉token的信息处理，在拼接输入LLM之初，就已经确定了，不知道的内容，就是不知道。当时吃完饭也就没有继续深思，毕竟这只是吃饭时候的闲谈，当个趣事聊聊。
结果今天下午又看到 Qwen3.5 说他们的提升完全来自于大规模 RL，我又开始疑惑了。难道视觉任务也是需要推理的？RL 没用只是因为训练方式有问题，或者训练数据不够多？
本着好奇的心态，我问了一下 GPT 老师，视觉任务里到底有哪些是需要推理的。G 老师给我列举了当前一些涉及推理的视觉 benchmark，比如 visual math、chart reasoning、geometry diagram、science QA with image、document QA、GUI task、multi-image comparison。
结果我一看这些任务，突然发现一件事。这些真的是视觉推理吗？还是说，其实它们都是两步走，先把视觉信息读取出来，转成文字，然后再根据文字回答问题？仔细地盘了一下上面这些任务，好像所有所谓需要推理的视觉任务，本质上都是这种两步走，先把视觉的图像转换成文字信息，再根据文字信息去推理结果。
那是不是有一种可能， RL 即使有效，提升的也不是整个 VLM 的效果，提升的可能还是 LLM 的能力。它只是让模型答上了那些本来视觉已经能识别出来，但模型组合信息能力不够的题目。也就是说，这提升的还是语言侧的推理能力，和视觉本身关系不大。
它看得见，能认识就是认识，不会就是不会。（如果有大佬做过实验，知道有没有这种情况，把视觉信息转成文字之后输入网络，网络不能回答，但直接输入图像反而能回答正确。不认识就是不认识。）如果有的话，希望能得到指教。
随后我就开始想，真的存在既需要视觉推理，又不是上述这种情况的任务么？想了一下，好像还真有。比如，现在我的手正在缓缓靠近你的肩膀。请问我下一步准备做什么？是拍拍你的肩膀，还是推你一下，还是直接错开？这个行为本身如果只靠文字，是无法得到答案的。必须完整地看到视频，看到我的手的轨迹，看到我运动的速度，看到我手臂的肌肉有没有发力。从图像里得到这些信息，才能推理出我下一秒，或者说下一步，准备做什么。
再举一个例子。我在开车，现在画面里马上要撞上了，我刚反应过来去踩刹车。请问最后会不会撞上？这个问题只看一张图是完全得不到结果的。它需要根据我之前每一次刹车的反应时间，根据过去的经验计算制动距离，然后才能判断我反应过来并刹车需要多久，我离撞上还有多远。这些问题貌似都不能单纯从图片上得到结果，而是需要一个长序列的认知。需要结合背景信息、我之前刹车的制动距离、我踩刹车是否用力，再结合图像实际情况，统筹这些内容，才能得到结论。
这就引出了我的想法。当前的 LLM，或者 VLM 架构，真的有能力实现这些么？想要描述清楚所有这些东西，所需要的 token 可能比图片本身还多，而每件事要提取的视觉信息都不一样。所以在我的朴素认知中，我觉得应该是没有的。
这也是为什么我突然 get 到了 LeCun 的 JEPA 所说的，把视觉变成文本再推理，可能是一个错误方向。因为确实不是所有内容都能依靠文字描述得到。真正的推理所需要考虑的东西，可能远远超出了文字描述的代价。而且我们也基本做不到构建出这样的数据集去训练。
所以是不是，获得一个以视觉为中心的模型，才是解决这种真实推理问题所需要的呢？
不知道，但是感觉，好像还挺有趣的。