模型正在被「故意变笨」

转载与翻译声明

本文译自 Walter van der Giessen 的文章 Models Are Getting Dumber on Purpose。

• 原文标题：Models Are Getting Dumber on Purpose
• 原文作者：Walter van der Giessen（@w4g1）
• 原文出处：w4g1.dev
• 发布时间：2026-08-17
• 翻译说明：原文版权归 Walter van der Giessen 所有。本文为完整中文翻译，链接与基准数据均保留原样，仅供学习交流；如原作者有异议将立即删除。

关于勘误：我在文末补了 【2026 现状：数据核对与今天实际怎么做】。我逐个核对了原文引用的基准数字——大部分准确得惊人，但有一处明显过时（SimpleQA 的领先者），而这个过时恰好推翻了原文论证里的一个前提。批注是我的，不代表原作者观点。

另：作者写过一篇前作 Rust Is a Harness（2026-07-09），讲语言设计在 agent 写代码时代的价值转移。本文里「harness」这个核心词来自那篇，建议对照阅读。

一句话摘要

事实该外挂，程序该内化。

模型记得住怎么推理，不该被要求记得住 PostgreSQL 7.4 加了哪个 planner 特性。前者的保值期以十年计，后者以周计。把事实从权重里剥出去，换来的是：模型不会变酸、幻觉有了可修的对象、以及前沿级推理最终能塞进你显卡。

2026-08-17

模型正在被「故意变笨」

推理分数一直在涨，每 token 算力却一直在降。GLM-5.2 在 AIME 2026 上拿到 99.2%，而每个 token 只激活约 400 亿参数。Qwen3.5 以 170 亿激活参数拿到 91.3%。DeepSeek V4-Flash 只用 130 亿激活。作为对照，GPT-4 在 2023 年被传激活参数约 2800 亿，而它当时几乎解不出一道 AIME 题。

在最小这一端，Qwen3.5 9B 量化后能塞进 6GB 显存，在 Artificial Analysis 的智能指数上，分数大约是同参数规模（10B 以下）次优模型的两倍。如果你只看数学和代码基准，你会得出一个结论：模型每个参数的聪明程度正在以荒谬的速度提升。

——在这些基准上，确实如此。但拿同样这些模型问一个平实的事实问题，画面就翻过来了。

在 SimpleQA（一个不许用工具、纯考事实回忆的基准）上，当时的领先者是 Gemini 2.5 Pro，53%——也就是说，钱能买到的最好记性，仍然有一半问题答不上来。小模型则基本不上榜。Artificial Analysis 测得 Qwen3.5 4B 和 9B 在其知识基准上的幻觉率高达 80%–82%，意思是：当它们不知道一个事实时（而大部分时候它们都不知道），它们会编一个出来。你去问 9B 模型某位 19 世纪冷门数学家的出生年份，你会得到一个自信的、听着合理的、错误的答案。

参数量的下降不是白来的。实验室在用世界知识换推理能力，而且这个交换是故意的。

那些参数原本是用来干什么的

事实占地方。关于知识容量的研究（「Physics of Language Models」系列给出了最干净的测量）给出的量级是：每个参数大约 2 bit 的事实性知识。

如果你想要一个模型记住每一位冷门维基人物的出生年份、每一个荷兰市镇的人口、每一个 npm 包里的每一个函数的参数顺序——你得用权重去付这笔账。这也是前沿模型长到万亿参数的很大一部分原因。

推理比事实压缩得好得多，因为它是一组相对小得多的过程，被反复施用：把问题拆成几块、追踪中间状态、检查自己的作业、某一步失败时回溯。在可验证任务上做蒸馏和强化学习，被证明能把这些过程相当好地迁移进小模型。

Phi-4 有 140 亿参数，大量训练于合成教科书式数据，它擅长数学、不擅长冷知识——这恰好告诉了你它的训练数据里有什么。这种配比过去看起来像合成数据路线的局限。现在它看起来像设计目标。

经过交换之后幸存下来的知识是有形状的。这些模型是通才：关于几乎一切都知道一点，关于任何一点都几乎不深入。问它 PostgreSQL，它知道那是什么、擅长什么、MVCC 大概怎么工作；但问它是哪个版本加进了某个具体的 planner 特性，你就又回到「编造事实」了。

而这恰恰是应该留在权重里的那一层。因为正是「广度」让模型能理解一个问题在问什么、知道该去查什么、以及判断一个来源是否可信。深度查起来便宜、存起来昂贵，所以走掉的是深度。

事实会腐烂，过程不会

一次前沿训练要花几个月、几亿美元，而它完成的那一刻，里面的事实就开始过期。库的 API 会变、价格会变、人会换工作——一个 2024 年的模型对 JavaScript 生态的认知，有一半在它发布之前就已经过时了。

你烤进权重里的每一个事实都有保质期，而刷新它的唯一办法是再训一次。

过程不会腐烂。代数学在 1970 年和现在是一回事，把问题拆解、发现两个来源之间的矛盾，也是。一个以过程为主、只轻度加载事实的模型，不会像重知识模型那样变酸。它的训练截止日期重要性低得多，因为世界的当前状态本来就不该住在权重里。

我认为这是整套路线最好的论据：它把昂贵而缓慢的产物（训练好的模型）和每天都在变的东西（什么才是真的）解耦了。

知识由 harness 承载

如果模型不记东西，那就得有别的东西记——那个东西就是 harness：对知识库的检索、工具调用、网页搜索、一个装满文档的文件系统。

我在前一篇里写过，Rust 是 agent 的 harness，是一台廉价、机器可校验的反馈来源。这里是从另一侧看同一个形状：模型贡献推理，而它推理所依据的一切都在运行时被供给。

你已经在看 agent 这样工作了。一个编码 agent 不需要背下你依赖库的 API，因为它会先 grep node_modules 或读文档，然后才调用任何东西——而且它的答案锚定在你实际安装的那个版本上，而不是训练数据里占主导的那个版本。过去是每次前向传播里一笔固定成本的回忆，变成了按需查询。

在你的 GPU 上跑前沿模型

把这个趋势往前推几年，我认为我们会得到一个前沿级推理质量的模型，跑在单张消费级显卡上。

算力那一半已经快到了。DeepSeek V4-Flash 每 token 约 130 亿激活参数，完全在消费级 GPU 的范围内。装不下的是它专家层里另外那 2710 亿参数——而专家层主要就是事实存储。

那正是这个交换让它变成可选的部分。把知识剥掉，总规模就向激活规模收缩，一个 20–40B 模型用 4-bit 量化能塞进 2022 年就躺在游戏机箱里的那张 24GB 卡。

代价是它知道的东西不多。问它一个不带工具的裸事实问题，正确的行为是说不知道、然后去查。 配上一个像样的 harness，那已经是我今天用前沿模型做的大部分事情了——而且跑在本地，没有按 token 计的账单，数据也不离开这台机器。

这基本解决了幻觉问题

我觉得最有希望的是这件事对幻觉的影响。

当一个事实住在权重里，一个错误的事实是无法找到、也无法修复的。 你不能 grep 权重，不能把它和上个月做 diff，修正一个错误意味着做一次微调——而这次微调可能弄坏谁也不知道的别的什么东西。模型陈述那个错误事实时的流畅和自信，和陈述一个正确事实时一模一样，而且没有任何可供比对的实物。

当事实住在模型之外，一个错误答案就有了地址。 模型引用了一份文档，所以你可以打开那份文档；如果文档是错的，你改文档，之后每一次查询都会拿到修正——这比等下一次训练跑完大约快一年。

检索不会把你带到零，因为模型仍然可能误读一个来源，或者把两个来源错误地缝在一起。但一个有来源的主张是可核验的，一个来自权重的主张不是。 而知识库里的一个错误事实是一个普通的数据 bug——是我们已经知道怎么追踪、怎么修复、怎么给它写回归测试的那一类。

这个未来有一个版本里，模型卡将不再列「知识截止日期」这一项，因为留在权重里的东西是以年为单位变酸的，而不是以周。模型只是在运行时被递上世界的当前状态——就像 CPU 被递上一个程序。

【2026 现状：数据核对与今天实际怎么做】

这一节是我加的，不是原文。

我逐个追查了原文引用的基准数字。结论有点意外：这篇文章的实证部分相当扎实，三处关键引用全部对得上——但有一处过时，而那一处恰好抽掉了原文论证的一块地基。

1. 先给原文记功：三处引用经核对属实

第三条尤其值得单拎出来说。作者把「2 bit/参数」这个数字当成了整篇文章的定量支点——如果每个参数只能存 2 bit 事实，那么「存事实很昂贵、存过程很便宜」就不是修辞而是算术。这个出处选得很准。

而第二条的完整数字，正好补上了原文缺的那一块拼图：GLM-5.2 是 MoE 架构，753B 总参数里只有 40B 参与计算，比例约 1:19。 原文说的「专家层主要是事实存储」，在这个架构里就是那 713B 不激活的参数。

换句话说，「存起来的知识 : 每次计算用到的知识」≈ 19:1 这个比例，本身就是原文那个取舍的量化形态——绝大部分容量花在了「记得住」上，而真正参与推理的只是零头。这也解释了为什么剥离知识能把模型压到消费级显卡能跑的规模。

第二条我用自己的方式复核了一遍，结果几乎逐字吻合。在当前 AA-Omniscience 榜上：

Qwen3.5 9B 的知识准确率是 0%，Omniscience 指数 −53。 原文说小模型「基本不上榜」「当它们不知道时会编一个出来」——数据支持这个描述，而且是字面意义上的支持。

2. 但 SimpleQA 那一句已经过时，而且过时得很关键

原文写：

在 SimpleQA 上，当时的领先者是 Gemini 2.5 Pro，53%。

这在 2026-08-17 或许成立。今天是 2026-10-12，SimpleQA Verified 的榜首是 GPT-6.1 Sol，73.9%。

为什么这一处过时很重要——因为它推翻的是论证而不是数字。

原文的论证是：前沿模型事实回忆 53% → 连最好的一半都答不上 → 所以事实能力已经在被牺牲。这个推理链依赖「53%」这个偏低的值。

但换成 73.9% 之后，结论就变成了：纯参数化的事实回忆，在最近两个月里从「一半答不上」跳到了「四分之三能答对」。 事实能力并没有单向下滑——它在前沿档位上是在涨的，而且涨得很快。

这不否定原文的大方向。因为：

• 前沿档（68%）和小模型（0%）之间的落差依然是原文的核心事实，而这个落差比文章写作时更极端了。
• 「事实该外挂」的论据里，最强的一条本来就不是「模型记不住」，而是**「事实会腐烂」**——那一节完全不依赖任何基准数字，是全文最耐用的部分。

但它确实改变了一个实践结论：「模型不知道事实」不再是一个可以默认的前提。 如果你在 2026 年 8 月读到这篇文章、得出「反正模型记不住、那我就全靠 RAG」的结论，今天的数字会告诉你：前沿模型自己记得的比那时多了 20 个百分点。

3. 今天实际怎么做

原文描绘的方向是对的，但落到日常工程上，需要一些修正和补充。

① 别把「知识外挂」当成非此即彼。 原文的框架是「权重 vs harness 二选一」，但实际运行的系统几乎都是混合的，而且分界线应该画在「腐烂速度」上，不是画在「知识 vs 推理」上：

② 用「可核验性」而不是「准确率」来选架构。 原文这一节（「这基本解决了幻觉问题」）是全文最有操作价值的洞察，值得再强调一次：一个来自文档的答案有你能打开的对象，一个来自权重的答案没有。所以：

• 让 agent 引用具体文件路径 / 具体 URL / 具体行号，而不是「根据我的知识」。
• 把你的知识库当代码对待：版本控制、CI、回归测试。文档改错了就提个 PR，而不是等下次训练。
• 但要清楚检索不是零幻觉。 原文自己承认了这点（「模型仍然可能误读一个来源，或者把两个来源错误地缝在一起」）。实践中，检索失败的模式主要是缝合错误和过度采信单一来源，而不是「检索不到」。所以除了召回率，还要盯引用一致性（引用的来源真的支持结论吗）。

③ 本地部署的判断，原文偏乐观了。 原文说「20–40B @ 4-bit 能塞进 24GB」。这个量级算得没错（20B @ 4bit ≈ 11GB，40B ≈ 22GB，加 KV cache 确实紧张但可行）。但漏了一个约束：你需要的不是能塞进显卡，而是能在可接受的上下文长度和速度下跑起来。

现在的实际瓶颈是 agent 场景的上下文长度。一个编码 agent 一轮对话轻松吃掉 100k+ token，而 KV cache 在 4-bit 权重之外还要再占一大块显存。24GB 卡上跑 20B 模型 + 长上下文，实际能用的窗口可能只有几十 k。

所以更现实的路径是：小模型跑在消费级卡上做「harness 里的一部分工作」（分类、抽取、判重、路由），把真正需要长上下文推理的部分留给大模型或者按需调用。而不是指望一整台本地前沿 agent。

④ 衡量指标要换。 如果你采纳了这套架构，那传统的事实性基准（SimpleQA 之类）对你的价值就大幅下降了——你的模型本来就不该靠权重答题。更该盯的是：

• 引用准确率：给出的答案对来源的忠实度（有没有编造来源没说的话）
• 拒答率是否合理：不知道时说不说「不知道」，而不是硬编。原文提到 Qwen3.5 9B 的 0% 知识准确率，但它更该被看的是**「答错」和「拒答」的比例**——一个高拒答率的 9B 比一个高编造率的 9B 有用得多
• harness 的召回质量：检索不到时模型有没有退化成瞎猜
• 陈旧率：你的知识库里有多少文档已经过期（这是你自己的数据 bug，不是模型的问题）

⑤ 顺手一条：这篇原文里的 harness 一词值得单独记住。 作者在 Rust Is a Harness 里定义了这个用法——harness 是「让 agent 廉价、精确地知道自己错了」的那一层。Rust 编译器是 harness；测试套件是 harness；一个带引用、可打开、可修改的知识库也是 harness。三者的共同点不是「提供信息」，而是「提供可核验的反馈」。 这个视角比「RAG」这个词更能指导你怎么搭系统。

4. 一句话总结这一节

原文的方向（知识外挂、过程内化）我认同，而且今天的数据比它写作时更支持这个方向——前沿与小模型之间 68% vs 0% 的落差就是最好的证据。

但它有三处需要修正：

• SimpleQA 53% 已过时，现在是 73.9%，「模型记不住事实」不再是可靠的前提。
• 本地部署偏乐观，真正的约束是长上下文下的 KV cache，不是权重能不能塞下。
• 评估指标要换，从「事实准确率」转向「引用忠实度 + 合理拒答」。

而最不过时的一条，是它没怎么展开的那句：事实会腐烂，过程不会。

附：参考

• Walter van der Giessen. Models Are Getting Dumber on Purpose. w4g1.dev，2026-08-17
• Walter van der Giessen. Rust Is a Harness. w4g1.dev，2026-07-09
• Allen-Zhu & Li. Physics of Language Models: Part 3.3, Knowledge Capacity Scaling Laws. ICLR 2025. 论文
• GLM 5.2 Architecture: 753B Parameters, MoE Design, and How It Works. glm5.app
• BenchLM. AIME26 Leaderboard. benchlm.ai
• LLM Stats. SimpleQA Verified Leaderboard. llm-stats.com
• Artificial Analysis. LLM Leaderboard（含 AA-Omniscience 知识/幻觉指标）. artificialanalysis.ai
• Haas, Yona, D’Antonio, Goldshtein 等. SimpleQA Verified: A Reliable Factuality Benchmark to Measure Parametric Knowledge. 2025-09-09