---
title: "主线图：模型写出来的东西，接到什么上、拿回什么"
description: "上一讲管输入，这一讲管输出：模型写出来的东西接到什么上、拿回什么反馈；这一整套叫 runtime。七站，每站多接上一样；三条线索穿过所有站。"
---

## 这一页为什么在这里

给全讲一张能回来的地图。之后每站回到它，亮起自己的位置。

## 上屏

- 第 1 步：中间一个“模型”方块。左侧灰色小字：第八讲｜输入：这一次放进去什么、谁来放。右侧亮：第九讲｜输出：写出来的东西，接到什么上？右边一个框：runtime＝把它跑起来、查一查、把结果送回来；一条箭头从框回到模型（反馈）。
- 第 2 步：主线图：横向时间轴，两头都是 2026-09；左端一条虚线弧“回到 2021 年夏”。七站依次排开，每站写年份和站名（不写圈码），站名就是它接上的东西：2021 测试｜2022 解释器｜2022 自写测试｜2023 工具接口｜2023 报错｜2023–24 整个环境｜2023–25 评估器加搜索｜收尾 2024→2026 证明检查器。
- 第 3 步：时间轴下方叠三条横线，从 ① 画到收尾、横贯七站，左端写名字；每条线在它经过的站下方打一个点（与各站站牌的线索亮法一致），这里点为灰：甲 反馈从哪来、有多丰富｜乙 生成越便宜，检验越值钱｜丙 检验本身也要被检验：谁来定义“对”。右端一行小字：每多接一样，能核的多一些，被骗的方式也多一样。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

上一讲管的是输入：这一次放进去什么、由谁来放。今天管另一半，输出。模型写出来的东西，一段代码、一个算式、一次工具调用、一步证明，接到什么上，拿回什么反馈？把它跑起来、查一查、把结果送回来的这一整套，今天我们叫它 runtime。

### 第 2 步 · 教师可说的话

第 2 步

今天这样走：从 2026 年九月出发，先回到 2021 年夏天，按年份走七站。每一站，runtime 都多接上一样东西：测试、解释器、模型自己写的测试、工具、报错、整个环境、评估器，最后是证明检查器。走完，再回到 2026 年。

### 第 3 步 · 教师可说的话

第 3 步

这七站不是七个孤立的故事。有三条线一直穿过它们：反馈从哪来、有多丰富；生成越便宜，检验越值钱；还有，检验本身也要被检验，到底谁来定义“对”。每到一站，我们回到这张图，看它亮在哪里。

### 本页衔接

回扣第八讲（输入 → 输出）；→ [2021 年夏：模型写的代码，怎么判对不对？](/bleu-or-run)。

### 连续教师稿原文

上一讲管的是输入：这一次放进去什么、由谁来放。今天管另一半，输出。模型写出来的东西，一段代码、一个算式、一次工具调用、一步证明，接到什么上，拿回什么反馈？把它跑起来、查一查、把结果送回来的这一整套，今天我们叫它 runtime。

今天这样走：从 2026 年九月出发，先回到 2021 年夏天，按年份走七站。每一站，runtime 都多接上一样东西：测试、解释器、模型自己写的测试、工具、报错、整个环境、评估器，最后是证明检查器。走完，再回到 2026 年。

这七站不是七个孤立的故事。有三条线一直穿过它们：反馈从哪来、有多丰富；生成越便宜，检验越值钱；还有，检验本身也要被检验，到底谁来定义“对”。每到一站，我们回到这张图，看它亮在哪里。

## 完整推理

上一讲管的是输入：这一次放进去什么、由谁来放。今天管另一半，输出。模型写出来的东西，一段代码、一个算式、一次工具调用、一步证明，接到什么上，拿回什么反馈？把它跑起来、查一查、把结果送回来的这一整套，今天我们叫它 runtime。

今天这样走：从 2026 年九月出发，先回到 2021 年夏天，按年份走七站。每一站，runtime 都多接上一样东西：测试、解释器、模型自己写的测试、工具、报错、整个环境、评估器，最后是证明检查器。走完，再回到 2026 年。

这七站不是七个孤立的故事。有三条线一直穿过它们：反馈从哪来、有多丰富；生成越便宜，检验越值钱；还有，检验本身也要被检验，到底谁来定义“对”。每到一站，我们回到这张图，看它亮在哪里。

本讲的 runtime 指“接住模型输出、执行或检查、把结果送回来”的那一整套环境，比编程语言里的“运行时”宽：测试框架、解释器、工具接口、网页环境、评估器、证明检查器都算。人的接力：PAL 与 WebArena 是同一位第一作者；ReAct、Reflexion 的第一作者都在 τ-bench 的作者里；Kevin Buzzard 2024 年带人工形式化费马大定理，2026 年审了 Claude 的版本。

| 站 | 甲｜反馈从哪来、有多丰富 | 乙｜生成越便宜，检验越值钱 | 丙｜检验本身也要被检验 | 回扣 | 留给后面 |
| --- | --- | --- | --- | --- | --- |
| 开场 | — | — | — | L08 管输入 → L09 管输出 | 这五年变了什么 |
| 测试（2021） | 测试过不过 | 一题抽一百个、靠测试挑 | BLEU 量错了东西；测试只证明测到的 | L07 的 CSV 反例 | 测试从哪来（→ 自写测试）；Dijkstra 那句 |
| 解释器（2022） | 解释器算出的数 | — | 解释器只保证算术 | L07 一步步想；测试那站用执行来判 → 这站用执行来算 | 能不能让模型自己决定何时用（→ 工具接口） |
| 自写测试（2022） | 模型自己写的测试 | 没测试就让模型自己造 | 自写的测试会和代码一起错 | 测试那站的 77.5% 靠现成测试；L07 多数投票 | 自我反馈（→ 报错）、错的评估器（→ 评估器加搜索）、是不是那道题（→ 收尾） |
| 工具接口（2023） | 工具的返回 | — | “有用”按什么算 | 解释器那站写死 → 自己学；自写测试那站同一招造数据 | 工具和代码出错怎么办（→ 报错） |
| 报错（2023） | 报错，加上人写的说明 | 同预算：重抽还是读报错改 | 模型给自己的反馈不准 | 测试那站的重抽；解释器那站的只改一样；自写测试的同源盲区、L08 Reflexion；解释器那站同一件急修的另一面 | 一次修好，下次还好吗（→ 整个环境） |
| 整个环境（2023–24） | 环境的最终状态 | — | 一次成不等于次次成 | 测试那站的 BLEU；pass@k → pass^k；PAL 作者；L08 的 ReAct、Reflexion 作者 | 能自动判成败的环境能不能拿去找新东西（→ 评估器加搜索） |
| 评估器加搜索（2023–25） | 评估器的分 | 大批程序靠评估器筛、进化 | 评估器错了，搜得越狠偏得越远 | 测试那站靠测试挑 → 这站靠评估器搜；解释器那站输出是程序；工具接口那站错的尺子、L07 钻空子 | 评估器换成 Lean、生成者换成上万个 agent（→ 收尾） |
| 收尾 | Lean 的逐步检查 | 一万个 agent、1300 万行 Lean | Lean 管得了推理，管不了是不是那道题 | 测试那站的 Dijkstra 与 BLEU、自写测试、评估器加搜索；五站（测试、自写测试、报错、整个环境、评估器加搜索）与 L08 的记忆 | 2025 年发生了什么（→ L10） |

## 学生可能的回答与误区

把七站当成七个独立的技巧。它们是同一个问题“输出接到什么上、拿回什么”一步步加码，后一站常常是为了补前一站留下的缺口。

## 教学构造与出处

教学构造：七站的划分、三条线索、runtime 的这个用法，都是本讲的组织方式。

教学构造：分镜标注为“轻｜置身（全讲地图）”。

出处：同 「2026 年 9 月：两份证明，最后一关都交给了机器」（`two-proofs-in-lean`）；各站出处见各页。
