主线图:模型写出来的东西,接到什么上、拿回什么
上一讲管输入,这一讲管输出:模型写出来的东西接到什么上、拿回什么反馈;这一整套叫 runtime。七站,每站多接上一样;三条线索穿过所有站。
完整推理
上一讲管的是输入:这一次放进去什么、由谁来放。今天管另一半,输出。模型写出来的东西,一段代码、一个算式、一次工具调用、一步证明,接到什么上,拿回什么反馈?把它跑起来、查一查、把结果送回来的这一整套,今天我们叫它 runtime。
今天这样走:从 2026 年九月出发,先回到 2021 年夏天,按年份走七站。每一站,runtime 都多接上一样东西:测试、解释器、模型自己写的测试、工具、报错、整个环境、评估器,最后是证明检查器。走完,再回到 2026 年。
这七站不是七个孤立的故事。有三条线一直穿过它们:反馈从哪来、有多丰富;生成越便宜,检验越值钱;还有,检验本身也要被检验,到底谁来定义“对”。每到一站,我们回到这张图,看它亮在哪里。
本讲的 runtime 指“接住模型输出、执行或检查、把结果送回来”的那一整套环境,比编程语言里的“运行时”宽:测试框架、解释器、工具接口、网页环境、评估器、证明检查器都算。人的接力:PAL 与 WebArena 是同一位第一作者;ReAct、Reflexion 的第一作者都在 τ-bench 的作者里;Kevin Buzzard 2024 年带人工形式化费马大定理,2026 年审了 Claude 的版本。
| 站 | 甲|反馈从哪来、有多丰富 | 乙|生成越便宜,检验越值钱 | 丙|检验本身也要被检验 | 回扣 | 留给后面 |
|---|---|---|---|---|---|
| 开场 | — | — | — | L08 管输入 → L09 管输出 | 这五年变了什么 |
| 测试(2021) | 测试过不过 | 一题抽一百个、靠测试挑 | BLEU 量错了东西;测试只证明测到的 | L07 的 CSV 反例 | 测试从哪来(→ 自写测试);Dijkstra 那句 |
| 解释器(2022) | 解释器算出的数 | — | 解释器只保证算术 | L07 一步步想;测试那站用执行来判 → 这站用执行来算 | 能不能让模型自己决定何时用(→ 工具接口) |
| 自写测试(2022) | 模型自己写的测试 | 没测试就让模型自己造 | 自写的测试会和代码一起错 | 测试那站的 77.5% 靠现成测试;L07 多数投票 | 自我反馈(→ 报错)、错的评估器(→ 评估器加搜索)、是不是那道题(→ 收尾) |
| 工具接口(2023) | 工具的返回 | — | “有用”按什么算 | 解释器那站写死 → 自己学;自写测试那站同一招造数据 | 工具和代码出错怎么办(→ 报错) |
| 报错(2023) | 报错,加上人写的说明 | 同预算:重抽还是读报错改 | 模型给自己的反馈不准 | 测试那站的重抽;解释器那站的只改一样;自写测试的同源盲区、L08 Reflexion;解释器那站同一件急修的另一面 | 一次修好,下次还好吗(→ 整个环境) |
| 整个环境(2023–24) | 环境的最终状态 | — | 一次成不等于次次成 | 测试那站的 BLEU;pass@k → pass^k;PAL 作者;L08 的 ReAct、Reflexion 作者 | 能自动判成败的环境能不能拿去找新东西(→ 评估器加搜索) |
| 评估器加搜索(2023–25) | 评估器的分 | 大批程序靠评估器筛、进化 | 评估器错了,搜得越狠偏得越远 | 测试那站靠测试挑 → 这站靠评估器搜;解释器那站输出是程序;工具接口那站错的尺子、L07 钻空子 | 评估器换成 Lean、生成者换成上万个 agent(→ 收尾) |
| 收尾 | Lean 的逐步检查 | 一万个 agent、1300 万行 Lean | Lean 管得了推理,管不了是不是那道题 | 测试那站的 Dijkstra 与 BLEU、自写测试、评估器加搜索;五站(测试、自写测试、报错、整个环境、评估器加搜索)与 L08 的记忆 | 2025 年发生了什么(→ L10) |
常见误区
把七站当成七个独立的技巧。它们是同一个问题“输出接到什么上、拿回什么”一步步加码,后一站常常是为了补前一站留下的缺口。
出处
出处:同 「2026 年 9 月:两份证明,最后一关都交给了机器」(
two-proofs-in-lean);各站出处见各页。
备课稿(上屏与口述)
这一页为什么在这里
给全讲一张能回来的地图。之后每站回到它,亮起自己的位置。
上屏
- 第 1 步:中间一个“模型”方块。左侧灰色小字:第八讲|输入:这一次放进去什么、谁来放。右侧亮:第九讲|输出:写出来的东西,接到什么上?右边一个框:runtime=把它跑起来、查一查、把结果送回来;一条箭头从框回到模型(反馈)。
- 第 2 步:主线图:横向时间轴,两头都是 2026-09;左端一条虚线弧“回到 2021 年夏”。七站依次排开,每站写年份和站名(不写圈码),站名就是它接上的东西:2021 测试|2022 解释器|2022 自写测试|2023 工具接口|2023 报错|2023–24 整个环境|2023–25 评估器加搜索|收尾 2024→2026 证明检查器。
- 第 3 步:时间轴下方叠三条横线,从 ① 画到收尾、横贯七站,左端写名字;每条线在它经过的站下方打一个点(与各站站牌的线索亮法一致),这里点为灰:甲 反馈从哪来、有多丰富|乙 生成越便宜,检验越值钱|丙 检验本身也要被检验:谁来定义“对”。右端一行小字:每多接一样,能核的多一些,被骗的方式也多一样。
讲
第 1 步 · 教师可说的话
第 1 步
上一讲管的是输入:这一次放进去什么、由谁来放。今天管另一半,输出。模型写出来的东西,一段代码、一个算式、一次工具调用、一步证明,接到什么上,拿回什么反馈?把它跑起来、查一查、把结果送回来的这一整套,今天我们叫它 runtime。
第 2 步 · 教师可说的话
第 2 步
今天这样走:从 2026 年九月出发,先回到 2021 年夏天,按年份走七站。每一站,runtime 都多接上一样东西:测试、解释器、模型自己写的测试、工具、报错、整个环境、评估器,最后是证明检查器。走完,再回到 2026 年。
第 3 步 · 教师可说的话
第 3 步
这七站不是七个孤立的故事。有三条线一直穿过它们:反馈从哪来、有多丰富;生成越便宜,检验越值钱;还有,检验本身也要被检验,到底谁来定义“对”。每到一站,我们回到这张图,看它亮在哪里。
本页衔接
回扣第八讲(输入 → 输出);→ 2021 年夏:模型写的代码,怎么判对不对?。
教学构造
教学构造:七站的划分、三条线索、runtime 的这个用法,都是本讲的组织方式。
教学构造:分镜标注为“轻|置身(全讲地图)”。