跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

主线图:模型写出来的东西,接到什么上、拿回什么

上一讲管输入,这一讲管输出:模型写出来的东西接到什么上、拿回什么反馈;这一整套叫 runtime。七站,每站多接上一样;三条线索穿过所有站。

在课堂中打开

完整推理

上一讲管的是输入:这一次放进去什么、由谁来放。今天管另一半,输出。模型写出来的东西,一段代码、一个算式、一次工具调用、一步证明,接到什么上,拿回什么反馈?把它跑起来、查一查、把结果送回来的这一整套,今天我们叫它 runtime。

今天这样走:从 2026 年九月出发,先回到 2021 年夏天,按年份走七站。每一站,runtime 都多接上一样东西:测试、解释器、模型自己写的测试、工具、报错、整个环境、评估器,最后是证明检查器。走完,再回到 2026 年。

这七站不是七个孤立的故事。有三条线一直穿过它们:反馈从哪来、有多丰富;生成越便宜,检验越值钱;还有,检验本身也要被检验,到底谁来定义“对”。每到一站,我们回到这张图,看它亮在哪里。

本讲的 runtime 指“接住模型输出、执行或检查、把结果送回来”的那一整套环境,比编程语言里的“运行时”宽:测试框架、解释器、工具接口、网页环境、评估器、证明检查器都算。人的接力:PAL 与 WebArena 是同一位第一作者;ReAct、Reflexion 的第一作者都在 τ-bench 的作者里;Kevin Buzzard 2024 年带人工形式化费马大定理,2026 年审了 Claude 的版本。

站 甲|反馈从哪来、有多丰富 乙|生成越便宜,检验越值钱 丙|检验本身也要被检验 回扣 留给后面
开场 — — — L08 管输入 → L09 管输出 这五年变了什么
测试(2021) 测试过不过 一题抽一百个、靠测试挑 BLEU 量错了东西;测试只证明测到的 L07 的 CSV 反例 测试从哪来(→ 自写测试);Dijkstra 那句
解释器(2022) 解释器算出的数 — 解释器只保证算术 L07 一步步想;测试那站用执行来判 → 这站用执行来算 能不能让模型自己决定何时用(→ 工具接口)
自写测试(2022) 模型自己写的测试 没测试就让模型自己造 自写的测试会和代码一起错 测试那站的 77.5% 靠现成测试;L07 多数投票 自我反馈(→ 报错)、错的评估器(→ 评估器加搜索)、是不是那道题(→ 收尾)
工具接口(2023) 工具的返回 — “有用”按什么算 解释器那站写死 → 自己学;自写测试那站同一招造数据 工具和代码出错怎么办(→ 报错)
报错(2023) 报错,加上人写的说明 同预算:重抽还是读报错改 模型给自己的反馈不准 测试那站的重抽;解释器那站的只改一样;自写测试的同源盲区、L08 Reflexion;解释器那站同一件急修的另一面 一次修好,下次还好吗(→ 整个环境)
整个环境(2023–24) 环境的最终状态 — 一次成不等于次次成 测试那站的 BLEU;pass@k → pass^k;PAL 作者;L08 的 ReAct、Reflexion 作者 能自动判成败的环境能不能拿去找新东西(→ 评估器加搜索)
评估器加搜索(2023–25) 评估器的分 大批程序靠评估器筛、进化 评估器错了,搜得越狠偏得越远 测试那站靠测试挑 → 这站靠评估器搜;解释器那站输出是程序;工具接口那站错的尺子、L07 钻空子 评估器换成 Lean、生成者换成上万个 agent(→ 收尾)
收尾 Lean 的逐步检查 一万个 agent、1300 万行 Lean Lean 管得了推理,管不了是不是那道题 测试那站的 Dijkstra 与 BLEU、自写测试、评估器加搜索;五站(测试、自写测试、报错、整个环境、评估器加搜索)与 L08 的记忆 2025 年发生了什么(→ L10)

常见误区

把七站当成七个独立的技巧。它们是同一个问题“输出接到什么上、拿回什么”一步步加码,后一站常常是为了补前一站留下的缺口。

出处

  • 出处:同 「2026 年 9 月:两份证明,最后一关都交给了机器」(two-proofs-in-lean);各站出处见各页。

备课稿(上屏与口述)

这一页为什么在这里

给全讲一张能回来的地图。之后每站回到它,亮起自己的位置。

上屏

  • 第 1 步:中间一个“模型”方块。左侧灰色小字:第八讲|输入:这一次放进去什么、谁来放。右侧亮:第九讲|输出:写出来的东西,接到什么上?右边一个框:runtime=把它跑起来、查一查、把结果送回来;一条箭头从框回到模型(反馈)。
  • 第 2 步:主线图:横向时间轴,两头都是 2026-09;左端一条虚线弧“回到 2021 年夏”。七站依次排开,每站写年份和站名(不写圈码),站名就是它接上的东西:2021 测试|2022 解释器|2022 自写测试|2023 工具接口|2023 报错|2023–24 整个环境|2023–25 评估器加搜索|收尾 2024→2026 证明检查器。
  • 第 3 步:时间轴下方叠三条横线,从 ① 画到收尾、横贯七站,左端写名字;每条线在它经过的站下方打一个点(与各站站牌的线索亮法一致),这里点为灰:甲 反馈从哪来、有多丰富|乙 生成越便宜,检验越值钱|丙 检验本身也要被检验:谁来定义“对”。右端一行小字:每多接一样,能核的多一些,被骗的方式也多一样。

讲

第 1 步 · 教师可说的话

第 1 步

上一讲管的是输入:这一次放进去什么、由谁来放。今天管另一半,输出。模型写出来的东西,一段代码、一个算式、一次工具调用、一步证明,接到什么上,拿回什么反馈?把它跑起来、查一查、把结果送回来的这一整套,今天我们叫它 runtime。

第 2 步 · 教师可说的话

第 2 步

今天这样走:从 2026 年九月出发,先回到 2021 年夏天,按年份走七站。每一站,runtime 都多接上一样东西:测试、解释器、模型自己写的测试、工具、报错、整个环境、评估器,最后是证明检查器。走完,再回到 2026 年。

第 3 步 · 教师可说的话

第 3 步

这七站不是七个孤立的故事。有三条线一直穿过它们:反馈从哪来、有多丰富;生成越便宜,检验越值钱;还有,检验本身也要被检验,到底谁来定义“对”。每到一站,我们回到这张图,看它亮在哪里。

本页衔接

回扣第八讲(输入 → 输出);→ 2021 年夏:模型写的代码,怎么判对不对?。

教学构造

  • 教学构造:七站的划分、三条线索、runtime 的这个用法,都是本讲的组织方式。

  • 教学构造:分镜标注为“轻|置身(全讲地图)”。