# Coding with AI · Lecture 09 > 工具、代码与可验证反馈 ## Docs - [工具、代码与可验证反馈](https://codingai-lec09.pages.dev/): Coding with AI · Fall 2026 ## 开场(轻) - [2026 年 9 月:两份证明,最后一关都交给了机器](https://codingai-lec09.pages.dev/two-proofs-in-lean): 2026 年 9 月,费马大定理的完整形式化和一份 Navier–Stokes 证明先后公布,最后一关都是 Lean 的机器检查。 - [主线图:模型写出来的东西,接到什么上、拿回什么](https://codingai-lec09.pages.dev/runtime-map): 上一讲管输入,这一讲管输出:模型写出来的东西接到什么上、拿回什么反馈;这一整套叫 runtime。七站,每站多接上一样;三条线索穿过所有站。 ## ① 2021:写对了没有,跑一遍才算数(重) - [2021 年夏:模型写的代码,怎么判对不对?](https://codingai-lec09.pages.dev/bleu-or-run): 2021 年要评价会写代码的模型,面前有两条路:和参考答案比像不像(BLEU),或者自己出题、写测试、真跑一遍。 - [分不开:像不像,和对不对是两回事](https://codingai-lec09.pages.dev/functional-correctness): BLEU 分不开对的和错的程序;于是他们手写 164 道题、按测试判“功能正确”。同年另两拨人做了同样的选择。 - [多试几次,对的往往就在里面;难的是挑出来](https://codingai-lec09.pages.dev/sample-and-pick): 一题让模型试一百次,约七成的题至少有一次写对;可交卷只能交一个:按模型自己的把握挑约 44.5%,用测试挑约 77.5%。生成便宜之后,检验开始值钱。 - [边界:跑代码先要一个笼子;测试只证明它测到的](https://codingai-lec09.pages.dev/sandbox-and-test-scope): 跑来历不明的代码,先要一个隔离的环境;测试是比“看着像”强得多的证据,但只到它测到的情况为止。 - [回来:今天评代码都在跑;我们也有自己的 BLEU](https://codingai-lec09.pages.dev/our-own-bleu): 今天评代码一律靠跑,而且在隔离的沙箱里跑;我们做课件也犯过 BLEU 式的错:量了好量的,没量关心的;量对了以后,又把它当成了要追的目标。 ## ② 2022:算术交给谁(中) - [2022:算术交给谁?](https://codingai-lec09.pages.dev/who-does-arithmetic): 一步步想让模型会解应用题了,但常在算数上出错;2022 年的岔路口是:让模型继续一步步算,还是让它写程序、交给 Python 算。 - [把数字换大:一步步算和写程序各掉多少?](https://codingai-lec09.pages.dev/pal-gsm-hard): 同一个模型、同一批题,写程序(72.0%)比一步步算(65.6%)高;把数字换大,一步步算掉到 23.1%,写程序的只掉到 61.2%:错主要在算术。 - [回来:模型自己决定什么时候去算;数字让它写代码算](https://codingai-lec09.pages.dev/interpreter-today): 今天的推理模型想到一半会自己去跑 Python;我们让 AI 做课件,凡是数字都让它写代码去量、去算。 ## ③ 2022:没人写测试,反馈从哪来(中) - [没人写测试,反馈从哪来?](https://codingai-lec09.pages.dev/no-tests-given): “测试”那一站的“用测试挑”靠的是现成的正确测试,真实任务大多没有;2022 年有人让同一个模型再写一批测试,让代码和测试互相印证。 - [代码和测试互相印证;可同源的会一起错](https://codingai-lec09.pages.dev/codet-agreement): 代码和自写的测试互相印证(CodeT),HumanEval 只交一次的通过率从 47.0% 提到 65.8%;但测试和代码同源,“有毒测试”会让错的代码胜出。 - [回来:施工的不验自己的活;检查也要被检查](https://codingai-lec09.pages.dev/checker-is-not-builder): 今天让 AI 先写测试再写代码已是常规,谁来验测试仍没解决;我们的办法是施工的 AI 不验自己的活,另设检查的 AI,而检查本身也要被检查。 ## ④ 2023:什么时候用工具,谁说了算(中) - [什么时候该用工具,谁说了算?](https://codingai-lec09.pages.dev/when-to-call-tools): “解释器”那一站是人规定“一律交给解释器”;工具一多,2023 年的 Toolformer 让模型自己试着调用,只留下“让后文更好预测”的那些,拿来训练自己。 - [6.7B 用上计算器,数学题胜过 175B;问答仍输](https://codingai-lec09.pages.dev/toolformer-results): 按“让后文更好预测”筛出来的调用,让 67 亿参数的模型在数学应用题上胜过 1750 亿参数的 GPT-3;问答仍然输;约 7.75 亿参数以下的模型学不会用工具。 - [回来:接口统一了;“有用”的尺子我们也选错过](https://codingai-lec09.pages.dev/from-json-to-mcp): 工具调用从训练数据里的特殊记号,变成 JSON 函数调用(2023-06),再到 MCP(2024-11);接口统一了,“该不该用、用得对不对”仍靠反馈。我们自己选工具时,也拿错过“有用”的尺子。 ## ⑤ 2023:跑错了,重抽还是读报错改(重) - [跑错了:再抽一个,还是读报错改?](https://codingai-lec09.pages.dev/resample-or-repair): 代码跑错时,解释器给的不只是“不通过”,还有报错和失败用例;2023 年的岔路口:同样的预算,重抽,还是把报错喂回去让它改。 - [读报错改,确实有用;可“抵得上多抽十倍”在哪比过?](https://codingai-lec09.pages.dev/self-debugging): 让模型读执行结果、用自己的话解释代码再改(Self-Debugging,2023-04),三类任务都涨了;但“抵得上多抽十倍以上”只在一个任务上直接比过。要公平,得同预算。 - [同样的预算,修不一定赢](https://codingai-lec09.pages.dev/same-budget-repair): 把修复花掉的调用也算进预算,自我修复并不总是比多抽更好(MIT、微软研究院,2023)。 - [只换反馈的来源:修复成功率 33% → 53%](https://codingai-lec09.pages.dev/feedback-is-bottleneck): 改代码的模型不变,只把“指出错在哪”这一步换成人写的,修复成功率从 33% 到 53%;GPT-4 给自己写的 80 条反馈里 32 条不准,人写的 7 条:卡住修复的主要是反馈的质量。 - [回来:反馈越具体,修得越快](https://codingai-lec09.pages.dev/specific-feedback): 今天编程 agent 都在“跑、读报错、改”;我们做课件也一样:一份具体的反馈让一次急修 45 分钟完成,一句点中要害的话扳回了 AI 自查看不出的毛病。 ## ⑥ 2023–24:整个环境(重) - [一串操作做完了:看过程像不像,还是看世界最后的样子?](https://codingai-lec09.pages.dev/process-or-final-state): 当模型要在网站上完成一串操作,判它做成没有有两条路:和示范的操作序列比像不像,或者检查世界最后的状态。 - [按最终结果判:最好的 agent 能做成几成?](https://codingai-lec09.pages.dev/webarena-results): WebArena(2023-07)搭了一组可复现的真实网站,按任务最终是否完成来判;最好的 GPT-4 agent 14.4%,人 78.2%。 - [成一次,还是次次成?](https://codingai-lec09.pages.dev/pass-hat-k): τ-bench(2024-06)让模型模拟用户、比对数据库的最终状态,并提出 pass^k:同一任务 k 次都成的比例;gpt-4o 成功率不到五成,零售场景 pass^8 不到 25%。 - [回来:每个学生、每一次,都要对](https://codingai-lec09.pages.dev/every-student-every-time): 今天会操作浏览器和电脑的 agent 已经出来,大家开始看“次次成”;我们推课件前在真实 Firefox 里走一遍关键路径,因为要的是每个学生每一次都对。 ## ⑦ 2023–25:评估器加搜索(重) - [开放的数学题:让模型直接解,还是写程序、评估器打分、一代代改?](https://codingai-lec09.pages.dev/solve-or-search): 直接让大模型解开放问题,它会编;2023 年的另一条路是:模型只负责提出程序,评估器负责运行和打分,进化搜索负责一代代改进。 - [FunSearch:第 8 维找到 512 个点,交出人看得懂的程序](https://codingai-lec09.pages.dev/funsearch-cap-set): FunSearch(2023-12)用“模型提程序+评估器打分+进化”,在第 8 维找到 512 个点的帽集(此前 496),交出的是人读得懂的程序。 - [AlphaEvolve:评估器在哪里,这套方法就走到哪里](https://codingai-lec09.pages.dev/alphaevolve-boundary): AlphaEvolve(2025-05)把这套做法从一个函数扩到整段代码:4×4 复数矩阵相乘降到 48 次乘法,五十多个开放问题约 75% 追平、约 20% 超过已知最好;它只做能写成算法、能自动验证的问题。 - [评估器错了:搜得越狠,偏得越远](https://codingai-lec09.pages.dev/wrong-evaluator): 搜索只认评估器的分;评估器量偏了,搜索越强,越会找到专门讨好评估器、真实情况下不行的东西。 - [回来:我们的课件生产线,也是带评估器的搜索](https://codingai-lec09.pages.dev/what-can-be-an-evaluator): AlphaEvolve 今天在数据中心和数学里干活;我们的课件生产线也是“生成+评估器+迭代”:溢出、断链、字数机器能查,“好不好讲”只有老师能判,这正是 AlphaEvolve 划的那条边界。 ## 收尾:数学的 runtime,从 IMO 到 2026 年 9 月(重) - [从 IMO 说起:译成 Lean 能机器核但慢,自然语言快但要人核](https://codingai-lec09.pages.dev/imo-formal-or-informal): 2024 年 AlphaProof 拿到 IMO 银牌水平,但题目要先由专家译成 Lean、有的题算了两三天;2025 年 Gemini Deep Think 用自然语言在 4.5 小时内拿到金牌水平,核对靠人阅卷。 - [2026-09-04:费马大定理,11 天,约 1300 万行 Lean](https://codingai-lec09.pages.dev/fermat-in-lean): Anthropic 公布:Claude 的内部研究模型在基于 Claude Code 的多 agent 框架上,约 11 天、几乎自主地完成费马大定理的完整 Lean 形式化;进度和依赖放在 agent 外面的依赖图里,Lean 内核把最后一关。 - [2026-09-08:Navier–Stokes,一万个 agent,88 小时——一个主张](https://codingai-lec09.pages.dev/navier-stokes-claim): OpenAI 公布:未发布的内部模型、约一万个并发 agent、88 小时得到一份 Navier–Stokes 证明(主张证明官方表述的 C:带光滑外力的情形会在有限时间内出现奇点),另用约 17 小时完成 Lean 形式化与检查;Clay 研究所尚未认定,优先权和“带外力算不算那道题”都有争议。 - [Lean 核得了每一步推理,核不了证的是不是那道题](https://codingai-lec09.pages.dev/what-lean-cannot-check): Lean 把“推理有没有错”交给了机器;陈述是不是那道题、证明人读不读得懂、功劳归谁,仍要人来定。 - [现在整件事怎么做:许多 agent、外面的依赖图、检查器把关、人定题面](https://codingai-lec09.pages.dev/how-it-is-done-now): 2026 年的做法:许多 agent 并行;进度和依赖放在 agent 外面;检查器把最后一关;人给方向、写题面、核陈述。我们的课件生产线是同一个结构的小号版本。 - [回到主线图:带一句话回 2021;2025 年发生了什么?](https://codingai-lec09.pages.dev/what-changed-since-codex): 从 2021 年的 164 道小题到 2026 年的 1300 万行 Lean,变的不只是模型,是它接上的 runtime;七站最后都拧进了终端里的一个工具,2025 年发生了什么,下一讲拆开看。 ## 动手实践 - [动手实践](https://codingai-lec09.pages.dev/labs): 课程配套实践 - [跑一遍才算数](https://codingai-lec09.pages.dev/labs/run-it-to-count): 像不像对跑不跑;pass@k;有毒测试与独立测试。 - [让解释器算、让报错说话](https://codingai-lec09.pages.dev/labs/compute-and-repair): 心算对解释器;同预算重抽对读报错改;反馈具体程度。 - [评估器带着搜索](https://codingai-lec09.pages.dev/labs/evaluator-and-search): 在线装箱搜索与错误评估器;调用结果对后文损失的影响。 - [PokeAgent(选做)](https://codingai-lec09.pages.dev/labs/pokeagent-optional): 把策略写成函数、跑接口样例、跑一局、比两版策略的 pass^k。 ## Agent skills - [coding-with-ai-lecture-09](https://codingai-lec09.pages.dev/.well-known/agent-skills/coding-with-ai-lecture-09/SKILL.md): Read the Coding with AI · Lecture 09 docs instead of answering from memory. 工具、代码与可验证反馈 Use when a task involves Coding with AI · Lecture 09: how it works, how to set it up or configure it, or its API. ## Agent resources - [llms-full.txt](https://codingai-lec09.pages.dev/llms-full.txt): The full Markdown of every page in one file. - [Page Markdown](https://codingai-lec09.pages.dev/index.md): Append `.md` to any page URL to fetch that page as raw Markdown. - [JSON API](https://codingai-lec09.pages.dev/api/docs/pages.json): Page index of the JSON docs API; each entry links the page's JSON and Markdown forms. Described by the OpenAPI document at https://codingai-lec09.pages.dev/openapi.json. - [Agent skills](https://codingai-lec09.pages.dev/.well-known/agent-skills/index.json): Agent Skills discovery index of the skills this site publishes. - [API catalog](https://codingai-lec09.pages.dev/.well-known/api-catalog): RFC 9727 linkset of the APIs documented here. - [AI catalog](https://codingai-lec09.pages.dev/.well-known/ai-catalog.json): ARD manifest of the agent-facing resources on this site (MCP server, skills, APIs). - [agent-readability.json](https://codingai-lec09.pages.dev/agent-readability.json): Manifest of every agent-facing artifact on this site. - [Sitemap](https://codingai-lec09.pages.dev/sitemap.xml): Every indexable page URL with its last-modified date.