工具、代码与可验证反馈 · 教师连续稿
2026 年 9 月:两份证明,最后一关都交给了机器
先说两条九月的新闻。九月四号,费马大定理被完整地形式化了:AI 大约用了十一天,写出一千三百万行 Lean,交给 Lean 一步一步地检查,通过了。四天以后,又一份 Navier–Stokes 方程的证明连同 Lean 文件公布出来,背后是上万个并行的 agent。这一份还有争议,Clay 研究所还没有认定,我们最后细讲。
把时间往回拨五年。2021 年夏天,模型写的代码,还只能拿 164 道小题去判对不对。这五年到底变了什么?只是模型变强了吗?
主线图:模型写出来的东西,接到什么上、拿回什么
上一讲管的是输入:这一次放进去什么、由谁来放。今天管另一半,输出。模型写出来的东西,一段代码、一个算式、一次工具调用、一步证明,接到什么上,拿回什么反馈?把它跑起来、查一查、把结果送回来的这一整套,今天我们叫它 runtime。
今天这样走:从 2026 年九月出发,先回到 2021 年夏天,按年份走七站。每一站,runtime 都多接上一样东西:测试、解释器、模型自己写的测试、工具、报错、整个环境、评估器,最后是证明检查器。走完,再回到 2026 年。
这七站不是七个孤立的故事。有三条线一直穿过它们:反馈从哪来、有多丰富;生成越便宜,检验越值钱;还有,检验本身也要被检验,到底谁来定义“对”。每到一站,我们回到这张图,看它亮在哪里。
2021 年夏:模型写的代码,怎么判对不对?
2021 年夏天,OpenAI 手里有一个专门拿 GitHub 代码训练过的模型,后来叫 Codex。要写论文,先得回答一个朴素的问题:它写的代码,怎么判对不对?现成的尺子是机器翻译用了很多年的 BLEU:拿一份参考答案,数一数你写的和它有多少片段重合,便宜、快、不用跑。另一条路麻烦得多:自己出题,每道题写几条测试,真跑一遍;要人手,还得找个安全的地方,去跑一段来历不明的代码。你在这个团队里,押哪条?
先别急着选。假如你觉得 BLEU 不行,审稿人会问:证据呢?什么实验能说明它不行?(停一下)拿一批已经知道对错的程序,算它们的 BLEU,看这个分数能不能把对的和错的分开。分不开,这把尺子量的就不是我们关心的东西。
分不开:像不像,和对不对是两回事
他们就是这么做的。结果两条分布几乎叠在一起。一段代码可以和参考答案只差一个字符,却跑不通;也可以写法完全不同,却完全正确。
所以他们走了第二条路,手写了 164 道题,平均每道 7.7 条测试,这就是后来人人都用的 HumanEval。为什么非要手写?训练数据里有大半个 GitHub,网上现成的题,答案模型很可能早就见过。有意思的是,不止他们这么选:同年五月的 APPS,八月 Google 的 MBPP,也都是跑测试判对错。三拨人,前后三个月,都扔掉了“像不像”。代码是少有的、对错能让机器自己核对的输出,这个便宜不占白不占。
拿 HumanEval 一测:GPT-3 一道都写不对,开源的 GPT-J 一成多,Codex 只交一次,对的不到三成。注意这个“对”:不是看着对,是测试跑过了。论文给它起了名字,叫功能正确。这一步看着平常,其实换掉了评价的对象:以前评文字像不像,现在评程序做没做成。这就是“测试”这一站:把模型写出来的东西,接到一个会回话的东西上。
多试几次,对的往往就在里面;难的是挑出来
再换个问法:让它对同一道题试一百次,只要有一次对就算,能做出来的题一下子到了七成左右。这个指标叫 pass@k。对的东西,往往已经在一百个候选里了。
可真用的时候只能交一个。一百个里怎么挑?按模型自己的把握,选它自己觉得最可能对的,四成多一点;让测试来挑,七成七。可验证的反馈在这里第一次显出分量:它不只给你打分,还能替你挑。注意,这个 77.5% 用的是现成的、正确的测试。手上要是没有测试呢?记住这个问题,到“自写测试”那一站回答。
半年后,DeepMind 的 AlphaCode 把这条路推到了编程竞赛:一题生成海量程序,用题目给的样例筛掉大半,再聚类,挑出十个交上去,排名大约在参赛者中间。从这里起,有一条线会一直走到收尾:生成越来越便宜,检验就越来越值钱。
边界:跑代码先要一个笼子;测试只证明它测到的
要跑来历不明的代码,先得有个笼子。他们用了一种隔离更严的容器,再用防火墙把网络掐断:生成的程序经常是错的,网上的代码也不知道是谁写的。从这一天起,给模型写的代码准备一个能安全运行的地方,就成了搭这类系统的第一步。
还有一条边界,第七讲已经撞上过:三个旧测试全过的候选,换一个带引号和逗号的输入,就全挂了。Dijkstra 五十多年前就说过:测试能证明有错,不能证明没错。所以“测试跑过了”是比“看着像”强得多的证据,但它有范围,说的时候要带上范围。这句话先记着,收尾的时候,我们会在 Lean 那里再碰到它。
回来:今天评代码都在跑;我们也有自己的 BLEU
回到今天。现在没有谁再拿像不像来评代码了,都是跑。HumanEval 本身到 2024 年就被做到九成以上,题太简单,大家转去测模型能不能在真实的代码仓库里修好一个 bug,这是第十讲的事。评测都在隔离、断网的沙箱里跑。还有个巧合:2025 年五月,Codex 这个名字又回来了,这回是一个编程 agent,每个任务在自己的隔离容器里干活,和 2021 年那个笼子一脉相承。
再回到我们自己。我们也犯过 BLEU 式的错。上周估第八讲能讲多久,按页数是一百分钟;一数口述的字数,九千六百字左右,按每分钟两百字,五十分钟上下,结果课上我自己又补了不少。页数就是我们的 BLEU:好数,数的却不是我们关心的东西。改成数字数以后,又出了新问题:设计的 AI 把字数当成了要填满的目标,往每一站里填字。量什么,和让它去追什么,是两回事。
还有个习惯也是从这里来的。我们让 AI 施工,交回来的东西第一句必须写清楚它证明到了哪一级:只是能构建、能打开,还是我们按要求看过了,还是我说行了,还是已经真上过课。这四级不能互相冒充,就像测试跑过不等于看着像。你们用 AI 做研究也一样:先问这个指标量的是不是你关心的那件事,再问它证明到了哪一级。
2022:算术交给谁?
第七讲讲过,一步步想,让模型会解应用题了。可你仔细看它错的地方,很多时候思路是对的,最后一步乘法算错了。2022 年的岔路口:让模型继续一步步算,想得再仔细些;还是让它写一段程序,把算交给 Python?
先别选,先想怎么证明。你说它错在算术、不在思路,什么实验能分清?(停一下)同一个模型、同一批题,只改一件事:计算在哪里做。再狠一点,把题里的数字换成很大的数,思路完全不变,只让算术变难。哪条掉得多,毛病就在哪。
把数字换大:一步步算和写程序各掉多少?
他们就这么做的。同一个模型,小学数学应用题,一步步算 65.6%,写程序交给 Python 72.0%,差得不算多。先猜:把数字换大,两条各掉多少?
把题里的一个数换成最多七位的大数:一步步算的掉到 23.1%,写程序的只掉到 61.2%。思路没变,变的只是算术的难度;掉得多的那条,毛病就在算术上。
他们还人工翻了 25 个一步步算错的例子,16 个思路和原题一模一样,就是算错了。样本不大,但方向一致。边界也要说清:解释器只保证算术。程序的逻辑写错了,它会非常忠实地给你算出一个错的数。“测试”那一站用执行来判,这一站用执行来算;执行能担保的,都只是它管的那一段。
回来:模型自己决定什么时候去算;数字让它写代码算
回到今天。2025 年四月出来的 o3 这类推理模型,想到一半会自己去跑一段 Python,算完接着想。什么时候该去跑,是用强化学习教出来的。2022 年是人写死“一律交给解释器”,今天变成模型自己判断。
我们天天用这一招。上周一课前,我在 Firefox 里打开课件,表格塌了。我们没让 AI 看截图说“好像差不多”,而是让它写脚本,把两个浏览器里 116 个画面的每个元素位置逐个量出来,差在哪一目了然。凡是数字,让它写代码去量、去算,别让它心算,也别让它看图估。你们做数据分析也一样。
留一个问题:这一站是人规定什么时候用解释器。工具一多,能不能让模型自己决定什么时候该用?到“工具接口”那一站回答。
没人写测试,反馈从哪来?
回到“测试”那一站的 77.5%。用测试挑,靠的是人写好的、正确的测试。可真实世界里,你让模型写一个新函数,手上往往只有一句说明,没有测试。反馈从哪来?2022 年夏天,微软的一组人想了个办法:模型会写代码,也会写测试,那就让同一个模型再写一批测试,让代码和测试互相印证。
自己出题自己考,听着就有点悬。要证明它有用,和谁比?最自然的对手,就是“测试”那一站的“按模型自己的把握挑”。还要想它怎么失败:代码和测试出自同一个模型,会不会一起错?
代码和测试互相印证;可同源的会一起错
结果是有用的,至少平均来看。同一个模型,HumanEval 只交一次,从 47% 提到将近 66%。原理就是互相印证:好几段代码都通过同一批测试,这批测试和这些代码大概率都对,像几个证人说法一致。
可这几个证人并不独立。测试和代码出自同一个模型:它误解了题意,就会写出错的代码,也写出配套的错测试;错的那一组人多势众,正确的反而落选。论文管这叫有毒测试。在较小的模型上,164 道题里有 53 道,正确的代码不在得分最高的那组。同源的检查,有同样的盲区。
回来:施工的不验自己的活;检查也要被检查
今天,让 AI 先写测试、再写代码,已经是编程 agent 的常规动作。可谁来验这些测试?这个问题从 2022 年到今天,还没真正解决。
我们做课件的办法很朴素:施工的 AI 不验自己的活,另有一个检查的 AI 来验,最后我来拍板。这就是在打破同源。可检查的也会错:有一回,检查的 AI 把正当的论文出处判成了违规。修法不是把检查关掉,是把检查改准。检查本身,也要被检查。
这一站留下三个问题,我们一路带着走:模型给自己的反馈靠得住吗?评估器本身错了怎么办?还有最狠的一个:证明的,到底是不是那道题?
什么时候该用工具,谁说了算?
“解释器”那一站,什么时候交给它,是人规定的。可工具一多,计算器、搜索、翻译、日历,你没法给每种情况写规则,也标不过来那么多数据。2023 年初,Meta 的 Toolformer 押了第三条路:让模型自己试着调用,只留下真帮上忙的那些,拿来训练自己。
关键是“帮上忙”怎么量。答对了没有?那得每句话都有标准答案。人觉得有用?太贵。他们选了一个很巧的量法:插进这次调用的结果以后,后面那段文字是不是更好预测了。更好预测,说明这次调用带来了模型自己没有的信息,留下;否则扔掉。这把尺子有什么问题?先想一想。
6.7B 用上计算器,数学题胜过 175B;问答仍输
数学题上很漂亮:同样 67 亿参数,学会用计算器以后,三个测试集从个位数涨到三四十,超过了大二十多倍的 GPT-3。
问答上却仍然输给 GPT-3。模型太小也不行,大约七亿多参数以下,学不会用工具。它也只会一次调一个,不会把几个工具串起来,也不会看了返回再追问。
这一站要带走的是那把尺子。“有用”按什么算,本身就是一个选择。Toolformer 的尺子是后面的文字更好预测,不是题答对了。尺子选得巧,便宜、能自动;可它量的和你关心的,总隔着一段距离。
回来:接口统一了;“有用”的尺子我们也选错过
回到今天。Toolformer 把调用写成训练数据里的特殊记号;同一年六月,函数调用成了标准接口:模型输出一个函数名和一串 JSON 参数,程序去执行。2024 年底有了 MCP,一个连接工具和数据源的开放协议,去年底捐给了 Linux 基金会。o3 则用强化学习学什么时候该用。接口统一了,可该不该用、用得对不对,还是要靠反馈。
我们做课件,AI 就是通过 MCP 读写笔记和 notebook 的,钥匙和用量握在人手里。说个我们自己的错:我点名要用一个文档框架,施工的 AI 测了一下,说构建三页要 5.8 秒、比自己写的慢 20 倍,就只借了它的形式;设计的 AI 当时也点了头。错在哪?拿构建速度当“有用”的尺子,可我们要的是一份源、同时给人读也给 AI 读的那一套。尺子选错了,后面做得再快也是白做。
下一站:工具会出错,代码会出错,出错了怎么办?
跑错了:再抽一个,还是读报错改?
“测试”那一站的办法是多试:一题抽一百次,靠测试挑。可代码跑挂的时候,解释器给你的不只是“不通过”三个字,还有报错、出错的那一行、失败的那个用例。比起那一站的“过不过”,这多了很多信息。很自然的想法:把报错喂回去,让它改。
现在你是 2023 年的研究者,手上的预算是十次模型调用。抽十个、挑过测试的;还是抽一个,跑挂了就喂报错让它改,改九次?先写下你的预测,后面三页揭晓。
读报错改,确实有用;可“抵得上多抽十倍”在哪比过?
2023 年四月,Google 和伯克利的一组人做了 Self-Debugging:让模型看执行结果,用自己的话把代码解释一遍,再改。写 Python、把 C++ 翻成 Python、写 SQL,三个任务都涨了,翻译那个涨了十多个点。
他们还说,这能抵得上多抽十倍以上的样本。你要追问:这句话在哪比过?只在写 SQL 那一个任务上直接比过。要回答你刚才的预测,得在同样的预算下比:同样多的调用,改和抽,谁赢?
同样的预算,修不一定赢
两个月后,MIT 和微软研究院的人做了这个公平的比较:把修复花掉的调用也算进预算。结论很冷静:自我修复不总是更好。有时候修赢,有时候老老实实多抽几个反而更划算。为什么?一个说得通的解释,回到“测试”那一站:试一百次要的是彼此不同,温度要调高;修复却是从一个已经错了的理解出发,改来改去,容易在同一个坑里打转。重抽给你的是多样,修复给你的是信息,哪个更值钱,要看情况。你刚才的预测对了吗?
那问题卡在哪?两种可能:模型不会改,或者模型看不出自己错在哪。怎么把这两种分开?想想“解释器”那一站的办法:只改一样东西。
只换反馈的来源:修复成功率 33% → 53%
他们做的正是只换一样东西:改代码的还是同一个 GPT-4,只把“指出错在哪”这一步,从模型自己写换成人写。修复成功率从三成三涨到五成三。
再看反馈本身:GPT-4 给自己写的 80 条反馈,32 条是不准的;人写的只有 7 条。改代码的模型一个字没换,诊断准了,就多修好两成。所以卡住它的主要是反馈的质量:模型看不准自己错在哪。“自写测试”那一站说过,自己给自己出题,盲区相同;这里是自己给自己挑错,还是那个盲区。上一讲 Reflexion 那页也说过:教训要靠可靠的反馈,才写得对。
回来:反馈越具体,修得越快
回到今天。你用的编程 agent,主循环就是这个:跑一下,读报错,改,再跑。第十讲我们把它拆开看。
我们做课件也天天在这个循环里。还是上周一那次急修,“解释器”那一站讲过它怎么量,这里讲它怎么报。上午十一点半,我发过去的是一张截图、三个链接,说清是哪个浏览器。AI 拿到这些,在两个浏览器里把 116 个画面逐个比对,定位到 3 页 8 个画面、一行样式,十二点二十上线验完,前后 45 分钟。要是我只说一句“有个表格好像不对”,不会这么快。反馈越具体,修得越快。
还有一次更说明问题。这一讲的主线,第一版七站连成了一条线,设计的 AI 自己查了好几遍,没看出毛病;我一句“要织成网,不是连成线”,就扳回来了。这就是刚才那个 33% 到 53%:模型看不准自己,人给的那一句准的反馈,值钱。留个问题:一次修好了,下次还好吗?
一串操作做完了:看过程像不像,还是看世界最后的样子?
第八讲看过 ReAct 这类 agent 边想边查的演示;演示很惊艳,可演示给你看的,往往是成功的那一次。到 2023 年,模型要做的事不再是写一个函数,而是在一个网站上完成一串操作:搜索、点开、填表、下单。怎么判它做成没有?一条路:拿人示范的操作序列来比,像不像;另一条:不管它怎么点,最后去查世界变成了什么样:订单在不在,地址对不对。2023 年你来搭这个评测,押哪条?
想想“测试”那一站。比操作序列像不像,这不就是 BLEU 又回来了吗?同一个结果可以有很多种点法;点法很像,也可能最后一步把地址填错了。
按最终结果判:最好的 agent 能做成几成?
2023 年七月出来的 WebArena 选了第二条路:几类真实网站的可复现版本,购物、论坛、代码协作、内容管理,每次都能重置到同一个状态;每个任务后面挂一个检查器,直接去查数据库和页面,看任务做成了没有。为什么非要能重置?同一个任务要能拿来比不同的 agent,也要能重跑;这和“测试”那一站手写新题、把代码关进笼子是一个道理:检验要能重复。
结果:最好的 GPT-4 agent 做成 14%,人是 78%。看着像在操作,和真的做成,差得很远。第一作者 Shuyan Zhou,也是“解释器”那一站 PAL 的作者:同一个人,从让解释器来算,走到让整个环境来判。
成一次,还是次次成?
一年后,2024 年六月,τ-bench 把环境再推一步:agent 当客服,对面的用户也由模型扮演;聊完了,去比数据库最后的样子,和标注的目标对不对得上。
它还提了一个新记号。还记得“测试”那一站的 pass@k 吗?k 次里至少成一次,那是研究里看能力。τ-bench 反过来:k 次全都成,记作 pass^k,这是部署里看可靠。你的客服 agent,一百个顾客里错一个,也是错。gpt-4o 的成功率不到一半;零售场景里,同一个任务连做八次全成的,不到四分之一。
作者里有两位第八讲的老熟人:ReAct 的第一作者,Reflexion 的第一作者。上周看他们教 agent 边想边查、写下教训;这一回,他们回过头去量它到底靠不靠得住。一次成,不等于次次成。
回来:每个学生、每一次,都要对
回到今天。2024 年十月起,几家公司先后放出了能操作浏览器、甚至整台电脑的 agent。到这一步,大家关心的不再是它能不能做成一次,而是是不是每次都做成。编程 agent 也一样,它的环境就是你的代码仓库和终端,第十讲细看。
我们自己也吃过这个亏。第八讲的课件站上,一度有两个封面:从一条路进去是新的,从另一条路进去,又回到了旧封面。我点一下能打开,那只是 pass@1。学生有几十个,浏览器不一样,从哪个链接进来也不一样,我们要的是每个学生、每一次都对。所以现在推群之前,会在真实的 Firefox 里按一张清单,把关键路径走一遍。
再往前一步:既然环境能自动判成败,能不能反过来用它?让机器在里面大量地试,去找人还没找到的东西。下一站。
开放的数学题:让模型直接解,还是写程序、评估器打分、一代代改?
走到这里,我们已经有了能自动判成败的环境。能不能反过来,用它去找人还没找到的东西?拿一个开放的数学问题,叫帽集:在一个高维的格子里挑尽量多的点,要求任意三点不共线。第 8 维,人知道的最好记录是 496 个点。直接问大模型?它会一本正经地编。另一条路:模型不给答案,只写“构造答案的程序”;评估器跑这段程序,查造出来的点合不合格、数有多少,打分;分高的程序当范例,让模型接着改,一代一代进化。你押哪条?
第二条要成立,问题得满足什么?(停一下)能自动打分。有没有标准答案反而不要紧:评估器只要会查、会数。
FunSearch:第 8 维找到 512 个点,交出人看得懂的程序
2023 年十二月,DeepMind 的 FunSearch 就走了第二条路。模型负责提程序,评估器负责运行、检查、打分,编出来的东西过不了评估器这一关;高分的程序留下当范例,模型接着改。在第 8 维,它找到了 512 个点的帽集,比此前已知的 496 多。和“测试”那一站比一比:那时是从一百个候选里挑一个交卷;这里挑出来的不交卷,拿去当下一代的范例,挑变成了搜。生成越便宜,检验越值钱;到这一站,检验直接决定了往哪里搜。
还有一点特别值得说:它交出来的不是一大堆点,而是一段很短的程序。数学家能读这段程序,从里面看出构造的规律。输出是能执行的程序,“解释器”那一站就见过它的好处:程序能跑,能查,也能读。
AlphaEvolve:评估器在哪里,这套方法就走到哪里
一年半后,2025 年五月,AlphaEvolve 把这套做法从一个函数扩到整段代码。4×4 的复数矩阵相乘,Strassen 1969 年的做法要 49 次乘法,它找到了 48 次。五十多个开放的数学问题,大约四分之三追平已知最好,五分之一超过。它还用在了自家的数据中心:一条调度规则,持续收回了大约 0.7% 的算力。
但请注意他们自己划的边界:只做能写成算法、能自动验证的问题。这句话就是这一站的要害:评估器在哪里,这套方法就走到哪里。没有评估器的地方,它寸步难行。
评估器错了:搜得越狠,偏得越远
反过来想:搜索只认评估器给的分。评估器要是量偏了,比如只在很小的例子上测,搜索越强,越会找到专门讨好这个评估器、真实情况下却不行的东西。分数一路涨,真本事先涨后跌。
这在第七讲见过:一个永远返回 True 的检查;推理模型学会了钻空子。“工具接口”那一站,我们自己也犯过:拿构建速度当“有用”的尺子。评估器本身,也要被检验。Deepnote 里有个练习:你亲手把评估器改错,看搜索会不会被它带偏。
回来:我们的课件生产线,也是带评估器的搜索
AlphaEvolve 今天在数据中心和数学里干活。我们自己的事,也是同一个结构。
这门课的课件就是这样做出来的:施工的 AI 生成一版,机器先查一遍,画面有没有溢出、链接断没断、口述多少字;检查的 AI 再看;最后我判它好不好讲;然后改下一版。机器能查的,我们尽量写成检查,让它每次自动跑;可“好不好讲”,现在只有我能判。这条线,正好就是 AlphaEvolve 自己划的那条边界。“工具接口”那一站那把错尺子,也是在这条线上出的事。
所以问大家一个问题,可以课后想:你的研究里,什么能写成评估器?什么不能?能写成评估器的那部分,就是 AI 能放手大量去试的部分。收尾,我们看评估器换成证明检查器、生成者换成上万个 agent,会发生什么。
从 IMO 说起:译成 Lean 能机器核但慢,自然语言快但要人核
收尾回到数学。2024 年七月,DeepMind 的 AlphaProof 在国际数学奥林匹克上拿到银牌水平,28 分;但题目要先由专家译成 Lean,有的题算了两三天,好处是每一步都被 Lean 核过。这和“测试”那一站是一个路数:要让机器能核,先得把题写成机器能跑的样子,那时是手写测试,这里是手译成 Lean;谁来写这一份,谁就在定义“对”。一年后,Gemini Deep Think 直接用自然语言做题,4.5 小时内答完,官方阅卷 35 分,金牌水平;这一回,核对靠人阅卷。
你更信哪一个?一个快,要人一题题地核;一个慢,机器能核到最后一步。可要是证明长到几百万行,人还核得过来吗?
2026-09-04:费马大定理,11 天,约 1300 万行 Lean
九月四号那件事是怎么做成的?中间是一张依赖图:只写每条定理的陈述和它依赖谁,证明另放,每条配一段自然语言说明。四周是许多 agent,并行地领一个节点、写证明,写完交给 Lean 检查。人只是偶尔给一点高层的指示。
大约十一天,一千三百万行 Lean,是 Mathlib 整个库的五倍多;证了三万多条定理,最后用到两万九千五百条。最终的定理只依赖三条标准公理;它的陈述和 Mathlib 里人写的费马大定理陈述做了比对,一致;Kevin Buzzard 审过。Buzzard 自己 2024 年就带人开工形式化费马大定理,原本预计要好几年。还有一个细节,和第八讲直接相连:早先没有这张依赖图的尝试,跑着跑着项目状态就丢了,记忆和协作都退化。进度放在 agent 外面,不靠哪个 agent 记着。
Lean 核得了每一步推理,核不了证的是不是那道题
Lean 管的是:从陈述到证明,每一步推理有没有错。这一层,机器能核,而且比人核得可靠。可上面还有三件事,它管不了。第一,证的是不是那道题:费马那边,陈述要和人写的 Mathlib 比对;Navier–Stokes 这边,争的恰恰是题面的版本。第二,人读不读得懂:Anthropic 自己说,形式化代替不了人读得懂的阐述,这份证明可能比需要的长得多。第三,功劳归谁。
还记得“测试”那一站 Dijkstra 那句话吗?测试能证明有错,不能证明没错。五十多年后,Lean 做到了另一半:能证明对所有情况都成立。但只对你写下的那个陈述。从“测试”那一站的 BLEU,到“自写测试”的有毒测试,到“评估器加搜索”的错评估器,再到这里,是同一条线:检验本身也要被检验。什么算“对”,最后还得人定。
现在整件事怎么做:许多 agent、外面的依赖图、检查器把关、人定题面
把这两件事放在一起看,2026 年整件事是这么做的:人给方向、写题面、核陈述;进度和依赖放在一张图里,放在 agent 外面;许多 agent 并行地干;最后一关交给检查器。今天走过的每一站都在这张图里:笼子和测试,长成了 Lean 内核;谁来写检查,变成了陈述比对;对着报错改,变成对着 Lean 的报错改;看最终状态,变成看最终定理只依赖哪几条公理;评估器加搜索,变成上万个 agent。上一讲说记忆可以放在外面,这里放在外面的,是整个项目的进度。
我们做课件,是这张图的小号版。我写的是题面:什么算一堂好课。工作包是一张依赖图,状态写在笔记里,不靠哪个 agent 记着,这是第七讲那次上下文爆炸以后改的。施工的、检查的 AI 各干各的,最后机器检查加我验收把关。
给大家留三件课后就能做的事。让 AI 动手之前,先写清楚怎样算做好、用什么来查;它交回来的时候,让它说清楚证明到了哪一级;凡是数字,让它写代码算。
回到主线图:带一句话回 2021;2025 年发生了什么?
回到这张图。我们从 2026 年九月出发,回到 2021 年夏天,一站一站走回来。开头问的是:这五年变了什么?变的不只是模型,是它接上的 runtime:能核的越来越多,能放手让 AI 干的就越来越多;可每多接一样,被骗的方式也多一样,什么算对,最后还得人定。留一个讨论:如果你能带一句话回 2021 年,告诉写 Codex 论文的那个团队,你会说哪一句?
最后埋个伏笔。费马大定理那件事,跑在一个基于 Claude Code 的多 agent 框架上;Navier–Stokes 的优先权之争里,数学家之前用的也是 Claude 和 Codex。Codex 这个名字,2021 年是一个写代码的模型,2025 年变成了一个在容器里干活的 agent;Claude Code 是 2025 年初出来的。今天走过的七站,测试、解释器、自写的测试、工具、报错、环境、评估器,最后都拧进了终端里的一个工具。2025 年到底发生了什么?下周我们把它拆开看。