跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

回来:施工的不验自己的活;检查也要被检查

今天让 AI 先写测试再写代码已是常规,谁来验测试仍没解决;我们的办法是施工的 AI 不验自己的活,另设检查的 AI,而检查本身也要被检查。

在课堂中打开

完整推理

今天,让 AI 先写测试、再写代码,已经是编程 agent 的常规动作。可谁来验这些测试?这个问题从 2022 年到今天,还没真正解决。

我们做课件的办法很朴素:施工的 AI 不验自己的活,另有一个检查的 AI 来验,最后我来拍板。这就是在打破同源。可检查的也会错:有一回,检查的 AI 把正当的论文出处判成了违规。修法不是把检查关掉,是把检查改准。检查本身,也要被检查。

这一站留下三个问题,我们一路带着走:模型给自己的反馈靠得住吗?评估器本身错了怎么办?还有最狠的一个:证明的,到底是不是那道题?

打破同源的几种办法:换一个模型来检查;换一种信息来源(人写的规格、独立的测试);让检查者看不到生成者的推理。代价是成本和协调。第七讲讲过的“永远返回 True 的检查”是检查失效的极端情形。

常见误区

“加一道检查就安全了”:检查和生成同源时盲区相同;检查自己也会误判。

动手

课后一步:让 AI 写测试时,先自己写一两个它可能没想到的边界情况,看它的测试有没有覆盖。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:今天一句:先写测试再写代码,已是编程 agent 的常规;谁来验这些测试,还没解决。
  • 第 2 步:我们(流程示意,泛称):设计的 AI 写要求 → 施工的 AI 做 → 检查的 AI 验(不是同一个)→ 定方向的人拍板。一行:检查也会错;要把检查改准,不是关掉。
  • 第 3 步:一行三问,一路带着走:反馈靠得住吗?(→ 报错)|评估器错了呢?(→ 评估器加搜索)|证的是不是那道题?(→ 收尾)

讲

第 1 步 · 教师可说的话

第 1 步

今天,让 AI 先写测试、再写代码,已经是编程 agent 的常规动作。可谁来验这些测试?这个问题从 2022 年到今天,还没真正解决。

第 2 步 · 教师可说的话

第 2 步

我们做课件的办法很朴素:施工的 AI 不验自己的活,另有一个检查的 AI 来验,最后我来拍板。这就是在打破同源。可检查的也会错:有一回,检查的 AI 把正当的论文出处判成了违规。修法不是把检查关掉,是把检查改准。检查本身,也要被检查。

第 3 步 · 教师可说的话

第 3 步

这一站留下三个问题,我们一路带着走:模型给自己的反馈靠得住吗?评估器本身错了怎么办?还有最狠的一个:证明的,到底是不是那道题?

本页衔接

→ 报错(只换反馈的来源:修复成功率 33% → 53%)、评估器加搜索(评估器错了:搜得越狠,偏得越远)、收尾(Lean 核得了每一步推理,核不了证的是不是那道题)。

教学构造

  • 教学构造:“我们”一拍是本课程课件生产线的真实做法,角色泛称。

  • 教学构造:分镜标注为“中|回来”。