回来:施工的不验自己的活;检查也要被检查
今天让 AI 先写测试再写代码已是常规,谁来验测试仍没解决;我们的办法是施工的 AI 不验自己的活,另设检查的 AI,而检查本身也要被检查。
完整推理
今天,让 AI 先写测试、再写代码,已经是编程 agent 的常规动作。可谁来验这些测试?这个问题从 2022 年到今天,还没真正解决。
我们做课件的办法很朴素:施工的 AI 不验自己的活,另有一个检查的 AI 来验,最后我来拍板。这就是在打破同源。可检查的也会错:有一回,检查的 AI 把正当的论文出处判成了违规。修法不是把检查关掉,是把检查改准。检查本身,也要被检查。
这一站留下三个问题,我们一路带着走:模型给自己的反馈靠得住吗?评估器本身错了怎么办?还有最狠的一个:证明的,到底是不是那道题?
打破同源的几种办法:换一个模型来检查;换一种信息来源(人写的规格、独立的测试);让检查者看不到生成者的推理。代价是成本和协调。第七讲讲过的“永远返回 True 的检查”是检查失效的极端情形。
常见误区
“加一道检查就安全了”:检查和生成同源时盲区相同;检查自己也会误判。
动手
课后一步:让 AI 写测试时,先自己写一两个它可能没想到的边界情况,看它的测试有没有覆盖。
备课稿(上屏与口述)
这一页为什么在这里
上屏
- 第 1 步:今天一句:先写测试再写代码,已是编程 agent 的常规;谁来验这些测试,还没解决。
- 第 2 步:我们(流程示意,泛称):设计的 AI 写要求 → 施工的 AI 做 → 检查的 AI 验(不是同一个)→ 定方向的人拍板。一行:检查也会错;要把检查改准,不是关掉。
- 第 3 步:一行三问,一路带着走:反馈靠得住吗?(→ 报错)|评估器错了呢?(→ 评估器加搜索)|证的是不是那道题?(→ 收尾)
讲
第 1 步 · 教师可说的话
第 1 步
今天,让 AI 先写测试、再写代码,已经是编程 agent 的常规动作。可谁来验这些测试?这个问题从 2022 年到今天,还没真正解决。
第 2 步 · 教师可说的话
第 2 步
我们做课件的办法很朴素:施工的 AI 不验自己的活,另有一个检查的 AI 来验,最后我来拍板。这就是在打破同源。可检查的也会错:有一回,检查的 AI 把正当的论文出处判成了违规。修法不是把检查关掉,是把检查改准。检查本身,也要被检查。
第 3 步 · 教师可说的话
第 3 步
这一站留下三个问题,我们一路带着走:模型给自己的反馈靠得住吗?评估器本身错了怎么办?还有最狠的一个:证明的,到底是不是那道题?
本页衔接
→ 报错(只换反馈的来源:修复成功率 33% → 53%)、评估器加搜索(评估器错了:搜得越狠,偏得越远)、收尾(Lean 核得了每一步推理,核不了证的是不是那道题)。
教学构造
教学构造:“我们”一拍是本课程课件生产线的真实做法,角色泛称。
教学构造:分镜标注为“中|回来”。