跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

跑错了:再抽一个,还是读报错改?

代码跑错时,解释器给的不只是“不通过”,还有报错和失败用例;2023 年的岔路口:同样的预算,重抽,还是把报错喂回去让它改。

在课堂中打开

完整推理

“测试”那一站的办法是多试:一题抽一百次,靠测试挑。可代码跑挂的时候,解释器给你的不只是“不通过”三个字,还有报错、出错的那一行、失败的那个用例。比起那一站的“过不过”,这多了很多信息。很自然的想法:把报错喂回去,让它改。

现在你是 2023 年的研究者,手上的预算是十次模型调用。抽十个、挑过测试的;还是抽一个,跑挂了就喂报错让它改,改九次?先写下你的预测,后面三页揭晓。

把“修复”放回预算里看:一次修复要读报错、生成新代码,本身也是一次(或几次)模型调用。比较“抽”和“改”,要在同样的调用次数或同样的 token 下比。

动手

LAB-B §2:先写预测,再在同样的预算下比“重抽 k 次”和“抽 1 次、改 k−1 次”。

备课稿(上屏与口述)

这一页为什么在这里

“测试”那一站的“多试”和“解释器”那一站的“报错”在这里碰头,学生先押注、先写预测。

上屏

  • 第 1 步:站牌(⑤ 亮;甲乙丙亮)。一段跑挂的代码,下面是解释器的返回(示意):IndexError: list index out of range;失败的用例:输入 [],期望 None。两张卡:A|再抽一个(“测试”那一站的多试);B|把报错和失败用例喂回去,让它改。
  • 第 2 步:题面:你有 10 次调用的预算:抽 10 个,还是抽 1 个、改 9 次?先写下你的预测。

讲

第 1 步 · 教师可说的话

第 1 步

“测试”那一站的办法是多试:一题抽一百次,靠测试挑。可代码跑挂的时候,解释器给你的不只是“不通过”三个字,还有报错、出错的那一行、失败的那个用例。比起那一站的“过不过”,这多了很多信息。很自然的想法:把报错喂回去,让它改。

第 2 步 · 教师可说的话

第 2 步

现在你是 2023 年的研究者,手上的预算是十次模型调用。抽十个、挑过测试的;还是抽一个,跑挂了就喂报错让它改,改九次?先写下你的预测,后面三页揭晓。

本页衔接

回扣“测试”(多试、pass@k);回扣“解释器”(报错是解释器给的更多信息)。

教学构造

  • 教学构造:示意代码与报错。

  • 教学构造:分镜标注为“重|置身、抉择|穿越者时刻|揭示在 「同样的预算,修不一定赢」(same-budget-repair)、「只换反馈的来源:修复成功率 33% → 53%」(feedback-is-bottleneck)|动手 LAB-B §2”。