跑错了:再抽一个,还是读报错改?
代码跑错时,解释器给的不只是“不通过”,还有报错和失败用例;2023 年的岔路口:同样的预算,重抽,还是把报错喂回去让它改。
完整推理
“测试”那一站的办法是多试:一题抽一百次,靠测试挑。可代码跑挂的时候,解释器给你的不只是“不通过”三个字,还有报错、出错的那一行、失败的那个用例。比起那一站的“过不过”,这多了很多信息。很自然的想法:把报错喂回去,让它改。
现在你是 2023 年的研究者,手上的预算是十次模型调用。抽十个、挑过测试的;还是抽一个,跑挂了就喂报错让它改,改九次?先写下你的预测,后面三页揭晓。
把“修复”放回预算里看:一次修复要读报错、生成新代码,本身也是一次(或几次)模型调用。比较“抽”和“改”,要在同样的调用次数或同样的 token 下比。
动手
LAB-B §2:先写预测,再在同样的预算下比“重抽 k 次”和“抽 1 次、改 k−1 次”。
备课稿(上屏与口述)
这一页为什么在这里
“测试”那一站的“多试”和“解释器”那一站的“报错”在这里碰头,学生先押注、先写预测。
上屏
- 第 1 步:站牌(⑤ 亮;甲乙丙亮)。一段跑挂的代码,下面是解释器的返回(示意):IndexError: list index out of range;失败的用例:输入 [],期望 None。两张卡:A|再抽一个(“测试”那一站的多试);B|把报错和失败用例喂回去,让它改。
- 第 2 步:题面:你有 10 次调用的预算:抽 10 个,还是抽 1 个、改 9 次?先写下你的预测。
讲
第 1 步 · 教师可说的话
第 1 步
“测试”那一站的办法是多试:一题抽一百次,靠测试挑。可代码跑挂的时候,解释器给你的不只是“不通过”三个字,还有报错、出错的那一行、失败的那个用例。比起那一站的“过不过”,这多了很多信息。很自然的想法:把报错喂回去,让它改。
第 2 步 · 教师可说的话
第 2 步
现在你是 2023 年的研究者,手上的预算是十次模型调用。抽十个、挑过测试的;还是抽一个,跑挂了就喂报错让它改,改九次?先写下你的预测,后面三页揭晓。
本页衔接
回扣“测试”(多试、pass@k);回扣“解释器”(报错是解释器给的更多信息)。
教学构造
教学构造:示意代码与报错。
教学构造:分镜标注为“重|置身、抉择|穿越者时刻|揭示在 「同样的预算,修不一定赢」(
same-budget-repair)、「只换反馈的来源:修复成功率 33% → 53%」(feedback-is-bottleneck)|动手 LAB-B §2”。