跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

同样的预算,修不一定赢

把修复花掉的调用也算进预算,自我修复并不总是比多抽更好(MIT、微软研究院,2023)。

在课堂中打开

完整推理

两个月后,MIT 和微软研究院的人做了这个公平的比较:把修复花掉的调用也算进预算。结论很冷静:自我修复不总是更好。有时候修赢,有时候老老实实多抽几个反而更划算。为什么?一个说得通的解释,回到“测试”那一站:试一百次要的是彼此不同,温度要调高;修复却是从一个已经错了的理解出发,改来改去,容易在同一个坑里打转。重抽给你的是多样,修复给你的是信息,哪个更值钱,要看情况。你刚才的预测对了吗?

那问题卡在哪?两种可能:模型不会改,或者模型看不出自己错在哪。怎么把这两种分开?想想“解释器”那一站的办法:只改一样东西。

Olausson et al., Is Self-Repair a Silver Bullet for Code Generation?, arXiv 2306.09896(ICLR 2024;MIT CSAIL、Microsoft Research)§4.1:在同等样本预算下,自我修复不总是最好的策略。

常见误区

“修复总值得”:要看预算。

动手

LAB-B §2。

出处

  • 出处:Olausson et al. 2023 §4.1。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:示意图:横轴“花掉的样本数”,纵轴通过率;两条曲线:只抽|抽+修,彼此交错,有时修在上,有时抽在上。一行:同样的预算下,自我修复不总是更好。
  • 第 2 步:题面:修不赢,卡在哪?两个可能:模型不会改代码|模型看不出自己错在哪。怎么把两者分开?

讲

第 1 步 · 教师可说的话

第 1 步

两个月后,MIT 和微软研究院的人做了这个公平的比较:把修复花掉的调用也算进预算。结论很冷静:自我修复不总是更好。有时候修赢,有时候老老实实多抽几个反而更划算。为什么?一个说得通的解释,回到“测试”那一站:试一百次要的是彼此不同,温度要调高;修复却是从一个已经错了的理解出发,改来改去,容易在同一个坑里打转。重抽给你的是多样,修复给你的是信息,哪个更值钱,要看情况。你刚才的预测对了吗?

第 2 步 · 教师可说的话

第 2 步

那问题卡在哪?两种可能:模型不会改,或者模型看不出自己错在哪。怎么把这两种分开?想想“解释器”那一站的办法:只改一样东西。

本页衔接

回扣“解释器”(只改一个变量)。

教学构造

  • 教学构造:两条曲线是示意,不是论文数据;“重抽给多样、修复给信息”是本讲给的解释,不是论文的结论。

  • 教学构造:分镜标注为“重|揭示|揭示在 第 1 步|动手 LAB-B §2”。