同样的预算,修不一定赢
把修复花掉的调用也算进预算,自我修复并不总是比多抽更好(MIT、微软研究院,2023)。
完整推理
两个月后,MIT 和微软研究院的人做了这个公平的比较:把修复花掉的调用也算进预算。结论很冷静:自我修复不总是更好。有时候修赢,有时候老老实实多抽几个反而更划算。为什么?一个说得通的解释,回到“测试”那一站:试一百次要的是彼此不同,温度要调高;修复却是从一个已经错了的理解出发,改来改去,容易在同一个坑里打转。重抽给你的是多样,修复给你的是信息,哪个更值钱,要看情况。你刚才的预测对了吗?
那问题卡在哪?两种可能:模型不会改,或者模型看不出自己错在哪。怎么把这两种分开?想想“解释器”那一站的办法:只改一样东西。
Olausson et al., Is Self-Repair a Silver Bullet for Code Generation?, arXiv 2306.09896(ICLR 2024;MIT CSAIL、Microsoft Research)§4.1:在同等样本预算下,自我修复不总是最好的策略。
常见误区
“修复总值得”:要看预算。
动手
LAB-B §2。
出处
出处:Olausson et al. 2023 §4.1。
备课稿(上屏与口述)
这一页为什么在这里
上屏
- 第 1 步:示意图:横轴“花掉的样本数”,纵轴通过率;两条曲线:只抽|抽+修,彼此交错,有时修在上,有时抽在上。一行:同样的预算下,自我修复不总是更好。
- 第 2 步:题面:修不赢,卡在哪?两个可能:模型不会改代码|模型看不出自己错在哪。怎么把两者分开?
讲
第 1 步 · 教师可说的话
第 1 步
两个月后,MIT 和微软研究院的人做了这个公平的比较:把修复花掉的调用也算进预算。结论很冷静:自我修复不总是更好。有时候修赢,有时候老老实实多抽几个反而更划算。为什么?一个说得通的解释,回到“测试”那一站:试一百次要的是彼此不同,温度要调高;修复却是从一个已经错了的理解出发,改来改去,容易在同一个坑里打转。重抽给你的是多样,修复给你的是信息,哪个更值钱,要看情况。你刚才的预测对了吗?
第 2 步 · 教师可说的话
第 2 步
那问题卡在哪?两种可能:模型不会改,或者模型看不出自己错在哪。怎么把这两种分开?想想“解释器”那一站的办法:只改一样东西。
本页衔接
回扣“解释器”(只改一个变量)。
教学构造
教学构造:两条曲线是示意,不是论文数据;“重抽给多样、修复给信息”是本讲给的解释,不是论文的结论。
教学构造:分镜标注为“重|揭示|揭示在 第 1 步|动手 LAB-B §2”。