---
title: "同样的预算，修不一定赢"
description: "把修复花掉的调用也算进预算，自我修复并不总是比多抽更好（MIT、微软研究院，2023）。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：示意图：横轴“花掉的样本数”，纵轴通过率；两条曲线：只抽｜抽＋修，彼此交错，有时修在上，有时抽在上。一行：同样的预算下，自我修复不总是更好。
- 第 2 步：题面：修不赢，卡在哪？两个可能：模型不会改代码｜模型看不出自己错在哪。怎么把两者分开？

## 讲

### 第 1 步 · 教师可说的话

第 1 步

两个月后，MIT 和微软研究院的人做了这个公平的比较：把修复花掉的调用也算进预算。结论很冷静：自我修复不总是更好。有时候修赢，有时候老老实实多抽几个反而更划算。为什么？一个说得通的解释，回到“测试”那一站：试一百次要的是彼此不同，温度要调高；修复却是从一个已经错了的理解出发，改来改去，容易在同一个坑里打转。重抽给你的是多样，修复给你的是信息，哪个更值钱，要看情况。你刚才的预测对了吗？

### 第 2 步 · 教师可说的话

第 2 步

那问题卡在哪？两种可能：模型不会改，或者模型看不出自己错在哪。怎么把这两种分开？想想“解释器”那一站的办法：只改一样东西。

### 本页衔接

回扣“解释器”（只改一个变量）。

### 连续教师稿原文

两个月后，MIT 和微软研究院的人做了这个公平的比较：把修复花掉的调用也算进预算。结论很冷静：自我修复不总是更好。有时候修赢，有时候老老实实多抽几个反而更划算。为什么？一个说得通的解释，回到“测试”那一站：试一百次要的是彼此不同，温度要调高；修复却是从一个已经错了的理解出发，改来改去，容易在同一个坑里打转。重抽给你的是多样，修复给你的是信息，哪个更值钱，要看情况。你刚才的预测对了吗？

那问题卡在哪？两种可能：模型不会改，或者模型看不出自己错在哪。怎么把这两种分开？想想“解释器”那一站的办法：只改一样东西。

## 完整推理

两个月后，MIT 和微软研究院的人做了这个公平的比较：把修复花掉的调用也算进预算。结论很冷静：自我修复不总是更好。有时候修赢，有时候老老实实多抽几个反而更划算。为什么？一个说得通的解释，回到“测试”那一站：试一百次要的是彼此不同，温度要调高；修复却是从一个已经错了的理解出发，改来改去，容易在同一个坑里打转。重抽给你的是多样，修复给你的是信息，哪个更值钱，要看情况。你刚才的预测对了吗？

那问题卡在哪？两种可能：模型不会改，或者模型看不出自己错在哪。怎么把这两种分开？想想“解释器”那一站的办法：只改一样东西。

Olausson et al., Is Self-Repair a Silver Bullet for Code Generation?, arXiv 2306.09896（ICLR 2024；MIT CSAIL、Microsoft Research）§4.1：在同等样本预算下，自我修复不总是最好的策略。

## 学生可能的回答与误区

“修复总值得”：要看预算。

## 教学构造与出处

教学构造：两条曲线是示意，不是论文数据；“重抽给多样、修复给信息”是本讲给的解释，不是论文的结论。

教学构造：分镜标注为“重｜揭示｜揭示在 第 1 步｜动手 LAB-B §2”。

出处：Olausson et al. 2023 §4.1。

## 动手

[LAB-B](/labs/compute-and-repair) §2。
