---
title: "读报错改，确实有用；可“抵得上多抽十倍”在哪比过？"
description: "让模型读执行结果、用自己的话解释代码再改（Self-Debugging，2023-04），三类任务都涨了；但“抵得上多抽十倍以上”只在一个任务上直接比过。要公平，得同预算。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：一张小表（Codex，2023）：任务｜不改｜读执行结果再改。写 Python（MBPP）61.4 → 69.8｜C++ 译成 Python（TransCoder）80.4 → 92.5｜写 SQL（Spider）81.3 → 84.1。
- 第 2 步：一行：论文说，可以抵得上多抽十倍以上的样本，但只在写 SQL 上直接比过。题面：要公平，该怎么比？（同样的预算）

## 讲

### 第 1 步 · 教师可说的话

第 1 步

2023 年四月，Google 和伯克利的一组人做了 Self-Debugging：让模型看执行结果，用自己的话把代码解释一遍，再改。写 Python、把 C++ 翻成 Python、写 SQL，三个任务都涨了，翻译那个涨了十多个点。

### 第 2 步 · 教师可说的话

第 2 步

他们还说，这能抵得上多抽十倍以上的样本。你要追问：这句话在哪比过？只在写 SQL 那一个任务上直接比过。要回答你刚才的预测，得在同样的预算下比：同样多的调用，改和抽，谁赢？

### 本页衔接

设计检验：同预算（→ [同样的预算，修不一定赢](/same-budget-repair)）。

### 连续教师稿原文

2023 年四月，Google 和伯克利的一组人做了 Self-Debugging：让模型看执行结果，用自己的话把代码解释一遍，再改。写 Python、把 C++ 翻成 Python、写 SQL，三个任务都涨了，翻译那个涨了十多个点。

他们还说，这能抵得上多抽十倍以上的样本。你要追问：这句话在哪比过？只在写 SQL 那一个任务上直接比过。要回答你刚才的预测，得在同样的预算下比：同样多的调用，改和抽，谁赢？

## 完整推理

2023 年四月，Google 和伯克利的一组人做了 Self-Debugging：让模型看执行结果，用自己的话把代码解释一遍，再改。写 Python、把 C++ 翻成 Python、写 SQL，三个任务都涨了，翻译那个涨了十多个点。

他们还说，这能抵得上多抽十倍以上的样本。你要追问：这句话在哪比过？只在写 SQL 那一个任务上直接比过。要回答你刚才的预测，得在同样的预算下比：同样多的调用，改和抽，谁赢？

Chen et al., Teaching Large Language Models to Self-Debug, arXiv 2304.05128（所见 v2 2023-10-05；Google DeepMind、UC Berkeley）：表 2 中 Codex 在 MBPP 61.4 → 69.8、TransCoder 80.4 → 92.5、Spider 81.3 → 84.1；让模型解释代码，类似“小黄鸭调试”。“抵得上 10 倍以上采样”只有 Spider 的图 6a 直接支持。

## 学生可能的回答与误区

“能改就比重抽好”：没有同预算的比较，说不出来。

## 教学构造与出处

教学构造：分镜标注为“重｜揭示、设计检验｜揭示在 第 1 步｜动手 LAB-B §2”。

出处：Chen et al. 2023（arXiv 2304.05128）表 2、图 6a。

## 动手

[LAB-B](/labs/compute-and-repair) §2。
