---
title: "只换反馈的来源：修复成功率 33% → 53%"
description: "改代码的模型不变，只把“指出错在哪”这一步换成人写的，修复成功率从 33% 到 53%；GPT-4 给自己写的 80 条反馈里 32 条不准，人写的 7 条：卡住修复的主要是反馈的质量。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：对照示意：同一个改代码的模型（GPT-4），只换“谁来指出错在哪”：GPT-4 自己写 → 33.3%｜人写 → 52.6%。
- 第 2 步：一行：80 条反馈里不准的：GPT-4 自己写的 32 条｜人写的 7 条。判断一行（线索丙）：改代码的模型没换，反馈准了，多修好两成；瓶颈主要在反馈的质量。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

他们做的正是只换一样东西：改代码的还是同一个 GPT-4，只把“指出错在哪”这一步，从模型自己写换成人写。修复成功率从三成三涨到五成三。

### 第 2 步 · 教师可说的话

第 2 步

再看反馈本身：GPT-4 给自己写的 80 条反馈，32 条是不准的；人写的只有 7 条。改代码的模型一个字没换，诊断准了，就多修好两成。所以卡住它的主要是反馈的质量：模型看不准自己错在哪。“自写测试”那一站说过，自己给自己出题，盲区相同；这里是自己给自己挑错，还是那个盲区。上一讲 Reflexion 那页也说过：教训要靠可靠的反馈，才写得对。

### 本页衔接

回扣“自写测试”（同源盲区）；回扣第八讲（Reflexion：教训要靠可靠的反馈）。线索甲：报错之外，人写的说明；线索丙：模型给自己的反馈不准。

### 连续教师稿原文

他们做的正是只换一样东西：改代码的还是同一个 GPT-4，只把“指出错在哪”这一步，从模型自己写换成人写。修复成功率从三成三涨到五成三。

再看反馈本身：GPT-4 给自己写的 80 条反馈，32 条是不准的；人写的只有 7 条。改代码的模型一个字没换，诊断准了，就多修好两成。所以卡住它的主要是反馈的质量：模型看不准自己错在哪。“自写测试”那一站说过，自己给自己出题，盲区相同；这里是自己给自己挑错，还是那个盲区。上一讲 Reflexion 那页也说过：教训要靠可靠的反馈，才写得对。

## 完整推理

他们做的正是只换一样东西：改代码的还是同一个 GPT-4，只把“指出错在哪”这一步，从模型自己写换成人写。修复成功率从三成三涨到五成三。

再看反馈本身：GPT-4 给自己写的 80 条反馈，32 条是不准的；人写的只有 7 条。改代码的模型一个字没换，诊断准了，就多修好两成。所以卡住它的主要是反馈的质量：模型看不准自己错在哪。“自写测试”那一站说过，自己给自己出题，盲区相同；这里是自己给自己挑错，还是那个盲区。上一讲 Reflexion 那页也说过：教训要靠可靠的反馈，才写得对。

Olausson et al. §4.3（APPS 上的人工研究）：修复模型保持为 GPT-4，把它自己的反馈换成参与者写的反馈，修复成功率 33.30% → 52.60%（表 1）；对反馈的人工评定：GPT-4 的 80 条里 32 条不准，参与者的 7 条。作者的结论：瓶颈是模型给自己反馈的能力。两个边界：参与者写反馈时，看得到报错和两条 GPT-4 写的反馈（附录 D），所以人写的这一组里也含对模型反馈的复核；换成人写的反馈也只修好五成多，改的本事同样有上限。

## 学生可能的回答与误区

“让模型多反思几轮就会好”：反思的上限受反馈准不准限制。

## 教学构造与出处

教学构造：分镜标注为“重｜揭示、划边界｜揭示在 第 1 步｜动手 LAB-B §2”。

出处：Olausson et al. 2023 §4.3、表 1。

## 动手

[LAB-B](/labs/compute-and-repair) §2：把反馈换成写得更具体的版本（规则生成），看修复成功率怎么变。
