跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

只换反馈的来源:修复成功率 33% → 53%

改代码的模型不变,只把“指出错在哪”这一步换成人写的,修复成功率从 33% 到 53%;GPT-4 给自己写的 80 条反馈里 32 条不准,人写的 7 条:卡住修复的主要是反馈的质量。

在课堂中打开

完整推理

他们做的正是只换一样东西:改代码的还是同一个 GPT-4,只把“指出错在哪”这一步,从模型自己写换成人写。修复成功率从三成三涨到五成三。

再看反馈本身:GPT-4 给自己写的 80 条反馈,32 条是不准的;人写的只有 7 条。改代码的模型一个字没换,诊断准了,就多修好两成。所以卡住它的主要是反馈的质量:模型看不准自己错在哪。“自写测试”那一站说过,自己给自己出题,盲区相同;这里是自己给自己挑错,还是那个盲区。上一讲 Reflexion 那页也说过:教训要靠可靠的反馈,才写得对。

Olausson et al. §4.3(APPS 上的人工研究):修复模型保持为 GPT-4,把它自己的反馈换成参与者写的反馈,修复成功率 33.30% → 52.60%(表 1);对反馈的人工评定:GPT-4 的 80 条里 32 条不准,参与者的 7 条。作者的结论:瓶颈是模型给自己反馈的能力。两个边界:参与者写反馈时,看得到报错和两条 GPT-4 写的反馈(附录 D),所以人写的这一组里也含对模型反馈的复核;换成人写的反馈也只修好五成多,改的本事同样有上限。

常见误区

“让模型多反思几轮就会好”:反思的上限受反馈准不准限制。

动手

LAB-B §2:把反馈换成写得更具体的版本(规则生成),看修复成功率怎么变。

出处

  • 出处:Olausson et al. 2023 §4.3、表 1。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:对照示意:同一个改代码的模型(GPT-4),只换“谁来指出错在哪”:GPT-4 自己写 → 33.3%|人写 → 52.6%。
  • 第 2 步:一行:80 条反馈里不准的:GPT-4 自己写的 32 条|人写的 7 条。判断一行(线索丙):改代码的模型没换,反馈准了,多修好两成;瓶颈主要在反馈的质量。

讲

第 1 步 · 教师可说的话

第 1 步

他们做的正是只换一样东西:改代码的还是同一个 GPT-4,只把“指出错在哪”这一步,从模型自己写换成人写。修复成功率从三成三涨到五成三。

第 2 步 · 教师可说的话

第 2 步

再看反馈本身:GPT-4 给自己写的 80 条反馈,32 条是不准的;人写的只有 7 条。改代码的模型一个字没换,诊断准了,就多修好两成。所以卡住它的主要是反馈的质量:模型看不准自己错在哪。“自写测试”那一站说过,自己给自己出题,盲区相同;这里是自己给自己挑错,还是那个盲区。上一讲 Reflexion 那页也说过:教训要靠可靠的反馈,才写得对。

本页衔接

回扣“自写测试”(同源盲区);回扣第八讲(Reflexion:教训要靠可靠的反馈)。线索甲:报错之外,人写的说明;线索丙:模型给自己的反馈不准。

教学构造

  • 教学构造:分镜标注为“重|揭示、划边界|揭示在 第 1 步|动手 LAB-B §2”。