只换反馈的来源:修复成功率 33% → 53%
改代码的模型不变,只把“指出错在哪”这一步换成人写的,修复成功率从 33% 到 53%;GPT-4 给自己写的 80 条反馈里 32 条不准,人写的 7 条:卡住修复的主要是反馈的质量。
完整推理
他们做的正是只换一样东西:改代码的还是同一个 GPT-4,只把“指出错在哪”这一步,从模型自己写换成人写。修复成功率从三成三涨到五成三。
再看反馈本身:GPT-4 给自己写的 80 条反馈,32 条是不准的;人写的只有 7 条。改代码的模型一个字没换,诊断准了,就多修好两成。所以卡住它的主要是反馈的质量:模型看不准自己错在哪。“自写测试”那一站说过,自己给自己出题,盲区相同;这里是自己给自己挑错,还是那个盲区。上一讲 Reflexion 那页也说过:教训要靠可靠的反馈,才写得对。
Olausson et al. §4.3(APPS 上的人工研究):修复模型保持为 GPT-4,把它自己的反馈换成参与者写的反馈,修复成功率 33.30% → 52.60%(表 1);对反馈的人工评定:GPT-4 的 80 条里 32 条不准,参与者的 7 条。作者的结论:瓶颈是模型给自己反馈的能力。两个边界:参与者写反馈时,看得到报错和两条 GPT-4 写的反馈(附录 D),所以人写的这一组里也含对模型反馈的复核;换成人写的反馈也只修好五成多,改的本事同样有上限。
常见误区
“让模型多反思几轮就会好”:反思的上限受反馈准不准限制。
动手
LAB-B §2:把反馈换成写得更具体的版本(规则生成),看修复成功率怎么变。
出处
出处:Olausson et al. 2023 §4.3、表 1。
备课稿(上屏与口述)
这一页为什么在这里
上屏
- 第 1 步:对照示意:同一个改代码的模型(GPT-4),只换“谁来指出错在哪”:GPT-4 自己写 → 33.3%|人写 → 52.6%。
- 第 2 步:一行:80 条反馈里不准的:GPT-4 自己写的 32 条|人写的 7 条。判断一行(线索丙):改代码的模型没换,反馈准了,多修好两成;瓶颈主要在反馈的质量。
讲
第 1 步 · 教师可说的话
第 1 步
他们做的正是只换一样东西:改代码的还是同一个 GPT-4,只把“指出错在哪”这一步,从模型自己写换成人写。修复成功率从三成三涨到五成三。
第 2 步 · 教师可说的话
第 2 步
再看反馈本身:GPT-4 给自己写的 80 条反馈,32 条是不准的;人写的只有 7 条。改代码的模型一个字没换,诊断准了,就多修好两成。所以卡住它的主要是反馈的质量:模型看不准自己错在哪。“自写测试”那一站说过,自己给自己出题,盲区相同;这里是自己给自己挑错,还是那个盲区。上一讲 Reflexion 那页也说过:教训要靠可靠的反馈,才写得对。
本页衔接
回扣“自写测试”(同源盲区);回扣第八讲(Reflexion:教训要靠可靠的反馈)。线索甲:报错之外,人写的说明;线索丙:模型给自己的反馈不准。
教学构造
教学构造:分镜标注为“重|揭示、划边界|揭示在 第 1 步|动手 LAB-B §2”。