跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

读报错改,确实有用;可“抵得上多抽十倍”在哪比过?

让模型读执行结果、用自己的话解释代码再改(Self-Debugging,2023-04),三类任务都涨了;但“抵得上多抽十倍以上”只在一个任务上直接比过。要公平,得同预算。

在课堂中打开

完整推理

2023 年四月,Google 和伯克利的一组人做了 Self-Debugging:让模型看执行结果,用自己的话把代码解释一遍,再改。写 Python、把 C++ 翻成 Python、写 SQL,三个任务都涨了,翻译那个涨了十多个点。

他们还说,这能抵得上多抽十倍以上的样本。你要追问:这句话在哪比过?只在写 SQL 那一个任务上直接比过。要回答你刚才的预测,得在同样的预算下比:同样多的调用,改和抽,谁赢?

Chen et al., Teaching Large Language Models to Self-Debug, arXiv 2304.05128(所见 v2 2023-10-05;Google DeepMind、UC Berkeley):表 2 中 Codex 在 MBPP 61.4 → 69.8、TransCoder 80.4 → 92.5、Spider 81.3 → 84.1;让模型解释代码,类似“小黄鸭调试”。“抵得上 10 倍以上采样”只有 Spider 的图 6a 直接支持。

常见误区

“能改就比重抽好”:没有同预算的比较,说不出来。

动手

LAB-B §2。

出处

  • 出处:Chen et al. 2023(arXiv 2304.05128)表 2、图 6a。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:一张小表(Codex,2023):任务|不改|读执行结果再改。写 Python(MBPP)61.4 → 69.8|C++ 译成 Python(TransCoder)80.4 → 92.5|写 SQL(Spider)81.3 → 84.1。
  • 第 2 步:一行:论文说,可以抵得上多抽十倍以上的样本,但只在写 SQL 上直接比过。题面:要公平,该怎么比?(同样的预算)

讲

第 1 步 · 教师可说的话

第 1 步

2023 年四月,Google 和伯克利的一组人做了 Self-Debugging:让模型看执行结果,用自己的话把代码解释一遍,再改。写 Python、把 C++ 翻成 Python、写 SQL,三个任务都涨了,翻译那个涨了十多个点。

第 2 步 · 教师可说的话

第 2 步

他们还说,这能抵得上多抽十倍以上的样本。你要追问:这句话在哪比过?只在写 SQL 那一个任务上直接比过。要回答你刚才的预测,得在同样的预算下比:同样多的调用,改和抽,谁赢?

本页衔接

设计检验:同预算(→ 同样的预算,修不一定赢)。

教学构造

  • 教学构造:分镜标注为“重|揭示、设计检验|揭示在 第 1 步|动手 LAB-B §2”。