跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

6.7B 用上计算器,数学题胜过 175B;问答仍输

按“让后文更好预测”筛出来的调用,让 67 亿参数的模型在数学应用题上胜过 1750 亿参数的 GPT-3;问答仍然输;约 7.75 亿参数以下的模型学不会用工具。

在课堂中打开

完整推理

数学题上很漂亮:同样 67 亿参数,学会用计算器以后,三个测试集从个位数涨到三四十,超过了大二十多倍的 GPT-3。

问答上却仍然输给 GPT-3。模型太小也不行,大约七亿多参数以下,学不会用工具。它也只会一次调一个,不会把几个工具串起来,也不会看了返回再追问。

这一站要带走的是那把尺子。“有用”按什么算,本身就是一个选择。Toolformer 的尺子是后面的文字更好预测,不是题答对了。尺子选得巧,便宜、能自动;可它量的和你关心的,总隔着一段距离。

表 4(数学):ASDiv / SVAMP / MAWPS 上 GPT-J 7.5 / 5.2 / 9.9,Toolformer 40.4 / 29.4 / 44.0,OPT-66B 6.0 / 4.9 / 7.9,GPT-3 175B 14.0 / 10.0 / 19.8。表 5(问答):Toolformer 仍不如 GPT-3(如 WebQS 26.3 对 29.0)。§4.4、图 4:约 7.75 亿参数以下几乎不会用工具。§7 局限:不能串联多个工具、不能和工具交互、样本效率低。

常见误区

“工具越多越好”;“Toolformer 的筛法量的是正确性”。

动手

LAB-C §3:再换一句问答类的句子,看为什么插入调用结果不一定降低损失。

出处

  • 出处:Schick et al. 2023,表 4、表 5、§4.4、§7。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:一张表(数学应用题,三个测试集):GPT-J 6.7B 7.5 / 5.2 / 9.9|Toolformer 6.7B 40.4 / 29.4 / 44.0|GPT-3 175B 14.0 / 10.0 / 19.8。
  • 第 2 步:两行边界:问答上 Toolformer 仍输 GPT-3(如 26.3 对 29.0)|约 7.75 亿参数以下学不会用工具。再一行:一次只调一个工具,不会串联,也不会看了返回再追问。
  • 第 3 步:一行判断(线索丙):“有用”按什么算,本身就是一个选择:Toolformer 的尺子是“后文更好预测”,不是“答对了”。

讲

第 1 步 · 教师可说的话

第 1 步

数学题上很漂亮:同样 67 亿参数,学会用计算器以后,三个测试集从个位数涨到三四十,超过了大二十多倍的 GPT-3。

第 2 步 · 教师可说的话

第 2 步

问答上却仍然输给 GPT-3。模型太小也不行,大约七亿多参数以下,学不会用工具。它也只会一次调一个,不会把几个工具串起来,也不会看了返回再追问。

第 3 步 · 教师可说的话

第 3 步

这一站要带走的是那把尺子。“有用”按什么算,本身就是一个选择。Toolformer 的尺子是后面的文字更好预测,不是题答对了。尺子选得巧,便宜、能自动;可它量的和你关心的,总隔着一段距离。

本页衔接

线索丙:“有用”按什么算。留给后面:工具出错、代码出错怎么办(→ 报错)。

教学构造

  • 教学构造:分镜标注为“中|揭示、划边界|揭示在 第 1 步|动手 LAB-C §3”。