6.7B 用上计算器,数学题胜过 175B;问答仍输
按“让后文更好预测”筛出来的调用,让 67 亿参数的模型在数学应用题上胜过 1750 亿参数的 GPT-3;问答仍然输;约 7.75 亿参数以下的模型学不会用工具。
完整推理
数学题上很漂亮:同样 67 亿参数,学会用计算器以后,三个测试集从个位数涨到三四十,超过了大二十多倍的 GPT-3。
问答上却仍然输给 GPT-3。模型太小也不行,大约七亿多参数以下,学不会用工具。它也只会一次调一个,不会把几个工具串起来,也不会看了返回再追问。
这一站要带走的是那把尺子。“有用”按什么算,本身就是一个选择。Toolformer 的尺子是后面的文字更好预测,不是题答对了。尺子选得巧,便宜、能自动;可它量的和你关心的,总隔着一段距离。
表 4(数学):ASDiv / SVAMP / MAWPS 上 GPT-J 7.5 / 5.2 / 9.9,Toolformer 40.4 / 29.4 / 44.0,OPT-66B 6.0 / 4.9 / 7.9,GPT-3 175B 14.0 / 10.0 / 19.8。表 5(问答):Toolformer 仍不如 GPT-3(如 WebQS 26.3 对 29.0)。§4.4、图 4:约 7.75 亿参数以下几乎不会用工具。§7 局限:不能串联多个工具、不能和工具交互、样本效率低。
常见误区
“工具越多越好”;“Toolformer 的筛法量的是正确性”。
动手
LAB-C §3:再换一句问答类的句子,看为什么插入调用结果不一定降低损失。
出处
出处:Schick et al. 2023,表 4、表 5、§4.4、§7。
备课稿(上屏与口述)
这一页为什么在这里
上屏
- 第 1 步:一张表(数学应用题,三个测试集):GPT-J 6.7B 7.5 / 5.2 / 9.9|Toolformer 6.7B 40.4 / 29.4 / 44.0|GPT-3 175B 14.0 / 10.0 / 19.8。
- 第 2 步:两行边界:问答上 Toolformer 仍输 GPT-3(如 26.3 对 29.0)|约 7.75 亿参数以下学不会用工具。再一行:一次只调一个工具,不会串联,也不会看了返回再追问。
- 第 3 步:一行判断(线索丙):“有用”按什么算,本身就是一个选择:Toolformer 的尺子是“后文更好预测”,不是“答对了”。
讲
第 1 步 · 教师可说的话
第 1 步
数学题上很漂亮:同样 67 亿参数,学会用计算器以后,三个测试集从个位数涨到三四十,超过了大二十多倍的 GPT-3。
第 2 步 · 教师可说的话
第 2 步
问答上却仍然输给 GPT-3。模型太小也不行,大约七亿多参数以下,学不会用工具。它也只会一次调一个,不会把几个工具串起来,也不会看了返回再追问。
第 3 步 · 教师可说的话
第 3 步
这一站要带走的是那把尺子。“有用”按什么算,本身就是一个选择。Toolformer 的尺子是后面的文字更好预测,不是题答对了。尺子选得巧,便宜、能自动;可它量的和你关心的,总隔着一段距离。
本页衔接
线索丙:“有用”按什么算。留给后面:工具出错、代码出错怎么办(→ 报错)。
教学构造
教学构造:分镜标注为“中|揭示、划边界|揭示在 第 1 步|动手 LAB-C §3”。