---
title: "6.7B 用上计算器，数学题胜过 175B；问答仍输"
description: "按“让后文更好预测”筛出来的调用，让 67 亿参数的模型在数学应用题上胜过 1750 亿参数的 GPT-3；问答仍然输；约 7.75 亿参数以下的模型学不会用工具。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：一张表（数学应用题，三个测试集）：GPT-J 6.7B 7.5 / 5.2 / 9.9｜Toolformer 6.7B 40.4 / 29.4 / 44.0｜GPT-3 175B 14.0 / 10.0 / 19.8。
- 第 2 步：两行边界：问答上 Toolformer 仍输 GPT-3（如 26.3 对 29.0）｜约 7.75 亿参数以下学不会用工具。再一行：一次只调一个工具，不会串联，也不会看了返回再追问。
- 第 3 步：一行判断（线索丙）：“有用”按什么算，本身就是一个选择：Toolformer 的尺子是“后文更好预测”，不是“答对了”。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

数学题上很漂亮：同样 67 亿参数，学会用计算器以后，三个测试集从个位数涨到三四十，超过了大二十多倍的 GPT-3。

### 第 2 步 · 教师可说的话

第 2 步

问答上却仍然输给 GPT-3。模型太小也不行，大约七亿多参数以下，学不会用工具。它也只会一次调一个，不会把几个工具串起来，也不会看了返回再追问。

### 第 3 步 · 教师可说的话

第 3 步

这一站要带走的是那把尺子。“有用”按什么算，本身就是一个选择。Toolformer 的尺子是后面的文字更好预测，不是题答对了。尺子选得巧，便宜、能自动；可它量的和你关心的，总隔着一段距离。

### 本页衔接

线索丙：“有用”按什么算。留给后面：工具出错、代码出错怎么办（→ 报错）。

### 连续教师稿原文

数学题上很漂亮：同样 67 亿参数，学会用计算器以后，三个测试集从个位数涨到三四十，超过了大二十多倍的 GPT-3。

问答上却仍然输给 GPT-3。模型太小也不行，大约七亿多参数以下，学不会用工具。它也只会一次调一个，不会把几个工具串起来，也不会看了返回再追问。

这一站要带走的是那把尺子。“有用”按什么算，本身就是一个选择。Toolformer 的尺子是后面的文字更好预测，不是题答对了。尺子选得巧，便宜、能自动；可它量的和你关心的，总隔着一段距离。

## 完整推理

数学题上很漂亮：同样 67 亿参数，学会用计算器以后，三个测试集从个位数涨到三四十，超过了大二十多倍的 GPT-3。

问答上却仍然输给 GPT-3。模型太小也不行，大约七亿多参数以下，学不会用工具。它也只会一次调一个，不会把几个工具串起来，也不会看了返回再追问。

这一站要带走的是那把尺子。“有用”按什么算，本身就是一个选择。Toolformer 的尺子是后面的文字更好预测，不是题答对了。尺子选得巧，便宜、能自动；可它量的和你关心的，总隔着一段距离。

表 4（数学）：ASDiv / SVAMP / MAWPS 上 GPT-J 7.5 / 5.2 / 9.9，Toolformer 40.4 / 29.4 / 44.0，OPT-66B 6.0 / 4.9 / 7.9，GPT-3 175B 14.0 / 10.0 / 19.8。表 5（问答）：Toolformer 仍不如 GPT-3（如 WebQS 26.3 对 29.0）。§4.4、图 4：约 7.75 亿参数以下几乎不会用工具。§7 局限：不能串联多个工具、不能和工具交互、样本效率低。

## 学生可能的回答与误区

“工具越多越好”；“Toolformer 的筛法量的是正确性”。

## 教学构造与出处

教学构造：分镜标注为“中｜揭示、划边界｜揭示在 第 1 步｜动手 LAB-C §3”。

出处：Schick et al. 2023，表 4、表 5、§4.4、§7。

## 动手

[LAB-C §3：再换一句问答类的句子，看为什么插入调用结果不一定降低损失。](/labs/evaluator-and-search)
