---
title: "什么时候该用工具，谁说了算？"
description: "“解释器”那一站是人规定“一律交给解释器”；工具一多，2023 年的 Toolformer 让模型自己试着调用，只留下“让后文更好预测”的那些，拿来训练自己。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：站牌（④ 亮；甲、丙亮）。一句话里嵌着一次调用（示意）：“这批样品共 1,400 份，其中 [计算器(400/1400) → 0.29] 29% 不合格。”三张卡：A｜人写规则：看到数字就调计算器；B｜人标一批“该调用”的例子；C｜让模型自己试，只留下真帮上忙的调用。
- 第 2 步：题面：“帮上忙”怎么量？三个候选：答对了没有｜人觉得有用｜插进调用结果以后，后面的文字更好预测了。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

“解释器”那一站，什么时候交给它，是人规定的。可工具一多，计算器、搜索、翻译、日历，你没法给每种情况写规则，也标不过来那么多数据。2023 年初，Meta 的 Toolformer 押了第三条路：让模型自己试着调用，只留下真帮上忙的那些，拿来训练自己。

### 第 2 步 · 教师可说的话

第 2 步

关键是“帮上忙”怎么量。答对了没有？那得每句话都有标准答案。人觉得有用？太贵。他们选了一个很巧的量法：插进这次调用的结果以后，后面那段文字是不是更好预测了。更好预测，说明这次调用带来了模型自己没有的信息，留下；否则扔掉。这把尺子有什么问题？先想一想。

### 本页衔接

回扣“解释器”（人写死 → 模型自己学）；回扣“自写测试”（用模型自己造、再按检查筛出来的数据，Toolformer 用同一招造训练数据）。

### 连续教师稿原文

“解释器”那一站，什么时候交给它，是人规定的。可工具一多，计算器、搜索、翻译、日历，你没法给每种情况写规则，也标不过来那么多数据。2023 年初，Meta 的 Toolformer 押了第三条路：让模型自己试着调用，只留下真帮上忙的那些，拿来训练自己。

关键是“帮上忙”怎么量。答对了没有？那得每句话都有标准答案。人觉得有用？太贵。他们选了一个很巧的量法：插进这次调用的结果以后，后面那段文字是不是更好预测了。更好预测，说明这次调用带来了模型自己没有的信息，留下；否则扔掉。这把尺子有什么问题？先想一想。

## 完整推理

“解释器”那一站，什么时候交给它，是人规定的。可工具一多，计算器、搜索、翻译、日历，你没法给每种情况写规则，也标不过来那么多数据。2023 年初，Meta 的 Toolformer 押了第三条路：让模型自己试着调用，只留下真帮上忙的那些，拿来训练自己。

关键是“帮上忙”怎么量。答对了没有？那得每句话都有标准答案。人觉得有用？太贵。他们选了一个很巧的量法：插进这次调用的结果以后，后面那段文字是不是更好预测了。更好预测，说明这次调用带来了模型自己没有的信息，留下；否则扔掉。这把尺子有什么问题？先想一想。

Toolformer（GPT-J 6.7B）：先让模型在文本里提议可能的调用位置和参数，执行调用拿到结果，再比后文的损失：带调用和结果时记 L+；不带调用、带调用但不给结果，两者较小的记 L−；只有 L− − L+ ≥ τf 才保留（默认 τf＝1.0，计算器与翻译用 0.5）。筛出的数据用来微调模型本身。用到的工具：问答、维基百科搜索、计算器、日历、机器翻译。

## 学生可能的回答与误区

“工具调用就是人写的规则”：Toolformer 让模型自己学何时调用。“后文更好预测＝答对了”：两者相关，但不相同（[6.7B 用上计算器，数学题胜过 175B；问答仍输](/toolformer-results)）。

## 教学构造与出处

教学构造：示意句子与三张卡。

教学构造：分镜标注为“中｜置身、抉择、设计检验｜揭示在 「6.7B 用上计算器，数学题胜过 175B；问答仍输」（`toolformer-results`）｜动手 LAB-C §3”。

出处：Schick et al., Toolformer, arXiv 2302.04761（2023-02-09；Meta AI Research、UPF），§2、附录 A。

## 动手

[LAB-C §3：用一个小语言模型（如 GPT-2 small）算一句话后文的损失，比较插入计算器结果前后降了多少，按阈值决定留不留。](/labs/evaluator-and-search)
