跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

什么时候该用工具,谁说了算?

“解释器”那一站是人规定“一律交给解释器”;工具一多,2023 年的 Toolformer 让模型自己试着调用,只留下“让后文更好预测”的那些,拿来训练自己。

在课堂中打开

完整推理

“解释器”那一站,什么时候交给它,是人规定的。可工具一多,计算器、搜索、翻译、日历,你没法给每种情况写规则,也标不过来那么多数据。2023 年初,Meta 的 Toolformer 押了第三条路:让模型自己试着调用,只留下真帮上忙的那些,拿来训练自己。

关键是“帮上忙”怎么量。答对了没有?那得每句话都有标准答案。人觉得有用?太贵。他们选了一个很巧的量法:插进这次调用的结果以后,后面那段文字是不是更好预测了。更好预测,说明这次调用带来了模型自己没有的信息,留下;否则扔掉。这把尺子有什么问题?先想一想。

Toolformer(GPT-J 6.7B):先让模型在文本里提议可能的调用位置和参数,执行调用拿到结果,再比后文的损失:带调用和结果时记 L+;不带调用、带调用但不给结果,两者较小的记 L−;只有 L− − L+ ≥ τf 才保留(默认 τf=1.0,计算器与翻译用 0.5)。筛出的数据用来微调模型本身。用到的工具:问答、维基百科搜索、计算器、日历、机器翻译。

常见误区

“工具调用就是人写的规则”:Toolformer 让模型自己学何时调用。“后文更好预测=答对了”:两者相关,但不相同(6.7B 用上计算器,数学题胜过 175B;问答仍输)。

动手

LAB-C §3:用一个小语言模型(如 GPT-2 small)算一句话后文的损失,比较插入计算器结果前后降了多少,按阈值决定留不留。

出处

  • 出处:Schick et al., Toolformer, arXiv 2302.04761(2023-02-09;Meta AI Research、UPF),§2、附录 A。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:站牌(④ 亮;甲、丙亮)。一句话里嵌着一次调用(示意):“这批样品共 1,400 份,其中 [计算器(400/1400) → 0.29] 29% 不合格。”三张卡:A|人写规则:看到数字就调计算器;B|人标一批“该调用”的例子;C|让模型自己试,只留下真帮上忙的调用。
  • 第 2 步:题面:“帮上忙”怎么量?三个候选:答对了没有|人觉得有用|插进调用结果以后,后面的文字更好预测了。

讲

第 1 步 · 教师可说的话

第 1 步

“解释器”那一站,什么时候交给它,是人规定的。可工具一多,计算器、搜索、翻译、日历,你没法给每种情况写规则,也标不过来那么多数据。2023 年初,Meta 的 Toolformer 押了第三条路:让模型自己试着调用,只留下真帮上忙的那些,拿来训练自己。

第 2 步 · 教师可说的话

第 2 步

关键是“帮上忙”怎么量。答对了没有?那得每句话都有标准答案。人觉得有用?太贵。他们选了一个很巧的量法:插进这次调用的结果以后,后面那段文字是不是更好预测了。更好预测,说明这次调用带来了模型自己没有的信息,留下;否则扔掉。这把尺子有什么问题?先想一想。

本页衔接

回扣“解释器”(人写死 → 模型自己学);回扣“自写测试”(用模型自己造、再按检查筛出来的数据,Toolformer 用同一招造训练数据)。

教学构造

  • 教学构造:示意句子与三张卡。

  • 教学构造:分镜标注为“中|置身、抉择、设计检验|揭示在 「6.7B 用上计算器,数学题胜过 175B;问答仍输」(toolformer-results)|动手 LAB-C §3”。