跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

成一次,还是次次成?

τ-bench(2024-06)让模型模拟用户、比对数据库的最终状态,并提出 pass^k:同一任务 k 次都成的比例;gpt-4o 成功率不到五成,零售场景 pass^8 不到 25%。

在课堂中打开

完整推理

一年后,2024 年六月,τ-bench 把环境再推一步:agent 当客服,对面的用户也由模型扮演;聊完了,去比数据库最后的样子,和标注的目标对不对得上。

它还提了一个新记号。还记得“测试”那一站的 pass@k 吗?k 次里至少成一次,那是研究里看能力。τ-bench 反过来:k 次全都成,记作 pass^k,这是部署里看可靠。你的客服 agent,一百个顾客里错一个,也是错。gpt-4o 的成功率不到一半;零售场景里,同一个任务连做八次全成的,不到四分之一。

作者里有两位第八讲的老熟人:ReAct 的第一作者,Reflexion 的第一作者。上周看他们教 agent 边想边查、写下教训;这一回,他们回过头去量它到底靠不靠得住。一次成,不等于次次成。

Yao、Shinn 等,τ-bench, arXiv 2406.12045(2024-06-17):用模型模拟用户,按对话结束时的数据库状态与标注目标比对判成败;passk=同一任务独立试 k 次全部成功的概率(每题试 n 次、成 c 次时,可用 C(c, k) / C(n, k) 估计);gpt-4o 成功率不到 50%,零售领域 pass8 不到 25%。和 pass@k 的关系:一个看上限,一个看下限;同一组试验可以同时报两个。

常见误区

“平均成功率高就能上线”;“pass^k 只是 pass@k 换个写法”:两者回答的是不同的问题。

动手

选做 PokeAgent:把策略写成函数,跑一局,再比两版策略的 pass^k(k 局全胜的比例)。

出处

  • 出处:Yao et al. 2024(arXiv 2406.12045)。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:示意:一个客服 agent,对面是一个由模型扮演的用户;对话结束后,比对数据库的最终状态和标注的目标状态。
  • 第 2 步:两个记号并排:pass@k:k 次里至少成一次(研究里看能力)|passk:k 次全都成(部署里看可靠)。两条示意曲线(图角标“示意”):k 越大,pass@k 往上走,passk 越往下掉。数字:gpt-4o 成功率不到 50%;零售场景 pass^8 不到 25%。站牌上“测试”一起亮。
  • 第 3 步:小字接力:作者里有 ReAct 的第一作者 Shunyu Yao、Reflexion 的第一作者 Noah Shinn(第八讲)。一行判断(线索丙):一次成,不等于次次成。

讲

第 1 步 · 教师可说的话

第 1 步

一年后,2024 年六月,τ-bench 把环境再推一步:agent 当客服,对面的用户也由模型扮演;聊完了,去比数据库最后的样子,和标注的目标对不对得上。

第 2 步 · 教师可说的话

第 2 步

它还提了一个新记号。还记得“测试”那一站的 pass@k 吗?k 次里至少成一次,那是研究里看能力。τ-bench 反过来:k 次全都成,记作 pass^k,这是部署里看可靠。你的客服 agent,一百个顾客里错一个,也是错。gpt-4o 的成功率不到一半;零售场景里,同一个任务连做八次全成的,不到四分之一。

第 3 步 · 教师可说的话

第 3 步

作者里有两位第八讲的老熟人:ReAct 的第一作者,Reflexion 的第一作者。上周看他们教 agent 边想边查、写下教训;这一回,他们回过头去量它到底靠不靠得住。一次成,不等于次次成。

本页衔接

回扣“测试”(pass@k → pass^k);回扣第八讲(ReAct、Reflexion 的作者)。线索丙。

教学构造

  • 教学构造:分镜标注为“重|揭示、划边界|揭示在 第 2 步|动手:选做 PokeAgent”。