成一次,还是次次成?
τ-bench(2024-06)让模型模拟用户、比对数据库的最终状态,并提出 pass^k:同一任务 k 次都成的比例;gpt-4o 成功率不到五成,零售场景 pass^8 不到 25%。
完整推理
一年后,2024 年六月,τ-bench 把环境再推一步:agent 当客服,对面的用户也由模型扮演;聊完了,去比数据库最后的样子,和标注的目标对不对得上。
它还提了一个新记号。还记得“测试”那一站的 pass@k 吗?k 次里至少成一次,那是研究里看能力。τ-bench 反过来:k 次全都成,记作 pass^k,这是部署里看可靠。你的客服 agent,一百个顾客里错一个,也是错。gpt-4o 的成功率不到一半;零售场景里,同一个任务连做八次全成的,不到四分之一。
作者里有两位第八讲的老熟人:ReAct 的第一作者,Reflexion 的第一作者。上周看他们教 agent 边想边查、写下教训;这一回,他们回过头去量它到底靠不靠得住。一次成,不等于次次成。
Yao、Shinn 等,τ-bench, arXiv 2406.12045(2024-06-17):用模型模拟用户,按对话结束时的数据库状态与标注目标比对判成败;passk=同一任务独立试 k 次全部成功的概率(每题试 n 次、成 c 次时,可用 C(c, k) / C(n, k) 估计);gpt-4o 成功率不到 50%,零售领域 pass8 不到 25%。和 pass@k 的关系:一个看上限,一个看下限;同一组试验可以同时报两个。
常见误区
“平均成功率高就能上线”;“pass^k 只是 pass@k 换个写法”:两者回答的是不同的问题。
动手
选做 PokeAgent:把策略写成函数,跑一局,再比两版策略的 pass^k(k 局全胜的比例)。
出处
出处:Yao et al. 2024(arXiv 2406.12045)。
备课稿(上屏与口述)
这一页为什么在这里
上屏
- 第 1 步:示意:一个客服 agent,对面是一个由模型扮演的用户;对话结束后,比对数据库的最终状态和标注的目标状态。
- 第 2 步:两个记号并排:pass@k:k 次里至少成一次(研究里看能力)|passk:k 次全都成(部署里看可靠)。两条示意曲线(图角标“示意”):k 越大,pass@k 往上走,passk 越往下掉。数字:gpt-4o 成功率不到 50%;零售场景 pass^8 不到 25%。站牌上“测试”一起亮。
- 第 3 步:小字接力:作者里有 ReAct 的第一作者 Shunyu Yao、Reflexion 的第一作者 Noah Shinn(第八讲)。一行判断(线索丙):一次成,不等于次次成。
讲
第 1 步 · 教师可说的话
第 1 步
一年后,2024 年六月,τ-bench 把环境再推一步:agent 当客服,对面的用户也由模型扮演;聊完了,去比数据库最后的样子,和标注的目标对不对得上。
第 2 步 · 教师可说的话
第 2 步
它还提了一个新记号。还记得“测试”那一站的 pass@k 吗?k 次里至少成一次,那是研究里看能力。τ-bench 反过来:k 次全都成,记作 pass^k,这是部署里看可靠。你的客服 agent,一百个顾客里错一个,也是错。gpt-4o 的成功率不到一半;零售场景里,同一个任务连做八次全成的,不到四分之一。
第 3 步 · 教师可说的话
第 3 步
作者里有两位第八讲的老熟人:ReAct 的第一作者,Reflexion 的第一作者。上周看他们教 agent 边想边查、写下教训;这一回,他们回过头去量它到底靠不靠得住。一次成,不等于次次成。
本页衔接
回扣“测试”(pass@k → pass^k);回扣第八讲(ReAct、Reflexion 的作者)。线索丙。
教学构造
教学构造:分镜标注为“重|揭示、划边界|揭示在 第 2 步|动手:选做 PokeAgent”。