---
title: "成一次，还是次次成？"
description: "τ-bench（2024-06）让模型模拟用户、比对数据库的最终状态，并提出 pass^k：同一任务 k 次都成的比例；gpt-4o 成功率不到五成，零售场景 pass^8 不到 25%。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：示意：一个客服 agent，对面是一个由模型扮演的用户；对话结束后，比对数据库的最终状态和标注的目标状态。
- 第 2 步：两个记号并排：pass@k：k 次里至少成一次（研究里看能力）｜pass^k：k 次全都成（部署里看可靠）。两条示意曲线（图角标“示意”）：k 越大，pass@k 往上走，pass^k 越往下掉。数字：gpt-4o 成功率不到 50%；零售场景 pass^8 不到 25%。站牌上“测试”一起亮。
- 第 3 步：小字接力：作者里有 ReAct 的第一作者 Shunyu Yao、Reflexion 的第一作者 Noah Shinn（第八讲）。一行判断（线索丙）：一次成，不等于次次成。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

一年后，2024 年六月，τ-bench 把环境再推一步：agent 当客服，对面的用户也由模型扮演；聊完了，去比数据库最后的样子，和标注的目标对不对得上。

### 第 2 步 · 教师可说的话

第 2 步

它还提了一个新记号。还记得“测试”那一站的 pass@k 吗？k 次里至少成一次，那是研究里看能力。τ-bench 反过来：k 次全都成，记作 pass^k，这是部署里看可靠。你的客服 agent，一百个顾客里错一个，也是错。gpt-4o 的成功率不到一半；零售场景里，同一个任务连做八次全成的，不到四分之一。

### 第 3 步 · 教师可说的话

第 3 步

作者里有两位第八讲的老熟人：ReAct 的第一作者，Reflexion 的第一作者。上周看他们教 agent 边想边查、写下教训；这一回，他们回过头去量它到底靠不靠得住。一次成，不等于次次成。

### 本页衔接

回扣“测试”（pass@k → pass^k）；回扣第八讲（ReAct、Reflexion 的作者）。线索丙。

### 连续教师稿原文

一年后，2024 年六月，τ-bench 把环境再推一步：agent 当客服，对面的用户也由模型扮演；聊完了，去比数据库最后的样子，和标注的目标对不对得上。

它还提了一个新记号。还记得“测试”那一站的 pass@k 吗？k 次里至少成一次，那是研究里看能力。τ-bench 反过来：k 次全都成，记作 pass^k，这是部署里看可靠。你的客服 agent，一百个顾客里错一个，也是错。gpt-4o 的成功率不到一半；零售场景里，同一个任务连做八次全成的，不到四分之一。

作者里有两位第八讲的老熟人：ReAct 的第一作者，Reflexion 的第一作者。上周看他们教 agent 边想边查、写下教训；这一回，他们回过头去量它到底靠不靠得住。一次成，不等于次次成。

## 完整推理

一年后，2024 年六月，τ-bench 把环境再推一步：agent 当客服，对面的用户也由模型扮演；聊完了，去比数据库最后的样子，和标注的目标对不对得上。

它还提了一个新记号。还记得“测试”那一站的 pass@k 吗？k 次里至少成一次，那是研究里看能力。τ-bench 反过来：k 次全都成，记作 pass^k，这是部署里看可靠。你的客服 agent，一百个顾客里错一个，也是错。gpt-4o 的成功率不到一半；零售场景里，同一个任务连做八次全成的，不到四分之一。

作者里有两位第八讲的老熟人：ReAct 的第一作者，Reflexion 的第一作者。上周看他们教 agent 边想边查、写下教训；这一回，他们回过头去量它到底靠不靠得住。一次成，不等于次次成。

Yao、Shinn 等，τ-bench, arXiv 2406.12045（2024-06-17）：用模型模拟用户，按对话结束时的数据库状态与标注目标比对判成败；pass^k＝同一任务独立试 k 次全部成功的概率（每题试 n 次、成 c 次时，可用 C(c, k) / C(n, k) 估计）；gpt-4o 成功率不到 50%，零售领域 pass^8 不到 25%。和 pass@k 的关系：一个看上限，一个看下限；同一组试验可以同时报两个。

## 学生可能的回答与误区

“平均成功率高就能上线”；“pass^k 只是 pass@k 换个写法”：两者回答的是不同的问题。

## 教学构造与出处

教学构造：分镜标注为“重｜揭示、划边界｜揭示在 第 2 步｜动手：选做 PokeAgent”。

出处：Yao et al. 2024（arXiv 2406.12045）。

## 动手

选做 [PokeAgent](/labs/pokeagent-optional)：把策略写成函数，跑一局，再比两版策略的 pass^k（k 局全胜的比例）。
