---
title: "一串操作做完了：看过程像不像，还是看世界最后的样子？"
description: "当模型要在网站上完成一串操作，判它做成没有有两条路：和示范的操作序列比像不像，或者检查世界最后的状态。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：站牌（⑥ 亮；甲、丙亮）。任务卡（示意）：“在购物网站上，把上个月买过的那双鞋再买一双，寄到新地址。”两种判法：A｜和人示范的操作序列比，像不像；B｜不管它怎么点，最后去查：订单在不在、地址对不对、数量对不对。
- 第 2 步：题面：你押哪条？想想“测试”那一站。小字：同一个结果，可以有很多种点法。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

第八讲看过 ReAct 这类 agent 边想边查的演示；演示很惊艳，可演示给你看的，往往是成功的那一次。到 2023 年，模型要做的事不再是写一个函数，而是在一个网站上完成一串操作：搜索、点开、填表、下单。怎么判它做成没有？一条路：拿人示范的操作序列来比，像不像；另一条：不管它怎么点，最后去查世界变成了什么样：订单在不在，地址对不对。2023 年你来搭这个评测，押哪条？

### 第 2 步 · 教师可说的话

第 2 步

想想“测试”那一站。比操作序列像不像，这不就是 BLEU 又回来了吗？同一个结果可以有很多种点法；点法很像，也可能最后一步把地址填错了。

### 本页衔接

回扣“测试”（BLEU ↔ 比过程像不像；功能正确 → 最终状态正确）。站牌上“测试”一起亮。

### 连续教师稿原文

第八讲看过 ReAct 这类 agent 边想边查的演示；演示很惊艳，可演示给你看的，往往是成功的那一次。到 2023 年，模型要做的事不再是写一个函数，而是在一个网站上完成一串操作：搜索、点开、填表、下单。怎么判它做成没有？一条路：拿人示范的操作序列来比，像不像；另一条：不管它怎么点，最后去查世界变成了什么样：订单在不在，地址对不对。2023 年你来搭这个评测，押哪条？

想想“测试”那一站。比操作序列像不像，这不就是 BLEU 又回来了吗？同一个结果可以有很多种点法；点法很像，也可能最后一步把地址填错了。

## 完整推理

第八讲看过 ReAct 这类 agent 边想边查的演示；演示很惊艳，可演示给你看的，往往是成功的那一次。到 2023 年，模型要做的事不再是写一个函数，而是在一个网站上完成一串操作：搜索、点开、填表、下单。怎么判它做成没有？一条路：拿人示范的操作序列来比，像不像；另一条：不管它怎么点，最后去查世界变成了什么样：订单在不在，地址对不对。2023 年你来搭这个评测，押哪条？

想想“测试”那一站。比操作序列像不像，这不就是 BLEU 又回来了吗？同一个结果可以有很多种点法；点法很像，也可能最后一步把地址填错了。

按最终状态判，要两样东西：环境能重置（每次从同一个初始状态开始）；检查器能读到最终状态（数据库、页面）。还要防“顺手多改了别的”：只查目标字段会漏掉多余的改动，比对整份最终状态更严，后面要讲的 τ-bench 就是这样做的。

## 学生可能的回答与误区

“过程对，结果就对”；“结果对，过程就没问题”：它可能多做了不该做的操作。

## 教学构造与出处

教学构造：任务卡是示意。

教学构造：分镜标注为“重｜置身、抉择、设计检验｜穿越者时刻｜揭示在 「按最终结果判：最好的 agent 能做成几成？」（`webarena-results`）”。

## 动手

[选做 PokeAgent：一局对战就是一个有最终状态的环境。](/labs/pokeagent-optional)
