---
title: "按最终结果判：最好的 agent 能做成几成？"
description: "WebArena（2023-07）搭了一组可复现的真实网站，按任务最终是否完成来判；最好的 GPT-4 agent 14.4%，人 78.2%。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：示意：几类可复现的网站（购物、论坛、代码协作、内容管理），每个任务后面挂一个检查器：查数据库、查页面。一行：环境能重置，每次从同一个状态开始。
- 第 2 步：两根柱子：最好的 GPT-4 agent 14.4%｜人 78.2%。小字接力：第一作者 Shuyan Zhou，也是“解释器”那一站 PAL 的作者。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

2023 年七月出来的 WebArena 选了第二条路：几类真实网站的可复现版本，购物、论坛、代码协作、内容管理，每次都能重置到同一个状态；每个任务后面挂一个检查器，直接去查数据库和页面，看任务做成了没有。为什么非要能重置？同一个任务要能拿来比不同的 agent，也要能重跑；这和“测试”那一站手写新题、把代码关进笼子是一个道理：检验要能重复。

### 第 2 步 · 教师可说的话

第 2 步

结果：最好的 GPT-4 agent 做成 14%，人是 78%。看着像在操作，和真的做成，差得很远。第一作者 Shuyan Zhou，也是“解释器”那一站 PAL 的作者：同一个人，从让解释器来算，走到让整个环境来判。

### 本页衔接

人的接力（解释器 → 整个环境）。线索甲：环境的最终状态。

### 连续教师稿原文

2023 年七月出来的 WebArena 选了第二条路：几类真实网站的可复现版本，购物、论坛、代码协作、内容管理，每次都能重置到同一个状态；每个任务后面挂一个检查器，直接去查数据库和页面，看任务做成了没有。为什么非要能重置？同一个任务要能拿来比不同的 agent，也要能重跑；这和“测试”那一站手写新题、把代码关进笼子是一个道理：检验要能重复。

结果：最好的 GPT-4 agent 做成 14%，人是 78%。看着像在操作，和真的做成，差得很远。第一作者 Shuyan Zhou，也是“解释器”那一站 PAL 的作者：同一个人，从让解释器来算，走到让整个环境来判。

## 完整推理

2023 年七月出来的 WebArena 选了第二条路：几类真实网站的可复现版本，购物、论坛、代码协作、内容管理，每次都能重置到同一个状态；每个任务后面挂一个检查器，直接去查数据库和页面，看任务做成了没有。为什么非要能重置？同一个任务要能拿来比不同的 agent，也要能重跑；这和“测试”那一站手写新题、把代码关进笼子是一个道理：检验要能重复。

结果：最好的 GPT-4 agent 做成 14%，人是 78%。看着像在操作，和真的做成，差得很远。第一作者 Shuyan Zhou，也是“解释器”那一站 PAL 的作者：同一个人，从让解释器来算，走到让整个环境来判。

Zhou et al., WebArena, arXiv 2307.13854（2023-07-25）：可复现的真实网站环境（电商、论坛、代码协作、内容管理等）；按任务完成的功能正确性评估；最好的 GPT-4 agent 端到端成功率 14.41%，人 78.24%。

## 学生可能的回答与误区

“14% 说明 agent 没用”：这是 2023 年的数字，说明的是当时“像在做”和“做成”之间的距离。

## 教学构造与出处

教学构造：分镜标注为“重｜揭示｜揭示在 第 2 步”。

出处：Zhou et al. 2023（arXiv 2307.13854）。
