跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

按最终结果判:最好的 agent 能做成几成?

WebArena(2023-07)搭了一组可复现的真实网站,按任务最终是否完成来判;最好的 GPT-4 agent 14.4%,人 78.2%。

在课堂中打开

完整推理

2023 年七月出来的 WebArena 选了第二条路:几类真实网站的可复现版本,购物、论坛、代码协作、内容管理,每次都能重置到同一个状态;每个任务后面挂一个检查器,直接去查数据库和页面,看任务做成了没有。为什么非要能重置?同一个任务要能拿来比不同的 agent,也要能重跑;这和“测试”那一站手写新题、把代码关进笼子是一个道理:检验要能重复。

结果:最好的 GPT-4 agent 做成 14%,人是 78%。看着像在操作,和真的做成,差得很远。第一作者 Shuyan Zhou,也是“解释器”那一站 PAL 的作者:同一个人,从让解释器来算,走到让整个环境来判。

Zhou et al., WebArena, arXiv 2307.13854(2023-07-25):可复现的真实网站环境(电商、论坛、代码协作、内容管理等);按任务完成的功能正确性评估;最好的 GPT-4 agent 端到端成功率 14.41%,人 78.24%。

常见误区

“14% 说明 agent 没用”:这是 2023 年的数字,说明的是当时“像在做”和“做成”之间的距离。

出处

  • 出处:Zhou et al. 2023(arXiv 2307.13854)。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:示意:几类可复现的网站(购物、论坛、代码协作、内容管理),每个任务后面挂一个检查器:查数据库、查页面。一行:环境能重置,每次从同一个状态开始。
  • 第 2 步:两根柱子:最好的 GPT-4 agent 14.4%|人 78.2%。小字接力:第一作者 Shuyan Zhou,也是“解释器”那一站 PAL 的作者。

讲

第 1 步 · 教师可说的话

第 1 步

2023 年七月出来的 WebArena 选了第二条路:几类真实网站的可复现版本,购物、论坛、代码协作、内容管理,每次都能重置到同一个状态;每个任务后面挂一个检查器,直接去查数据库和页面,看任务做成了没有。为什么非要能重置?同一个任务要能拿来比不同的 agent,也要能重跑;这和“测试”那一站手写新题、把代码关进笼子是一个道理:检验要能重复。

第 2 步 · 教师可说的话

第 2 步

结果:最好的 GPT-4 agent 做成 14%,人是 78%。看着像在操作,和真的做成,差得很远。第一作者 Shuyan Zhou,也是“解释器”那一站 PAL 的作者:同一个人,从让解释器来算,走到让整个环境来判。

本页衔接

人的接力(解释器 → 整个环境)。线索甲:环境的最终状态。

教学构造

  • 教学构造:分镜标注为“重|揭示|揭示在 第 2 步”。