一串操作做完了:看过程像不像,还是看世界最后的样子?
当模型要在网站上完成一串操作,判它做成没有有两条路:和示范的操作序列比像不像,或者检查世界最后的状态。
完整推理
第八讲看过 ReAct 这类 agent 边想边查的演示;演示很惊艳,可演示给你看的,往往是成功的那一次。到 2023 年,模型要做的事不再是写一个函数,而是在一个网站上完成一串操作:搜索、点开、填表、下单。怎么判它做成没有?一条路:拿人示范的操作序列来比,像不像;另一条:不管它怎么点,最后去查世界变成了什么样:订单在不在,地址对不对。2023 年你来搭这个评测,押哪条?
想想“测试”那一站。比操作序列像不像,这不就是 BLEU 又回来了吗?同一个结果可以有很多种点法;点法很像,也可能最后一步把地址填错了。
按最终状态判,要两样东西:环境能重置(每次从同一个初始状态开始);检查器能读到最终状态(数据库、页面)。还要防“顺手多改了别的”:只查目标字段会漏掉多余的改动,比对整份最终状态更严,后面要讲的 τ-bench 就是这样做的。
常见误区
“过程对,结果就对”;“结果对,过程就没问题”:它可能多做了不该做的操作。
动手
选做 PokeAgent:一局对战就是一个有最终状态的环境。
备课稿(上屏与口述)
这一页为什么在这里
上屏
- 第 1 步:站牌(⑥ 亮;甲、丙亮)。任务卡(示意):“在购物网站上,把上个月买过的那双鞋再买一双,寄到新地址。”两种判法:A|和人示范的操作序列比,像不像;B|不管它怎么点,最后去查:订单在不在、地址对不对、数量对不对。
- 第 2 步:题面:你押哪条?想想“测试”那一站。小字:同一个结果,可以有很多种点法。
讲
第 1 步 · 教师可说的话
第 1 步
第八讲看过 ReAct 这类 agent 边想边查的演示;演示很惊艳,可演示给你看的,往往是成功的那一次。到 2023 年,模型要做的事不再是写一个函数,而是在一个网站上完成一串操作:搜索、点开、填表、下单。怎么判它做成没有?一条路:拿人示范的操作序列来比,像不像;另一条:不管它怎么点,最后去查世界变成了什么样:订单在不在,地址对不对。2023 年你来搭这个评测,押哪条?
第 2 步 · 教师可说的话
第 2 步
想想“测试”那一站。比操作序列像不像,这不就是 BLEU 又回来了吗?同一个结果可以有很多种点法;点法很像,也可能最后一步把地址填错了。
本页衔接
回扣“测试”(BLEU ↔ 比过程像不像;功能正确 → 最终状态正确)。站牌上“测试”一起亮。
教学构造
教学构造:任务卡是示意。
教学构造:分镜标注为“重|置身、抉择、设计检验|穿越者时刻|揭示在 「按最终结果判:最好的 agent 能做成几成?」(
webarena-results)”。