评估器错了:搜得越狠,偏得越远
搜索只认评估器的分;评估器量偏了,搜索越强,越会找到专门讨好评估器、真实情况下不行的东西。
完整推理
反过来想:搜索只认评估器给的分。评估器要是量偏了,比如只在很小的例子上测,搜索越强,越会找到专门讨好这个评估器、真实情况下却不行的东西。分数一路涨,真本事先涨后跌。
这在第七讲见过:一个永远返回 True 的检查;推理模型学会了钻空子。“工具接口”那一站,我们自己也犯过:拿构建速度当“有用”的尺子。评估器本身,也要被检验。Deepnote 里有个练习:你亲手把评估器改错,看搜索会不会被它带偏。
这是“指标成了目标就失真”在搜索里的放大版:搜索越强,越能找到评估器和真实目标之间的缝。第七讲的两处:一个永远返回 True 的检查让所有候选都“通过”;Baker et al. 2025(arXiv 2503.11926)监测推理模型在训练中钻奖励的空子。常用的防法:评估器用多组、留出的实例;定期用独立的检验复核;看搜出来的东西是不是只在评估器上好。
常见误区
“分数一直在涨,说明在进步”。
动手
LAB-C §1:把评估器改成只在很小的实例上评,比较“评估器给的分”和“在大实例上的真实表现”。
出处
出处:第七讲讲义;Baker et al. 2025(arXiv 2503.11926)。
备课稿(上屏与口述)
这一页为什么在这里
上屏
- 第 1 步:示意图:横轴“搜索的代数”,两条线:评估器给的分一路涨;真实目标先涨后跌;分叉处标一行:从这里起,搜索在钻评估器的空子。
- 第 2 步:两张回扣小卡:第七讲|“永远返回 True 的检查”;推理模型钻空子的监测|“工具接口”那一站|“有用”的尺子选成了构建速度。一行判断(线索丙):评估器本身也要被检验。一行动手:LAB-C 里把评估器改错(只在很小的实例上评),看搜得越狠是不是偏得越远。
讲
第 1 步 · 教师可说的话
第 1 步
反过来想:搜索只认评估器给的分。评估器要是量偏了,比如只在很小的例子上测,搜索越强,越会找到专门讨好这个评估器、真实情况下却不行的东西。分数一路涨,真本事先涨后跌。
第 2 步 · 教师可说的话
第 2 步
这在第七讲见过:一个永远返回 True 的检查;推理模型学会了钻空子。“工具接口”那一站,我们自己也犯过:拿构建速度当“有用”的尺子。评估器本身,也要被检验。Deepnote 里有个练习:你亲手把评估器改错,看搜索会不会被它带偏。
本页衔接
回扣第七讲;回扣“工具接口”(回来:接口统一了;“有用”的尺子我们也选错过 的错尺子),站牌上“工具接口”一起亮。线索丙。
教学构造
教学构造:两条曲线是示意,不是某篇论文的数据;本页的“揭示”由学生在 Deepnote 里亲手做出。
教学构造:分镜标注为“重|划边界|动手 LAB-C §1”。