跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

评估器错了:搜得越狠,偏得越远

搜索只认评估器的分;评估器量偏了,搜索越强,越会找到专门讨好评估器、真实情况下不行的东西。

在课堂中打开

完整推理

反过来想:搜索只认评估器给的分。评估器要是量偏了,比如只在很小的例子上测,搜索越强,越会找到专门讨好这个评估器、真实情况下却不行的东西。分数一路涨,真本事先涨后跌。

这在第七讲见过:一个永远返回 True 的检查;推理模型学会了钻空子。“工具接口”那一站,我们自己也犯过:拿构建速度当“有用”的尺子。评估器本身,也要被检验。Deepnote 里有个练习:你亲手把评估器改错,看搜索会不会被它带偏。

这是“指标成了目标就失真”在搜索里的放大版:搜索越强,越能找到评估器和真实目标之间的缝。第七讲的两处:一个永远返回 True 的检查让所有候选都“通过”;Baker et al. 2025(arXiv 2503.11926)监测推理模型在训练中钻奖励的空子。常用的防法:评估器用多组、留出的实例;定期用独立的检验复核;看搜出来的东西是不是只在评估器上好。

常见误区

“分数一直在涨,说明在进步”。

动手

LAB-C §1:把评估器改成只在很小的实例上评,比较“评估器给的分”和“在大实例上的真实表现”。

出处

  • 出处:第七讲讲义;Baker et al. 2025(arXiv 2503.11926)。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:示意图:横轴“搜索的代数”,两条线:评估器给的分一路涨;真实目标先涨后跌;分叉处标一行:从这里起,搜索在钻评估器的空子。
  • 第 2 步:两张回扣小卡:第七讲|“永远返回 True 的检查”;推理模型钻空子的监测|“工具接口”那一站|“有用”的尺子选成了构建速度。一行判断(线索丙):评估器本身也要被检验。一行动手:LAB-C 里把评估器改错(只在很小的实例上评),看搜得越狠是不是偏得越远。

讲

第 1 步 · 教师可说的话

第 1 步

反过来想:搜索只认评估器给的分。评估器要是量偏了,比如只在很小的例子上测,搜索越强,越会找到专门讨好这个评估器、真实情况下却不行的东西。分数一路涨,真本事先涨后跌。

第 2 步 · 教师可说的话

第 2 步

这在第七讲见过:一个永远返回 True 的检查;推理模型学会了钻空子。“工具接口”那一站,我们自己也犯过:拿构建速度当“有用”的尺子。评估器本身,也要被检验。Deepnote 里有个练习:你亲手把评估器改错,看搜索会不会被它带偏。

本页衔接

回扣第七讲;回扣“工具接口”(回来:接口统一了;“有用”的尺子我们也选错过 的错尺子),站牌上“工具接口”一起亮。线索丙。

教学构造

  • 教学构造:两条曲线是示意,不是某篇论文的数据;本页的“揭示”由学生在 Deepnote 里亲手做出。

  • 教学构造:分镜标注为“重|划边界|动手 LAB-C §1”。