---
title: "评估器错了：搜得越狠，偏得越远"
description: "搜索只认评估器的分；评估器量偏了，搜索越强，越会找到专门讨好评估器、真实情况下不行的东西。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：示意图：横轴“搜索的代数”，两条线：评估器给的分一路涨；真实目标先涨后跌；分叉处标一行：从这里起，搜索在钻评估器的空子。
- 第 2 步：两张回扣小卡：第七讲｜“永远返回 True 的检查”；推理模型钻空子的监测｜“工具接口”那一站｜“有用”的尺子选成了构建速度。一行判断（线索丙）：评估器本身也要被检验。一行动手：LAB-C 里把评估器改错（只在很小的实例上评），看搜得越狠是不是偏得越远。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

反过来想：搜索只认评估器给的分。评估器要是量偏了，比如只在很小的例子上测，搜索越强，越会找到专门讨好这个评估器、真实情况下却不行的东西。分数一路涨，真本事先涨后跌。

### 第 2 步 · 教师可说的话

第 2 步

这在第七讲见过：一个永远返回 True 的检查；推理模型学会了钻空子。“工具接口”那一站，我们自己也犯过：拿构建速度当“有用”的尺子。评估器本身，也要被检验。Deepnote 里有个练习：你亲手把评估器改错，看搜索会不会被它带偏。

### 本页衔接

回扣第七讲；回扣“工具接口”（[回来：接口统一了；“有用”的尺子我们也选错过](/from-json-to-mcp) 的错尺子），站牌上“工具接口”一起亮。线索丙。

### 连续教师稿原文

反过来想：搜索只认评估器给的分。评估器要是量偏了，比如只在很小的例子上测，搜索越强，越会找到专门讨好这个评估器、真实情况下却不行的东西。分数一路涨，真本事先涨后跌。

这在第七讲见过：一个永远返回 True 的检查；推理模型学会了钻空子。“工具接口”那一站，我们自己也犯过：拿构建速度当“有用”的尺子。评估器本身，也要被检验。Deepnote 里有个练习：你亲手把评估器改错，看搜索会不会被它带偏。

## 完整推理

反过来想：搜索只认评估器给的分。评估器要是量偏了，比如只在很小的例子上测，搜索越强，越会找到专门讨好这个评估器、真实情况下却不行的东西。分数一路涨，真本事先涨后跌。

这在第七讲见过：一个永远返回 True 的检查；推理模型学会了钻空子。“工具接口”那一站，我们自己也犯过：拿构建速度当“有用”的尺子。评估器本身，也要被检验。Deepnote 里有个练习：你亲手把评估器改错，看搜索会不会被它带偏。

这是“指标成了目标就失真”在搜索里的放大版：搜索越强，越能找到评估器和真实目标之间的缝。第七讲的两处：一个永远返回 True 的检查让所有候选都“通过”；Baker et al. 2025（arXiv 2503.11926）监测推理模型在训练中钻奖励的空子。常用的防法：评估器用多组、留出的实例；定期用独立的检验复核；看搜出来的东西是不是只在评估器上好。

## 学生可能的回答与误区

“分数一直在涨，说明在进步”。

## 教学构造与出处

教学构造：两条曲线是示意，不是某篇论文的数据；本页的“揭示”由学生在 Deepnote 里亲手做出。

教学构造：分镜标注为“重｜划边界｜动手 LAB-C §1”。

出处：第七讲讲义；Baker et al. 2025（arXiv 2503.11926）。

## 动手

[LAB-C](/labs/evaluator-and-search) §1：把评估器改成只在很小的实例上评，比较“评估器给的分”和“在大实例上的真实表现”。
