---
title: "回来：今天评代码都在跑；我们也有自己的 BLEU"
description: "今天评代码一律靠跑，而且在隔离的沙箱里跑；我们做课件也犯过 BLEU 式的错：量了好量的，没量关心的；量对了以后，又把它当成了要追的目标。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：今天一句：评代码都靠跑，而且关在断网的沙箱里跑。
- 第 2 步：我们（示意，泛称）：问题“这一讲能讲多久？”两把尺子：数页数 → 约 100 分钟｜数口述字数 → 五十分钟上下。一行：页数就是我们的 BLEU。
- 第 3 步：我们的“过不过”：一行四格：能构建 → 我们看过 → 老师说行 → 上过课。一行：四级不能互相冒充。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

回到今天。现在没有谁再拿像不像来评代码了，都是跑。HumanEval 本身到 2024 年就被做到九成以上，题太简单，大家转去测模型能不能在真实的代码仓库里修好一个 bug，这是第十讲的事。评测都在隔离、断网的沙箱里跑。还有个巧合：2025 年五月，Codex 这个名字又回来了，这回是一个编程 agent，每个任务在自己的隔离容器里干活，和 2021 年那个笼子一脉相承。

### 第 2 步 · 教师可说的话

第 2 步

再回到我们自己。我们也犯过 BLEU 式的错。上周估第八讲能讲多久，按页数是一百分钟；一数口述的字数，九千六百字左右，按每分钟两百字，五十分钟上下，结果课上我自己又补了不少。页数就是我们的 BLEU：好数，数的却不是我们关心的东西。改成数字数以后，又出了新问题：设计的 AI 把字数当成了要填满的目标，往每一站里填字。量什么，和让它去追什么，是两回事。

### 第 3 步 · 教师可说的话

第 3 步

还有个习惯也是从这里来的。我们让 AI 施工，交回来的东西第一句必须写清楚它证明到了哪一级：只是能构建、能打开，还是我们按要求看过了，还是我说行了，还是已经真上过课。这四级不能互相冒充，就像测试跑过不等于看着像。你们用 AI 做研究也一样：先问这个指标量的是不是你关心的那件事，再问它证明到了哪一级。

### 本页衔接

第十讲的影子（真实仓库修 bug；Codex 在容器里干活）。留给后面：测试从哪来（→ 自写测试）。

### 连续教师稿原文

回到今天。现在没有谁再拿像不像来评代码了，都是跑。HumanEval 本身到 2024 年就被做到九成以上，题太简单，大家转去测模型能不能在真实的代码仓库里修好一个 bug，这是第十讲的事。评测都在隔离、断网的沙箱里跑。还有个巧合：2025 年五月，Codex 这个名字又回来了，这回是一个编程 agent，每个任务在自己的隔离容器里干活，和 2021 年那个笼子一脉相承。

再回到我们自己。我们也犯过 BLEU 式的错。上周估第八讲能讲多久，按页数是一百分钟；一数口述的字数，九千六百字左右，按每分钟两百字，五十分钟上下，结果课上我自己又补了不少。页数就是我们的 BLEU：好数，数的却不是我们关心的东西。改成数字数以后，又出了新问题：设计的 AI 把字数当成了要填满的目标，往每一站里填字。量什么，和让它去追什么，是两回事。

还有个习惯也是从这里来的。我们让 AI 施工，交回来的东西第一句必须写清楚它证明到了哪一级：只是能构建、能打开，还是我们按要求看过了，还是我说行了，还是已经真上过课。这四级不能互相冒充，就像测试跑过不等于看着像。你们用 AI 做研究也一样：先问这个指标量的是不是你关心的那件事，再问它证明到了哪一级。

## 完整推理

回到今天。现在没有谁再拿像不像来评代码了，都是跑。HumanEval 本身到 2024 年就被做到九成以上，题太简单，大家转去测模型能不能在真实的代码仓库里修好一个 bug，这是第十讲的事。评测都在隔离、断网的沙箱里跑。还有个巧合：2025 年五月，Codex 这个名字又回来了，这回是一个编程 agent，每个任务在自己的隔离容器里干活，和 2021 年那个笼子一脉相承。

再回到我们自己。我们也犯过 BLEU 式的错。上周估第八讲能讲多久，按页数是一百分钟；一数口述的字数，九千六百字左右，按每分钟两百字，五十分钟上下，结果课上我自己又补了不少。页数就是我们的 BLEU：好数，数的却不是我们关心的东西。改成数字数以后，又出了新问题：设计的 AI 把字数当成了要填满的目标，往每一站里填字。量什么，和让它去追什么，是两回事。

还有个习惯也是从这里来的。我们让 AI 施工，交回来的东西第一句必须写清楚它证明到了哪一级：只是能构建、能打开，还是我们按要求看过了，还是我说行了，还是已经真上过课。这四级不能互相冒充，就像测试跑过不等于看着像。你们用 AI 做研究也一样：先问这个指标量的是不是你关心的那件事，再问它证明到了哪一级。

Claude 3.5 Sonnet 模型卡附录（2024-06）报告 HumanEval 92.0%，另述一项编码评测：模型在安全的沙箱、断网环境里反复修改自己的代码。OpenAI「Introducing Codex」（2025-05-16）：云端的软件工程 agent，codex-1 是 o3 针对软件工程的版本，每个任务在各自的隔离容器里运行；Codex CLI 2025-04-16 发布；2021 年的 Codex 模型已于 2023-03 停用。指标一旦变成要追的目标就会失真，常称古德哈特定律；我们的两次教训都是这一条。“四级”是这门课课件生产线的约定：工程可用 → 教学候选 → 老师采用 → 已授课。第八讲的口述字数后来用脚本按同一口径（每步口述去空白计数、含标点）重数过：9,590 字，其中课程事务五页 791 字；早先报的“约 1.17 万字”复现不出来。这本身也是“数字让代码算”的一例（“解释器”那一站）。

## 学生可能的回答与误区

“换一个更好的指标就一劳永逸”：任何指标成了要追的目标，都可能被追偏；指标要配上它证明到哪一级。

## 教学构造与出处

教学构造：“我们”一拍是本课程课件制作中的真实环节（第八讲估时；这一讲主线的第一版），画面用示意图。

教学构造：分镜标注为“重｜回来（今天、我们、影子）”。

出处：Claude 3.5 Sonnet model card addendum（2024-06）；OpenAI，Introducing Codex（2025-05-16）。

## 动手

课后一步：下次让 AI 替你写数据分析，先让它写两条断言（总数对得上、单位对得上），再跑。
