---
title: "分不开：像不像，和对不对是两回事"
description: "BLEU 分不开对的和错的程序；于是他们手写 164 道题、按测试判“功能正确”。同年另两拨人做了同样的选择。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：示意图：两条 BLEU 分数分布（写对的、写错的），大面积重叠。一行：BLEU 高，不等于写对。
- 第 2 步：时间轴三点：2021-05 APPS｜约 1 万道题，跑测试；2021-07 HumanEval｜164 道，手写，平均每道 7.7 条测试；2021-08 MBPP｜974 道入门题，跑测试。一行：三拨人，三个月，都选了“跑一遍”。
- 第 3 步：三个数（HumanEval，只交一次的通过率）：GPT-3 0%｜GPT-J 约 11%｜Codex 28.8%。一行：评的对象换了：从“文字像不像”，到“程序做没做成”。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

他们就是这么做的。结果两条分布几乎叠在一起。一段代码可以和参考答案只差一个字符，却跑不通；也可以写法完全不同，却完全正确。

### 第 2 步 · 教师可说的话

第 2 步

所以他们走了第二条路，手写了 164 道题，平均每道 7.7 条测试，这就是后来人人都用的 HumanEval。为什么非要手写？训练数据里有大半个 GitHub，网上现成的题，答案模型很可能早就见过。有意思的是，不止他们这么选：同年五月的 APPS，八月 Google 的 MBPP，也都是跑测试判对错。三拨人，前后三个月，都扔掉了“像不像”。代码是少有的、对错能让机器自己核对的输出，这个便宜不占白不占。

### 第 3 步 · 教师可说的话

第 3 步

拿 HumanEval 一测：GPT-3 一道都写不对，开源的 GPT-J 一成多，Codex 只交一次，对的不到三成。注意这个“对”：不是看着对，是测试跑过了。论文给它起了名字，叫功能正确。这一步看着平常，其实换掉了评价的对象：以前评文字像不像，现在评程序做没做成。这就是“测试”这一站：把模型写出来的东西，接到一个会回话的东西上。

### 本页衔接

线索甲第一格：反馈＝测试过不过。线索丙第一格：BLEU 量错了东西。

### 连续教师稿原文

他们就是这么做的。结果两条分布几乎叠在一起。一段代码可以和参考答案只差一个字符，却跑不通；也可以写法完全不同，却完全正确。

所以他们走了第二条路，手写了 164 道题，平均每道 7.7 条测试，这就是后来人人都用的 HumanEval。为什么非要手写？训练数据里有大半个 GitHub，网上现成的题，答案模型很可能早就见过。有意思的是，不止他们这么选：同年五月的 APPS，八月 Google 的 MBPP，也都是跑测试判对错。三拨人，前后三个月，都扔掉了“像不像”。代码是少有的、对错能让机器自己核对的输出，这个便宜不占白不占。

拿 HumanEval 一测：GPT-3 一道都写不对，开源的 GPT-J 一成多，Codex 只交一次，对的不到三成。注意这个“对”：不是看着对，是测试跑过了。论文给它起了名字，叫功能正确。这一步看着平常，其实换掉了评价的对象：以前评文字像不像，现在评程序做没做成。这就是“测试”这一站：把模型写出来的东西，接到一个会回话的东西上。

## 完整推理

他们就是这么做的。结果两条分布几乎叠在一起。一段代码可以和参考答案只差一个字符，却跑不通；也可以写法完全不同，却完全正确。

所以他们走了第二条路，手写了 164 道题，平均每道 7.7 条测试，这就是后来人人都用的 HumanEval。为什么非要手写？训练数据里有大半个 GitHub，网上现成的题，答案模型很可能早就见过。有意思的是，不止他们这么选：同年五月的 APPS，八月 Google 的 MBPP，也都是跑测试判对错。三拨人，前后三个月，都扔掉了“像不像”。代码是少有的、对错能让机器自己核对的输出，这个便宜不占白不占。

拿 HumanEval 一测：GPT-3 一道都写不对，开源的 GPT-J 一成多，Codex 只交一次，对的不到三成。注意这个“对”：不是看着对，是测试跑过了。论文给它起了名字，叫功能正确。这一步看着平常，其实换掉了评价的对象：以前评文字像不像，现在评程序做没做成。这就是“测试”这一站：把模型写出来的东西，接到一个会回话的东西上。

论文 §3.3、图 8：在 HumanEval 上对已知对错的样本算 BLEU，对、错两组的分布高度重叠，BLEU 的提高不一定意味着功能正确率的提高。HumanEval：164 道手写题，含函数签名、文档字符串、函数体，平均 7.7 条单元测试（§2.2）；手写是因为训练数据含 GitHub。数字：Codex-12B 只交一次 28.81%（表 1）；GPT-3 0%；GPT-J 11.4%（摘要；表 1 为 11.62%）。APPS：Hendrycks 等，arXiv 2105.09938（2021-05-20），约 1 万道题，按测试判；MBPP：Austin 等，arXiv 2108.07732（2021-08-16），974 道题。

## 学生可能的回答与误区

“HumanEval 分数＝编程能力”：它是 164 道函数级的小题。“手写题是为了更难”：主要是为了模型没见过。

## 教学构造与出处

教学构造：两条分布是示意，原图见论文图 8。

教学构造：分镜标注为“重｜揭示｜揭示在 第 1 步｜动手 LAB-A §1”。

出处：Chen et al. 2021（arXiv 2107.03374）§2.2、§3.3、表 1、图 8；APPS（arXiv 2105.09938）；MBPP（arXiv 2108.07732）。

## 动手

[LAB-A](/labs/run-it-to-count) §1。
