---
title: "2021 年夏：模型写的代码，怎么判对不对？"
description: "2021 年要评价会写代码的模型，面前有两条路：和参考答案比像不像（BLEU），或者自己出题、写测试、真跑一遍。"
---

## 这一页为什么在这里

“测试”这一站，七站的开头。先让学生站进 2021 年的团队里押一条路，并先设计“证明 BLEU 不行”的实验。

## 上屏

- 第 1 步：站牌（① 亮；甲乙丙都亮）。一道题：函数名加一句说明（如 second_largest(xs)：返回列表里第二大的数）。下面两段“模型写的代码”，先不标对错：代码 1 和参考答案只差一个字符，代码 2 写法完全不同。两张候选卡：A｜和参考答案比像不像：BLEU，数片段重合，机器翻译用了多年，便宜、快、不用跑；B｜自己出题、写测试，真跑一遍：要人手，还要一个安全的地方去跑来历不明的代码。
- 第 2 步：一行题面：你押哪条？要证明 BLEU 不行，你做什么实验？

## 讲

### 第 1 步 · 教师可说的话

第 1 步

2021 年夏天，OpenAI 手里有一个专门拿 GitHub 代码训练过的模型，后来叫 Codex。要写论文，先得回答一个朴素的问题：它写的代码，怎么判对不对？现成的尺子是机器翻译用了很多年的 BLEU：拿一份参考答案，数一数你写的和它有多少片段重合，便宜、快、不用跑。另一条路麻烦得多：自己出题，每道题写几条测试，真跑一遍；要人手，还得找个安全的地方，去跑一段来历不明的代码。你在这个团队里，押哪条？

### 第 2 步 · 教师可说的话

第 2 步

先别急着选。假如你觉得 BLEU 不行，审稿人会问：证据呢？什么实验能说明它不行？（停一下）拿一批已经知道对错的程序，算它们的 BLEU，看这个分数能不能把对的和错的分开。分不开，这把尺子量的就不是我们关心的东西。

### 本页衔接

→ [分不开：像不像，和对不对是两回事](/functional-correctness) 揭示。

### 连续教师稿原文

2021 年夏天，OpenAI 手里有一个专门拿 GitHub 代码训练过的模型，后来叫 Codex。要写论文，先得回答一个朴素的问题：它写的代码，怎么判对不对？现成的尺子是机器翻译用了很多年的 BLEU：拿一份参考答案，数一数你写的和它有多少片段重合，便宜、快、不用跑。另一条路麻烦得多：自己出题，每道题写几条测试，真跑一遍；要人手，还得找个安全的地方，去跑一段来历不明的代码。你在这个团队里，押哪条？

先别急着选。假如你觉得 BLEU 不行，审稿人会问：证据呢？什么实验能说明它不行？（停一下）拿一批已经知道对错的程序，算它们的 BLEU，看这个分数能不能把对的和错的分开。分不开，这把尺子量的就不是我们关心的东西。

## 完整推理

2021 年夏天，OpenAI 手里有一个专门拿 GitHub 代码训练过的模型，后来叫 Codex。要写论文，先得回答一个朴素的问题：它写的代码，怎么判对不对？现成的尺子是机器翻译用了很多年的 BLEU：拿一份参考答案，数一数你写的和它有多少片段重合，便宜、快、不用跑。另一条路麻烦得多：自己出题，每道题写几条测试，真跑一遍；要人手，还得找个安全的地方，去跑一段来历不明的代码。你在这个团队里，押哪条？

先别急着选。假如你觉得 BLEU 不行，审稿人会问：证据呢？什么实验能说明它不行？（停一下）拿一批已经知道对错的程序，算它们的 BLEU，看这个分数能不能把对的和错的分开。分不开，这把尺子量的就不是我们关心的东西。

BLEU 原是机器翻译的自动指标：数候选和参考答案之间 n 元片段的重合，再对过短的输出打折扣。乙路的代价：题目要新写（防止训练数据里见过）；测试要写得够；跑代码要隔离（[边界：跑代码先要一个笼子；测试只证明它测到的](/sandbox-and-test-scope)）。

## 学生可能的回答与误区

“BLEU 低说明写得差”：写法不同也可能完全正确。“能跑起来就对”：测试只证明它测到的情况（[边界：跑代码先要一个笼子；测试只证明它测到的](/sandbox-and-test-scope)）。

## 教学构造与出处

教学构造：题目和 A、B 两段代码是示意。

教学构造：分镜标注为“重｜置身、抉择、设计检验｜穿越者时刻｜揭示在 「分不开：像不像，和对不对是两回事」（`functional-correctness`）｜动手 LAB-A §1”。

出处：Chen et al., Evaluating Large Language Models Trained on Code, arXiv 2107.03374（v2 2021-07-14），§3.3。

## 动手

[LAB-A](/labs/run-it-to-count) §1：二十段程序，先写下你预计哪几段 BLEU 高却跑不过，再算 BLEU、跑测试。
