---
title: "代码和测试互相印证；可同源的会一起错"
description: "代码和自写的测试互相印证（CodeT），HumanEval 只交一次的通过率从 47.0% 提到 65.8%；但测试和代码同源，“有毒测试”会让错的代码胜出。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：示意：左边三段候选代码（A、B、C），右边三条模型写的测试（1、2、3），连线表示“通过”：A、B 都过 1、2，C 只过 3；A、B 与 1、2 这一组最大，框出来，标“被选中”。一行数字（code-davinci-002）：HumanEval 47.0% → 65.8%；MBPP 58.1% → 67.7%。
- 第 2 步：有毒测试示意：一条写错的测试，错的代码都能过，正确的代码反而不过；错的那组人多，胜出。一行：同源的检查有同样的盲区。小字：在较小的模型上，164 题里有 53 题，正确的代码不在得分最高的那组。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

结果是有用的，至少平均来看。同一个模型，HumanEval 只交一次，从 47% 提到将近 66%。原理就是互相印证：好几段代码都通过同一批测试，这批测试和这些代码大概率都对，像几个证人说法一致。

### 第 2 步 · 教师可说的话

第 2 步

可这几个证人并不独立。测试和代码出自同一个模型：它误解了题意，就会写出错的代码，也写出配套的错测试；错的那一组人多势众，正确的反而落选。论文管这叫有毒测试。在较小的模型上，164 道题里有 53 道，正确的代码不在得分最高的那组。同源的检查，有同样的盲区。

### 本页衔接

线索甲：模型自己写的测试；线索丙：自写的测试会和代码一起错。回扣第七讲的多数投票：一致不等于对。

### 连续教师稿原文

结果是有用的，至少平均来看。同一个模型，HumanEval 只交一次，从 47% 提到将近 66%。原理就是互相印证：好几段代码都通过同一批测试，这批测试和这些代码大概率都对，像几个证人说法一致。

可这几个证人并不独立。测试和代码出自同一个模型：它误解了题意，就会写出错的代码，也写出配套的错测试；错的那一组人多势众，正确的反而落选。论文管这叫有毒测试。在较小的模型上，164 道题里有 53 道，正确的代码不在得分最高的那组。同源的检查，有同样的盲区。

## 完整推理

结果是有用的，至少平均来看。同一个模型，HumanEval 只交一次，从 47% 提到将近 66%。原理就是互相印证：好几段代码都通过同一批测试，这批测试和这些代码大概率都对，像几个证人说法一致。

可这几个证人并不独立。测试和代码出自同一个模型：它误解了题意，就会写出错的代码，也写出配套的错测试；错的那一组人多势众，正确的反而落选。论文管这叫有毒测试。在较小的模型上，164 道题里有 53 道，正确的代码不在得分最高的那组。同源的检查，有同样的盲区。

表 2：code-davinci-002 在 HumanEval 上只交一次的通过率 47.0 → 65.8，MBPP 58.1 → 67.7。图 4 只给了有毒测试比例的分布。§4.4：code-cushman-001 上有 53/164 题，正确解不在得分最高的组里。和第七讲的自洽（多数投票）比：CodeT 多了一层执行，但仍然依赖“多数”，同源的错误会一起出现。

## 学生可能的回答与误区

“多数同意就是对”：错误相关时，多数会一起错。

## 教学构造与出处

教学构造：两张示意图。

教学构造：分镜标注为“中｜揭示、划边界｜揭示在 第 1 步｜动手 LAB-A §3”。

出处：Chen et al. 2022（arXiv 2207.10397）表 2、图 4、§4.4。

## 动手

[LAB-A](/labs/run-it-to-count) §3：在一组“模型写的”测试里混一条错的，看共识怎样把错的代码挑上来；再换成独立来源的测试对照。
