---
title: "没人写测试，反馈从哪来？"
description: "“测试”那一站的“用测试挑”靠的是现成的正确测试，真实任务大多没有；2022 年有人让同一个模型再写一批测试，让代码和测试互相印证。"
---

## 这一页为什么在这里

接住 [多试几次，对的往往就在里面；难的是挑出来](/sample-and-pick) 留下的问题：77.5% 的前提是有测试。

## 上屏

- 第 1 步：站牌（③ 亮；甲乙丙亮）。回扣“测试”一行：用测试挑 77.5%，靠的是人写好的正确测试。现实：一个新函数，只有一句说明，没有测试。三张卡：A｜按模型自己的把握挑（“测试”那一站 44.5%）；B｜让同一个模型再写一批测试，挑通过最多的代码；C｜让代码和测试互相印证：一批代码都通过同一批测试，就一起选中。
- 第 2 步：题面：自己出题自己考，靠得住吗？你会和谁比？它会在什么情况下一起错？

## 讲

### 第 1 步 · 教师可说的话

第 1 步

回到“测试”那一站的 77.5%。用测试挑，靠的是人写好的、正确的测试。可真实世界里，你让模型写一个新函数，手上往往只有一句说明，没有测试。反馈从哪来？2022 年夏天，微软的一组人想了个办法：模型会写代码，也会写测试，那就让同一个模型再写一批测试，让代码和测试互相印证。

### 第 2 步 · 教师可说的话

第 2 步

自己出题自己考，听着就有点悬。要证明它有用，和谁比？最自然的对手，就是“测试”那一站的“按模型自己的把握挑”。还要想它怎么失败：代码和测试出自同一个模型，会不会一起错？

### 本页衔接

回扣“测试”（77.5% 靠现成测试；44.5% 按把握挑）。

### 连续教师稿原文

回到“测试”那一站的 77.5%。用测试挑，靠的是人写好的、正确的测试。可真实世界里，你让模型写一个新函数，手上往往只有一句说明，没有测试。反馈从哪来？2022 年夏天，微软的一组人想了个办法：模型会写代码，也会写测试，那就让同一个模型再写一批测试，让代码和测试互相印证。

自己出题自己考，听着就有点悬。要证明它有用，和谁比？最自然的对手，就是“测试”那一站的“按模型自己的把握挑”。还要想它怎么失败：代码和测试出自同一个模型，会不会一起错？

## 完整推理

回到“测试”那一站的 77.5%。用测试挑，靠的是人写好的、正确的测试。可真实世界里，你让模型写一个新函数，手上往往只有一句说明，没有测试。反馈从哪来？2022 年夏天，微软的一组人想了个办法：模型会写代码，也会写测试，那就让同一个模型再写一批测试，让代码和测试互相印证。

自己出题自己考，听着就有点悬。要证明它有用，和谁比？最自然的对手，就是“测试”那一站的“按模型自己的把握挑”。还要想它怎么失败：代码和测试出自同一个模型，会不会一起错？

CodeT 的做法：同一个模型对一道题采样许多段代码，也采样许多条测试；把通过同一组测试的代码归成一组；一组的得分＝组里代码数（论文实际取平方根）× 这组通过的测试数；选得分最高那组里的代码。直觉：多段代码一致通过同一批测试，像多个证人说法一致；但这些证人并不独立。

## 学生可能的回答与误区

“让 AI 写了测试就有了保障”：测试和代码同源时，会一起错（[代码和测试互相印证；可同源的会一起错](/codet-agreement)）。

## 教学构造与出处

教学构造：三张卡是本讲列的候选，论文里没有这三个选项。

教学构造：分镜标注为“中｜置身、抉择、设计检验｜揭示在 「代码和测试互相印证；可同源的会一起错」（`codet-agreement`）｜动手 LAB-A §3”。

出处：Chen et al., CodeT, arXiv 2207.10397（所见 v2 2022-11-23；Microsoft）。

## 动手

[LAB-A](/labs/run-it-to-count) §3。
