---
title: "多试几次，对的往往就在里面；难的是挑出来"
description: "一题让模型试一百次，约七成的题至少有一次写对；可交卷只能交一个：按模型自己的把握挑约 44.5%，用测试挑约 77.5%。生成便宜之后，检验开始值钱。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：一道题，100 个候选排成方阵，几块绿色。一行：试 100 次、至少一次写对：约七成的题。小字：pass@k＝试 k 次、至少对一次的概率。
- 第 2 步：题面：只能交一个，怎么挑？三根柱子（每题 100 个候选）：只交一次 37.7%｜按模型自己的把握挑 44.5%｜用测试挑 77.5%。
- 第 3 步：一行接力：2022-02，DeepMind 的 AlphaCode：海量生成 → 用题目给的样例筛 → 聚类 → 交 10 个，在编程竞赛里排到参赛者中间。下方一行（线索乙）：生成越便宜，检验越值钱。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

再换个问法：让它对同一道题试一百次，只要有一次对就算，能做出来的题一下子到了七成左右。这个指标叫 pass@k。对的东西，往往已经在一百个候选里了。

### 第 2 步 · 教师可说的话

第 2 步

可真用的时候只能交一个。一百个里怎么挑？按模型自己的把握，选它自己觉得最可能对的，四成多一点；让测试来挑，七成七。可验证的反馈在这里第一次显出分量：它不只给你打分，还能替你挑。注意，这个 77.5% 用的是现成的、正确的测试。手上要是没有测试呢？记住这个问题，到“自写测试”那一站回答。

### 第 3 步 · 教师可说的话

第 3 步

半年后，DeepMind 的 AlphaCode 把这条路推到了编程竞赛：一题生成海量程序，用题目给的样例筛掉大半，再聚类，挑出十个交上去，排名大约在参赛者中间。从这里起，有一条线会一直走到收尾：生成越来越便宜，检验就越来越值钱。

### 本页衔接

线索乙起点。留给后面：测试从哪来（→ 自写测试，[没人写测试，反馈从哪来？](/no-tests-given)）；除了判对错，测试还能做什么（→ 报错那站的“改”、评估器加搜索那站的“搜”）。

### 连续教师稿原文

再换个问法：让它对同一道题试一百次，只要有一次对就算，能做出来的题一下子到了七成左右。这个指标叫 pass@k。对的东西，往往已经在一百个候选里了。

可真用的时候只能交一个。一百个里怎么挑？按模型自己的把握，选它自己觉得最可能对的，四成多一点；让测试来挑，七成七。可验证的反馈在这里第一次显出分量：它不只给你打分，还能替你挑。注意，这个 77.5% 用的是现成的、正确的测试。手上要是没有测试呢？记住这个问题，到“自写测试”那一站回答。

半年后，DeepMind 的 AlphaCode 把这条路推到了编程竞赛：一题生成海量程序，用题目给的样例筛掉大半，再聚类，挑出十个交上去，排名大约在参赛者中间。从这里起，有一条线会一直走到收尾：生成越来越便宜，检验就越来越值钱。

## 完整推理

再换个问法：让它对同一道题试一百次，只要有一次对就算，能做出来的题一下子到了七成左右。这个指标叫 pass@k。对的东西，往往已经在一百个候选里了。

可真用的时候只能交一个。一百个里怎么挑？按模型自己的把握，选它自己觉得最可能对的，四成多一点；让测试来挑，七成七。可验证的反馈在这里第一次显出分量：它不只给你打分，还能替你挑。注意，这个 77.5% 用的是现成的、正确的测试。手上要是没有测试呢？记住这个问题，到“自写测试”那一站回答。

半年后，DeepMind 的 AlphaCode 把这条路推到了编程竞赛：一题生成海量程序，用题目给的样例筛掉大半，再聚类，挑出十个交上去，排名大约在参赛者中间。从这里起，有一条线会一直走到收尾：生成越来越便宜，检验就越来越值钱。

pass@k 的算法：每题采 n 个样本（n ≥ k）、其中 c 个通过，用无偏估计 1 − C(n−c, k) / C(n, k)，再对题目取平均；直接用 1 − (1 − c/n)^k 会系统地偏低（论文式 1、附录 A）。温度：只交一次时 0.2 最好，允许试 100 次时 0.8 最好（679M 模型，图 5）：试得多，要的是彼此不同、覆盖得广；准和广是两种要求。数字：Codex-12B pass@100 为 72.31%（表 1；摘要写每题 100 个样本、70.2% 的题至少一个正确，口述用“约七成”）；三根柱子出自论文图 1，模型是进一步微调过的 Codex-S，温度 0.8：只交一次 37.7%，按平均对数概率挑 44.5%，挑能通过单元测试的 77.5%。77.5% 挑选时用的就是评测那组测试，相当于手上已有正确测试时的上限。AlphaCode：DeepMind 博客 2022-02-02，Science 2022-12-08；大量生成、用题目样例筛选、聚类后提交 10 个，水平约为参赛者中位数（约前 54%）。

## 学生可能的回答与误区

“pass@100 高就能用”：交卷只能交一个，要有办法挑。“用测试挑的 77.5% 是实际能达到的”：前提是有正确的测试。

## 教学构造与出处

教学构造：100 个方块的方阵是示意。

教学构造：分镜标注为“重｜揭示｜揭示在 第 1 步、第 2 步｜动手 LAB-A §2”。

出处：Chen et al. 2021，式 1、附录 A、表 1、图 1、图 5；AlphaCode（DeepMind 博客 2022-02-02；Science 2022-12-08）。

## 动手

[LAB-A](/labs/run-it-to-count) §2：给每题 n 次采样、c 次正确的计数，分别用两种算法算 pass@k，和蒙特卡洛真值比，看哪一个系统地偏低。
