跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

多试几次,对的往往就在里面;难的是挑出来

一题让模型试一百次,约七成的题至少有一次写对;可交卷只能交一个:按模型自己的把握挑约 44.5%,用测试挑约 77.5%。生成便宜之后,检验开始值钱。

在课堂中打开

完整推理

再换个问法:让它对同一道题试一百次,只要有一次对就算,能做出来的题一下子到了七成左右。这个指标叫 pass@k。对的东西,往往已经在一百个候选里了。

可真用的时候只能交一个。一百个里怎么挑?按模型自己的把握,选它自己觉得最可能对的,四成多一点;让测试来挑,七成七。可验证的反馈在这里第一次显出分量:它不只给你打分,还能替你挑。注意,这个 77.5% 用的是现成的、正确的测试。手上要是没有测试呢?记住这个问题,到“自写测试”那一站回答。

半年后,DeepMind 的 AlphaCode 把这条路推到了编程竞赛:一题生成海量程序,用题目给的样例筛掉大半,再聚类,挑出十个交上去,排名大约在参赛者中间。从这里起,有一条线会一直走到收尾:生成越来越便宜,检验就越来越值钱。

pass@k 的算法:每题采 n 个样本(n ≥ k)、其中 c 个通过,用无偏估计 1 − C(n−c, k) / C(n, k),再对题目取平均;直接用 1 − (1 − c/n)^k 会系统地偏低(论文式 1、附录 A)。温度:只交一次时 0.2 最好,允许试 100 次时 0.8 最好(679M 模型,图 5):试得多,要的是彼此不同、覆盖得广;准和广是两种要求。数字:Codex-12B pass@100 为 72.31%(表 1;摘要写每题 100 个样本、70.2% 的题至少一个正确,口述用“约七成”);三根柱子出自论文图 1,模型是进一步微调过的 Codex-S,温度 0.8:只交一次 37.7%,按平均对数概率挑 44.5%,挑能通过单元测试的 77.5%。77.5% 挑选时用的就是评测那组测试,相当于手上已有正确测试时的上限。AlphaCode:DeepMind 博客 2022-02-02,Science 2022-12-08;大量生成、用题目样例筛选、聚类后提交 10 个,水平约为参赛者中位数(约前 54%)。

常见误区

“pass@100 高就能用”:交卷只能交一个,要有办法挑。“用测试挑的 77.5% 是实际能达到的”:前提是有正确的测试。

动手

LAB-A §2:给每题 n 次采样、c 次正确的计数,分别用两种算法算 pass@k,和蒙特卡洛真值比,看哪一个系统地偏低。

出处

  • 出处:Chen et al. 2021,式 1、附录 A、表 1、图 1、图 5;AlphaCode(DeepMind 博客 2022-02-02;Science 2022-12-08)。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:一道题,100 个候选排成方阵,几块绿色。一行:试 100 次、至少一次写对:约七成的题。小字:pass@k=试 k 次、至少对一次的概率。
  • 第 2 步:题面:只能交一个,怎么挑?三根柱子(每题 100 个候选):只交一次 37.7%|按模型自己的把握挑 44.5%|用测试挑 77.5%。
  • 第 3 步:一行接力:2022-02,DeepMind 的 AlphaCode:海量生成 → 用题目给的样例筛 → 聚类 → 交 10 个,在编程竞赛里排到参赛者中间。下方一行(线索乙):生成越便宜,检验越值钱。

讲

第 1 步 · 教师可说的话

第 1 步

再换个问法:让它对同一道题试一百次,只要有一次对就算,能做出来的题一下子到了七成左右。这个指标叫 pass@k。对的东西,往往已经在一百个候选里了。

第 2 步 · 教师可说的话

第 2 步

可真用的时候只能交一个。一百个里怎么挑?按模型自己的把握,选它自己觉得最可能对的,四成多一点;让测试来挑,七成七。可验证的反馈在这里第一次显出分量:它不只给你打分,还能替你挑。注意,这个 77.5% 用的是现成的、正确的测试。手上要是没有测试呢?记住这个问题,到“自写测试”那一站回答。

第 3 步 · 教师可说的话

第 3 步

半年后,DeepMind 的 AlphaCode 把这条路推到了编程竞赛:一题生成海量程序,用题目给的样例筛掉大半,再聚类,挑出十个交上去,排名大约在参赛者中间。从这里起,有一条线会一直走到收尾:生成越来越便宜,检验就越来越值钱。

本页衔接

线索乙起点。留给后面:测试从哪来(→ 自写测试,没人写测试,反馈从哪来?);除了判对错,测试还能做什么(→ 报错那站的“改”、评估器加搜索那站的“搜”)。

教学构造

  • 教学构造:100 个方块的方阵是示意。

  • 教学构造:分镜标注为“重|揭示|揭示在 第 1 步、第 2 步|动手 LAB-A §2”。