跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

代码和测试互相印证;可同源的会一起错

代码和自写的测试互相印证(CodeT),HumanEval 只交一次的通过率从 47.0% 提到 65.8%;但测试和代码同源,“有毒测试”会让错的代码胜出。

在课堂中打开

完整推理

结果是有用的,至少平均来看。同一个模型,HumanEval 只交一次,从 47% 提到将近 66%。原理就是互相印证:好几段代码都通过同一批测试,这批测试和这些代码大概率都对,像几个证人说法一致。

可这几个证人并不独立。测试和代码出自同一个模型:它误解了题意,就会写出错的代码,也写出配套的错测试;错的那一组人多势众,正确的反而落选。论文管这叫有毒测试。在较小的模型上,164 道题里有 53 道,正确的代码不在得分最高的那组。同源的检查,有同样的盲区。

表 2:code-davinci-002 在 HumanEval 上只交一次的通过率 47.0 → 65.8,MBPP 58.1 → 67.7。图 4 只给了有毒测试比例的分布。§4.4:code-cushman-001 上有 53/164 题,正确解不在得分最高的组里。和第七讲的自洽(多数投票)比:CodeT 多了一层执行,但仍然依赖“多数”,同源的错误会一起出现。

常见误区

“多数同意就是对”:错误相关时,多数会一起错。

动手

LAB-A §3:在一组“模型写的”测试里混一条错的,看共识怎样把错的代码挑上来;再换成独立来源的测试对照。

出处

  • 出处:Chen et al. 2022(arXiv 2207.10397)表 2、图 4、§4.4。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:示意:左边三段候选代码(A、B、C),右边三条模型写的测试(1、2、3),连线表示“通过”:A、B 都过 1、2,C 只过 3;A、B 与 1、2 这一组最大,框出来,标“被选中”。一行数字(code-davinci-002):HumanEval 47.0% → 65.8%;MBPP 58.1% → 67.7%。
  • 第 2 步:有毒测试示意:一条写错的测试,错的代码都能过,正确的代码反而不过;错的那组人多,胜出。一行:同源的检查有同样的盲区。小字:在较小的模型上,164 题里有 53 题,正确的代码不在得分最高的那组。

讲

第 1 步 · 教师可说的话

第 1 步

结果是有用的,至少平均来看。同一个模型,HumanEval 只交一次,从 47% 提到将近 66%。原理就是互相印证:好几段代码都通过同一批测试,这批测试和这些代码大概率都对,像几个证人说法一致。

第 2 步 · 教师可说的话

第 2 步

可这几个证人并不独立。测试和代码出自同一个模型:它误解了题意,就会写出错的代码,也写出配套的错测试;错的那一组人多势众,正确的反而落选。论文管这叫有毒测试。在较小的模型上,164 道题里有 53 道,正确的代码不在得分最高的那组。同源的检查,有同样的盲区。

本页衔接

线索甲:模型自己写的测试;线索丙:自写的测试会和代码一起错。回扣第七讲的多数投票:一致不等于对。

教学构造

  • 教学构造:两张示意图。

  • 教学构造:分镜标注为“中|揭示、划边界|揭示在 第 1 步|动手 LAB-A §3”。