跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

没人写测试,反馈从哪来?

“测试”那一站的“用测试挑”靠的是现成的正确测试,真实任务大多没有;2022 年有人让同一个模型再写一批测试,让代码和测试互相印证。

在课堂中打开

完整推理

回到“测试”那一站的 77.5%。用测试挑,靠的是人写好的、正确的测试。可真实世界里,你让模型写一个新函数,手上往往只有一句说明,没有测试。反馈从哪来?2022 年夏天,微软的一组人想了个办法:模型会写代码,也会写测试,那就让同一个模型再写一批测试,让代码和测试互相印证。

自己出题自己考,听着就有点悬。要证明它有用,和谁比?最自然的对手,就是“测试”那一站的“按模型自己的把握挑”。还要想它怎么失败:代码和测试出自同一个模型,会不会一起错?

CodeT 的做法:同一个模型对一道题采样许多段代码,也采样许多条测试;把通过同一组测试的代码归成一组;一组的得分=组里代码数(论文实际取平方根)× 这组通过的测试数;选得分最高那组里的代码。直觉:多段代码一致通过同一批测试,像多个证人说法一致;但这些证人并不独立。

常见误区

“让 AI 写了测试就有了保障”:测试和代码同源时,会一起错(代码和测试互相印证;可同源的会一起错)。

动手

LAB-A §3。

出处

  • 出处:Chen et al., CodeT, arXiv 2207.10397(所见 v2 2022-11-23;Microsoft)。

备课稿(上屏与口述)

这一页为什么在这里

接住 多试几次,对的往往就在里面;难的是挑出来 留下的问题:77.5% 的前提是有测试。

上屏

  • 第 1 步:站牌(③ 亮;甲乙丙亮)。回扣“测试”一行:用测试挑 77.5%,靠的是人写好的正确测试。现实:一个新函数,只有一句说明,没有测试。三张卡:A|按模型自己的把握挑(“测试”那一站 44.5%);B|让同一个模型再写一批测试,挑通过最多的代码;C|让代码和测试互相印证:一批代码都通过同一批测试,就一起选中。
  • 第 2 步:题面:自己出题自己考,靠得住吗?你会和谁比?它会在什么情况下一起错?

讲

第 1 步 · 教师可说的话

第 1 步

回到“测试”那一站的 77.5%。用测试挑,靠的是人写好的、正确的测试。可真实世界里,你让模型写一个新函数,手上往往只有一句说明,没有测试。反馈从哪来?2022 年夏天,微软的一组人想了个办法:模型会写代码,也会写测试,那就让同一个模型再写一批测试,让代码和测试互相印证。

第 2 步 · 教师可说的话

第 2 步

自己出题自己考,听着就有点悬。要证明它有用,和谁比?最自然的对手,就是“测试”那一站的“按模型自己的把握挑”。还要想它怎么失败:代码和测试出自同一个模型,会不会一起错?

本页衔接

回扣“测试”(77.5% 靠现成测试;44.5% 按把握挑)。

教学构造

  • 教学构造:三张卡是本讲列的候选,论文里没有这三个选项。

  • 教学构造:分镜标注为“中|置身、抉择、设计检验|揭示在 「代码和测试互相印证;可同源的会一起错」(codet-agreement)|动手 LAB-A §3”。