没人写测试,反馈从哪来?
“测试”那一站的“用测试挑”靠的是现成的正确测试,真实任务大多没有;2022 年有人让同一个模型再写一批测试,让代码和测试互相印证。
完整推理
回到“测试”那一站的 77.5%。用测试挑,靠的是人写好的、正确的测试。可真实世界里,你让模型写一个新函数,手上往往只有一句说明,没有测试。反馈从哪来?2022 年夏天,微软的一组人想了个办法:模型会写代码,也会写测试,那就让同一个模型再写一批测试,让代码和测试互相印证。
自己出题自己考,听着就有点悬。要证明它有用,和谁比?最自然的对手,就是“测试”那一站的“按模型自己的把握挑”。还要想它怎么失败:代码和测试出自同一个模型,会不会一起错?
CodeT 的做法:同一个模型对一道题采样许多段代码,也采样许多条测试;把通过同一组测试的代码归成一组;一组的得分=组里代码数(论文实际取平方根)× 这组通过的测试数;选得分最高那组里的代码。直觉:多段代码一致通过同一批测试,像多个证人说法一致;但这些证人并不独立。
常见误区
“让 AI 写了测试就有了保障”:测试和代码同源时,会一起错(代码和测试互相印证;可同源的会一起错)。
动手
LAB-A §3。
出处
出处:Chen et al., CodeT, arXiv 2207.10397(所见 v2 2022-11-23;Microsoft)。
备课稿(上屏与口述)
这一页为什么在这里
接住 多试几次,对的往往就在里面;难的是挑出来 留下的问题:77.5% 的前提是有测试。
上屏
- 第 1 步:站牌(③ 亮;甲乙丙亮)。回扣“测试”一行:用测试挑 77.5%,靠的是人写好的正确测试。现实:一个新函数,只有一句说明,没有测试。三张卡:A|按模型自己的把握挑(“测试”那一站 44.5%);B|让同一个模型再写一批测试,挑通过最多的代码;C|让代码和测试互相印证:一批代码都通过同一批测试,就一起选中。
- 第 2 步:题面:自己出题自己考,靠得住吗?你会和谁比?它会在什么情况下一起错?
讲
第 1 步 · 教师可说的话
第 1 步
回到“测试”那一站的 77.5%。用测试挑,靠的是人写好的、正确的测试。可真实世界里,你让模型写一个新函数,手上往往只有一句说明,没有测试。反馈从哪来?2022 年夏天,微软的一组人想了个办法:模型会写代码,也会写测试,那就让同一个模型再写一批测试,让代码和测试互相印证。
第 2 步 · 教师可说的话
第 2 步
自己出题自己考,听着就有点悬。要证明它有用,和谁比?最自然的对手,就是“测试”那一站的“按模型自己的把握挑”。还要想它怎么失败:代码和测试出自同一个模型,会不会一起错?
本页衔接
回扣“测试”(77.5% 靠现成测试;44.5% 按把握挑)。
教学构造
教学构造:三张卡是本讲列的候选,论文里没有这三个选项。
教学构造:分镜标注为“中|置身、抉择、设计检验|揭示在 「代码和测试互相印证;可同源的会一起错」(
codet-agreement)|动手 LAB-A §3”。