跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

2021 年夏:模型写的代码,怎么判对不对?

2021 年要评价会写代码的模型,面前有两条路:和参考答案比像不像(BLEU),或者自己出题、写测试、真跑一遍。

在课堂中打开

完整推理

2021 年夏天,OpenAI 手里有一个专门拿 GitHub 代码训练过的模型,后来叫 Codex。要写论文,先得回答一个朴素的问题:它写的代码,怎么判对不对?现成的尺子是机器翻译用了很多年的 BLEU:拿一份参考答案,数一数你写的和它有多少片段重合,便宜、快、不用跑。另一条路麻烦得多:自己出题,每道题写几条测试,真跑一遍;要人手,还得找个安全的地方,去跑一段来历不明的代码。你在这个团队里,押哪条?

先别急着选。假如你觉得 BLEU 不行,审稿人会问:证据呢?什么实验能说明它不行?(停一下)拿一批已经知道对错的程序,算它们的 BLEU,看这个分数能不能把对的和错的分开。分不开,这把尺子量的就不是我们关心的东西。

BLEU 原是机器翻译的自动指标:数候选和参考答案之间 n 元片段的重合,再对过短的输出打折扣。乙路的代价:题目要新写(防止训练数据里见过);测试要写得够;跑代码要隔离(边界:跑代码先要一个笼子;测试只证明它测到的)。

常见误区

“BLEU 低说明写得差”:写法不同也可能完全正确。“能跑起来就对”:测试只证明它测到的情况(边界:跑代码先要一个笼子;测试只证明它测到的)。

动手

LAB-A §1:二十段程序,先写下你预计哪几段 BLEU 高却跑不过,再算 BLEU、跑测试。

出处

  • 出处:Chen et al., Evaluating Large Language Models Trained on Code, arXiv 2107.03374(v2 2021-07-14),§3.3。

备课稿(上屏与口述)

这一页为什么在这里

“测试”这一站,七站的开头。先让学生站进 2021 年的团队里押一条路,并先设计“证明 BLEU 不行”的实验。

上屏

  • 第 1 步:站牌(① 亮;甲乙丙都亮)。一道题:函数名加一句说明(如 second_largest(xs):返回列表里第二大的数)。下面两段“模型写的代码”,先不标对错:代码 1 和参考答案只差一个字符,代码 2 写法完全不同。两张候选卡:A|和参考答案比像不像:BLEU,数片段重合,机器翻译用了多年,便宜、快、不用跑;B|自己出题、写测试,真跑一遍:要人手,还要一个安全的地方去跑来历不明的代码。
  • 第 2 步:一行题面:你押哪条?要证明 BLEU 不行,你做什么实验?

讲

第 1 步 · 教师可说的话

第 1 步

2021 年夏天,OpenAI 手里有一个专门拿 GitHub 代码训练过的模型,后来叫 Codex。要写论文,先得回答一个朴素的问题:它写的代码,怎么判对不对?现成的尺子是机器翻译用了很多年的 BLEU:拿一份参考答案,数一数你写的和它有多少片段重合,便宜、快、不用跑。另一条路麻烦得多:自己出题,每道题写几条测试,真跑一遍;要人手,还得找个安全的地方,去跑一段来历不明的代码。你在这个团队里,押哪条?

第 2 步 · 教师可说的话

第 2 步

先别急着选。假如你觉得 BLEU 不行,审稿人会问:证据呢?什么实验能说明它不行?(停一下)拿一批已经知道对错的程序,算它们的 BLEU,看这个分数能不能把对的和错的分开。分不开,这把尺子量的就不是我们关心的东西。

本页衔接

→ 分不开:像不像,和对不对是两回事 揭示。

教学构造

  • 教学构造:题目和 A、B 两段代码是示意。

  • 教学构造:分镜标注为“重|置身、抉择、设计检验|穿越者时刻|揭示在 「分不开:像不像,和对不对是两回事」(functional-correctness)|动手 LAB-A §1”。