分不开:像不像,和对不对是两回事
BLEU 分不开对的和错的程序;于是他们手写 164 道题、按测试判“功能正确”。同年另两拨人做了同样的选择。
完整推理
他们就是这么做的。结果两条分布几乎叠在一起。一段代码可以和参考答案只差一个字符,却跑不通;也可以写法完全不同,却完全正确。
所以他们走了第二条路,手写了 164 道题,平均每道 7.7 条测试,这就是后来人人都用的 HumanEval。为什么非要手写?训练数据里有大半个 GitHub,网上现成的题,答案模型很可能早就见过。有意思的是,不止他们这么选:同年五月的 APPS,八月 Google 的 MBPP,也都是跑测试判对错。三拨人,前后三个月,都扔掉了“像不像”。代码是少有的、对错能让机器自己核对的输出,这个便宜不占白不占。
拿 HumanEval 一测:GPT-3 一道都写不对,开源的 GPT-J 一成多,Codex 只交一次,对的不到三成。注意这个“对”:不是看着对,是测试跑过了。论文给它起了名字,叫功能正确。这一步看着平常,其实换掉了评价的对象:以前评文字像不像,现在评程序做没做成。这就是“测试”这一站:把模型写出来的东西,接到一个会回话的东西上。
论文 §3.3、图 8:在 HumanEval 上对已知对错的样本算 BLEU,对、错两组的分布高度重叠,BLEU 的提高不一定意味着功能正确率的提高。HumanEval:164 道手写题,含函数签名、文档字符串、函数体,平均 7.7 条单元测试(§2.2);手写是因为训练数据含 GitHub。数字:Codex-12B 只交一次 28.81%(表 1);GPT-3 0%;GPT-J 11.4%(摘要;表 1 为 11.62%)。APPS:Hendrycks 等,arXiv 2105.09938(2021-05-20),约 1 万道题,按测试判;MBPP:Austin 等,arXiv 2108.07732(2021-08-16),974 道题。
常见误区
“HumanEval 分数=编程能力”:它是 164 道函数级的小题。“手写题是为了更难”:主要是为了模型没见过。
动手
LAB-A §1。
出处
出处:Chen et al. 2021(arXiv 2107.03374)§2.2、§3.3、表 1、图 8;APPS(arXiv 2105.09938);MBPP(arXiv 2108.07732)。
备课稿(上屏与口述)
这一页为什么在这里
上屏
- 第 1 步:示意图:两条 BLEU 分数分布(写对的、写错的),大面积重叠。一行:BLEU 高,不等于写对。
- 第 2 步:时间轴三点:2021-05 APPS|约 1 万道题,跑测试;2021-07 HumanEval|164 道,手写,平均每道 7.7 条测试;2021-08 MBPP|974 道入门题,跑测试。一行:三拨人,三个月,都选了“跑一遍”。
- 第 3 步:三个数(HumanEval,只交一次的通过率):GPT-3 0%|GPT-J 约 11%|Codex 28.8%。一行:评的对象换了:从“文字像不像”,到“程序做没做成”。
讲
第 1 步 · 教师可说的话
第 1 步
他们就是这么做的。结果两条分布几乎叠在一起。一段代码可以和参考答案只差一个字符,却跑不通;也可以写法完全不同,却完全正确。
第 2 步 · 教师可说的话
第 2 步
所以他们走了第二条路,手写了 164 道题,平均每道 7.7 条测试,这就是后来人人都用的 HumanEval。为什么非要手写?训练数据里有大半个 GitHub,网上现成的题,答案模型很可能早就见过。有意思的是,不止他们这么选:同年五月的 APPS,八月 Google 的 MBPP,也都是跑测试判对错。三拨人,前后三个月,都扔掉了“像不像”。代码是少有的、对错能让机器自己核对的输出,这个便宜不占白不占。
第 3 步 · 教师可说的话
第 3 步
拿 HumanEval 一测:GPT-3 一道都写不对,开源的 GPT-J 一成多,Codex 只交一次,对的不到三成。注意这个“对”:不是看着对,是测试跑过了。论文给它起了名字,叫功能正确。这一步看着平常,其实换掉了评价的对象:以前评文字像不像,现在评程序做没做成。这就是“测试”这一站:把模型写出来的东西,接到一个会回话的东西上。
本页衔接
线索甲第一格:反馈=测试过不过。线索丙第一格:BLEU 量错了东西。
教学构造
教学构造:两条分布是示意,原图见论文图 8。
教学构造:分镜标注为“重|揭示|揭示在 第 1 步|动手 LAB-A §1”。