跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

回来:今天评代码都在跑;我们也有自己的 BLEU

今天评代码一律靠跑,而且在隔离的沙箱里跑;我们做课件也犯过 BLEU 式的错:量了好量的,没量关心的;量对了以后,又把它当成了要追的目标。

在课堂中打开

完整推理

回到今天。现在没有谁再拿像不像来评代码了,都是跑。HumanEval 本身到 2024 年就被做到九成以上,题太简单,大家转去测模型能不能在真实的代码仓库里修好一个 bug,这是第十讲的事。评测都在隔离、断网的沙箱里跑。还有个巧合:2025 年五月,Codex 这个名字又回来了,这回是一个编程 agent,每个任务在自己的隔离容器里干活,和 2021 年那个笼子一脉相承。

再回到我们自己。我们也犯过 BLEU 式的错。上周估第八讲能讲多久,按页数是一百分钟;一数口述的字数,九千六百字左右,按每分钟两百字,五十分钟上下,结果课上我自己又补了不少。页数就是我们的 BLEU:好数,数的却不是我们关心的东西。改成数字数以后,又出了新问题:设计的 AI 把字数当成了要填满的目标,往每一站里填字。量什么,和让它去追什么,是两回事。

还有个习惯也是从这里来的。我们让 AI 施工,交回来的东西第一句必须写清楚它证明到了哪一级:只是能构建、能打开,还是我们按要求看过了,还是我说行了,还是已经真上过课。这四级不能互相冒充,就像测试跑过不等于看着像。你们用 AI 做研究也一样:先问这个指标量的是不是你关心的那件事,再问它证明到了哪一级。

Claude 3.5 Sonnet 模型卡附录(2024-06)报告 HumanEval 92.0%,另述一项编码评测:模型在安全的沙箱、断网环境里反复修改自己的代码。OpenAI「Introducing Codex」(2025-05-16):云端的软件工程 agent,codex-1 是 o3 针对软件工程的版本,每个任务在各自的隔离容器里运行;Codex CLI 2025-04-16 发布;2021 年的 Codex 模型已于 2023-03 停用。指标一旦变成要追的目标就会失真,常称古德哈特定律;我们的两次教训都是这一条。“四级”是这门课课件生产线的约定:工程可用 → 教学候选 → 老师采用 → 已授课。第八讲的口述字数后来用脚本按同一口径(每步口述去空白计数、含标点)重数过:9,590 字,其中课程事务五页 791 字;早先报的“约 1.17 万字”复现不出来。这本身也是“数字让代码算”的一例(“解释器”那一站)。

常见误区

“换一个更好的指标就一劳永逸”:任何指标成了要追的目标,都可能被追偏;指标要配上它证明到哪一级。

动手

课后一步:下次让 AI 替你写数据分析,先让它写两条断言(总数对得上、单位对得上),再跑。

出处

  • 出处:Claude 3.5 Sonnet model card addendum(2024-06);OpenAI,Introducing Codex(2025-05-16)。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:今天一句:评代码都靠跑,而且关在断网的沙箱里跑。
  • 第 2 步:我们(示意,泛称):问题“这一讲能讲多久?”两把尺子:数页数 → 约 100 分钟|数口述字数 → 五十分钟上下。一行:页数就是我们的 BLEU。
  • 第 3 步:我们的“过不过”:一行四格:能构建 → 我们看过 → 老师说行 → 上过课。一行:四级不能互相冒充。

讲

第 1 步 · 教师可说的话

第 1 步

回到今天。现在没有谁再拿像不像来评代码了,都是跑。HumanEval 本身到 2024 年就被做到九成以上,题太简单,大家转去测模型能不能在真实的代码仓库里修好一个 bug,这是第十讲的事。评测都在隔离、断网的沙箱里跑。还有个巧合:2025 年五月,Codex 这个名字又回来了,这回是一个编程 agent,每个任务在自己的隔离容器里干活,和 2021 年那个笼子一脉相承。

第 2 步 · 教师可说的话

第 2 步

再回到我们自己。我们也犯过 BLEU 式的错。上周估第八讲能讲多久,按页数是一百分钟;一数口述的字数,九千六百字左右,按每分钟两百字,五十分钟上下,结果课上我自己又补了不少。页数就是我们的 BLEU:好数,数的却不是我们关心的东西。改成数字数以后,又出了新问题:设计的 AI 把字数当成了要填满的目标,往每一站里填字。量什么,和让它去追什么,是两回事。

第 3 步 · 教师可说的话

第 3 步

还有个习惯也是从这里来的。我们让 AI 施工,交回来的东西第一句必须写清楚它证明到了哪一级:只是能构建、能打开,还是我们按要求看过了,还是我说行了,还是已经真上过课。这四级不能互相冒充,就像测试跑过不等于看着像。你们用 AI 做研究也一样:先问这个指标量的是不是你关心的那件事,再问它证明到了哪一级。

本页衔接

第十讲的影子(真实仓库修 bug;Codex 在容器里干活)。留给后面:测试从哪来(→ 自写测试)。

教学构造

  • 教学构造:“我们”一拍是本课程课件制作中的真实环节(第八讲估时;这一讲主线的第一版),画面用示意图。

  • 教学构造:分镜标注为“重|回来(今天、我们、影子)”。