跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

把数字换大:一步步算和写程序各掉多少?

同一个模型、同一批题,写程序(72.0%)比一步步算(65.6%)高;把数字换大,一步步算掉到 23.1%,写程序的只掉到 61.2%:错主要在算术。

在课堂中打开

完整推理

他们就这么做的。同一个模型,小学数学应用题,一步步算 65.6%,写程序交给 Python 72.0%,差得不算多。先猜:把数字换大,两条各掉多少?

把题里的一个数换成最多七位的大数:一步步算的掉到 23.1%,写程序的只掉到 61.2%。思路没变,变的只是算术的难度;掉得多的那条,毛病就在算术上。

他们还人工翻了 25 个一步步算错的例子,16 个思路和原题一模一样,就是算错了。样本不大,但方向一致。边界也要说清:解释器只保证算术。程序的逻辑写错了,它会非常忠实地给你算出一个错的数。“测试”那一站用执行来判,这一站用执行来算;执行能担保的,都只是它管的那一段。

表 1:GSM8K 上 PAL 72.0、同一模型(code-davinci-002)一步步想 65.6、PaLM-540B 一步步想 56.9;GSM-HARD 上 PAL 61.2、一步步想 23.1。GSM-HARD 的做法:把 GSM8K 题里的一个数换成至多 7 位的随机整数(§4.1)。论文内部有不一致:§5.1 正文写 61.5 / 20.1,附录 E 写一步步想 23.3;本讲一律用表 1。附录 H.2:人工看 25 个一步步想的错例,16 个推理与原题相同,说明错在算术;样本小,只看方向。

常见误区

“PAL 解决了数学推理”:它把算术和推理拆开了,推理错了仍然错。

动手

LAB-B §1:同一个开源模型,一步步算对写程序,再把数字换大。

出处

  • 出处:Gao et al. 2022(arXiv 2211.10435)表 1、§4.1、§5.1、附录 E、附录 H.2。

备课稿(上屏与口述)

这一页为什么在这里

上屏

  • 第 1 步:一张表(同一个模型 Codex,2022):做法|原题(小学数学应用题 GSM8K)|数字换大(GSM-HARD)。这一步只填原题一列:一步步算 65.6%|写程序交给 Python 72.0%;第二列空着。
  • 第 2 步:填上第二列:一步步算 23.1%|写程序 61.2%;两条下降用箭头标出。
  • 第 3 步:一行:人工看了 25 个一步步算的错例,16 个思路和原题一致,错在算术(样本小)。边界一行:解释器只保证算术;程序的逻辑写错了,它会忠实地算出一个错的数。

讲

第 1 步 · 教师可说的话

第 1 步

他们就这么做的。同一个模型,小学数学应用题,一步步算 65.6%,写程序交给 Python 72.0%,差得不算多。先猜:把数字换大,两条各掉多少?

第 2 步 · 教师可说的话

第 2 步

把题里的一个数换成最多七位的大数:一步步算的掉到 23.1%,写程序的只掉到 61.2%。思路没变,变的只是算术的难度;掉得多的那条,毛病就在算术上。

第 3 步 · 教师可说的话

第 3 步

他们还人工翻了 25 个一步步算错的例子,16 个思路和原题一模一样,就是算错了。样本不大,但方向一致。边界也要说清:解释器只保证算术。程序的逻辑写错了,它会非常忠实地给你算出一个错的数。“测试”那一站用执行来判,这一站用执行来算;执行能担保的,都只是它管的那一段。

本页衔接

回扣“测试”(用执行来判 → 用执行来算)。线索甲:解释器算出的数;线索丙:解释器只保证算术。

教学构造

  • 教学构造:分镜标注为“中|揭示、划边界|揭示在 第 1 步、第 2 步|动手 LAB-B §1”。