---
title: "把数字换大：一步步算和写程序各掉多少？"
description: "同一个模型、同一批题，写程序（72.0%）比一步步算（65.6%）高；把数字换大，一步步算掉到 23.1%，写程序的只掉到 61.2%：错主要在算术。"
---

## 这一页为什么在这里

## 上屏

- 第 1 步：一张表（同一个模型 Codex，2022）：做法｜原题（小学数学应用题 GSM8K）｜数字换大（GSM-HARD）。这一步只填原题一列：一步步算 65.6%｜写程序交给 Python 72.0%；第二列空着。
- 第 2 步：填上第二列：一步步算 23.1%｜写程序 61.2%；两条下降用箭头标出。
- 第 3 步：一行：人工看了 25 个一步步算的错例，16 个思路和原题一致，错在算术（样本小）。边界一行：解释器只保证算术；程序的逻辑写错了，它会忠实地算出一个错的数。

## 讲

### 第 1 步 · 教师可说的话

第 1 步

他们就这么做的。同一个模型，小学数学应用题，一步步算 65.6%，写程序交给 Python 72.0%，差得不算多。先猜：把数字换大，两条各掉多少？

### 第 2 步 · 教师可说的话

第 2 步

把题里的一个数换成最多七位的大数：一步步算的掉到 23.1%，写程序的只掉到 61.2%。思路没变，变的只是算术的难度；掉得多的那条，毛病就在算术上。

### 第 3 步 · 教师可说的话

第 3 步

他们还人工翻了 25 个一步步算错的例子，16 个思路和原题一模一样，就是算错了。样本不大，但方向一致。边界也要说清：解释器只保证算术。程序的逻辑写错了，它会非常忠实地给你算出一个错的数。“测试”那一站用执行来判，这一站用执行来算；执行能担保的，都只是它管的那一段。

### 本页衔接

回扣“测试”（用执行来判 → 用执行来算）。线索甲：解释器算出的数；线索丙：解释器只保证算术。

### 连续教师稿原文

他们就这么做的。同一个模型，小学数学应用题，一步步算 65.6%，写程序交给 Python 72.0%，差得不算多。先猜：把数字换大，两条各掉多少？

把题里的一个数换成最多七位的大数：一步步算的掉到 23.1%，写程序的只掉到 61.2%。思路没变，变的只是算术的难度；掉得多的那条，毛病就在算术上。

他们还人工翻了 25 个一步步算错的例子，16 个思路和原题一模一样，就是算错了。样本不大，但方向一致。边界也要说清：解释器只保证算术。程序的逻辑写错了，它会非常忠实地给你算出一个错的数。“测试”那一站用执行来判，这一站用执行来算；执行能担保的，都只是它管的那一段。

## 完整推理

他们就这么做的。同一个模型，小学数学应用题，一步步算 65.6%，写程序交给 Python 72.0%，差得不算多。先猜：把数字换大，两条各掉多少？

把题里的一个数换成最多七位的大数：一步步算的掉到 23.1%，写程序的只掉到 61.2%。思路没变，变的只是算术的难度；掉得多的那条，毛病就在算术上。

他们还人工翻了 25 个一步步算错的例子，16 个思路和原题一模一样，就是算错了。样本不大，但方向一致。边界也要说清：解释器只保证算术。程序的逻辑写错了，它会非常忠实地给你算出一个错的数。“测试”那一站用执行来判，这一站用执行来算；执行能担保的，都只是它管的那一段。

表 1：GSM8K 上 PAL 72.0、同一模型（code-davinci-002）一步步想 65.6、PaLM-540B 一步步想 56.9；GSM-HARD 上 PAL 61.2、一步步想 23.1。GSM-HARD 的做法：把 GSM8K 题里的一个数换成至多 7 位的随机整数（§4.1）。论文内部有不一致：§5.1 正文写 61.5 / 20.1，附录 E 写一步步想 23.3；本讲一律用表 1。附录 H.2：人工看 25 个一步步想的错例，16 个推理与原题相同，说明错在算术；样本小，只看方向。

## 学生可能的回答与误区

“PAL 解决了数学推理”：它把算术和推理拆开了，推理错了仍然错。

## 教学构造与出处

教学构造：分镜标注为“中｜揭示、划边界｜揭示在 第 1 步、第 2 步｜动手 LAB-B §1”。

出处：Gao et al. 2022（arXiv 2211.10435）表 1、§4.1、§5.1、附录 E、附录 H.2。

## 动手

[LAB-B §1：同一个开源模型，一步步算对写程序，再把数字换大。](/labs/compute-and-repair)
