2022:算术交给谁?
一步步想让模型会解应用题了,但常在算数上出错;2022 年的岔路口是:让模型继续一步步算,还是让它写程序、交给 Python 算。
完整推理
第七讲讲过,一步步想,让模型会解应用题了。可你仔细看它错的地方,很多时候思路是对的,最后一步乘法算错了。2022 年的岔路口:让模型继续一步步算,想得再仔细些;还是让它写一段程序,把算交给 Python?
先别选,先想怎么证明。你说它错在算术、不在思路,什么实验能分清?(停一下)同一个模型、同一批题,只改一件事:计算在哪里做。再狠一点,把题里的数字换成很大的数,思路完全不变,只让算术变难。哪条掉得多,毛病就在哪。
PAL(Program-aided Language models)的做法:模型照着几个示范,把推理写成 Python 程序,中间量写成变量,最后交给解释器执行得出答案;拆题仍由模型做,只有“算”交给解释器。同月还有 PoT(Program of Thoughts),思路相同,报告平均比一步步想高约 12%。
常见误区
“写程序算是作弊”:考的是解题,把算术交给可靠的工具是正当的分工。“让模型想得更久就能算对”:大数乘法这类,想得久不等于算得对。
动手
LAB-B §1:先写下你预计两种做法在大数题上各掉多少。
出处
出处:Gao et al., PAL, arXiv 2211.10435(v1 2022-11-18;CMU);Chen et al., Program of Thoughts, arXiv 2211.12588(2022-11-22,TMLR 2023)。
备课稿(上屏与口述)
这一页为什么在这里
“解释器”这一站。把“测试”那一站的“用执行来判”推进到“用执行来算”,并教一个定位错误的实验办法。
上屏
- 第 1 步:站牌(② 亮;甲、丙亮)。一道应用题和一段一步步想的解答(第七讲讲过):思路都对,最后一步乘法算错(错处标红)。两张卡:A|让模型一步步算,想得再仔细些;B|让模型写一段程序,交给 Python 解释器去算。
- 第 2 步:题面:怎么证明错在算术,而不是思路?两行提示:同一个模型、同一批题,只改“计算在哪做”;把题里的数字换成很大的数,思路不变,只让算术变难。
讲
第 1 步 · 教师可说的话
第 1 步
第七讲讲过,一步步想,让模型会解应用题了。可你仔细看它错的地方,很多时候思路是对的,最后一步乘法算错了。2022 年的岔路口:让模型继续一步步算,想得再仔细些;还是让它写一段程序,把算交给 Python?
第 2 步 · 教师可说的话
第 2 步
先别选,先想怎么证明。你说它错在算术、不在思路,什么实验能分清?(停一下)同一个模型、同一批题,只改一件事:计算在哪里做。再狠一点,把题里的数字换成很大的数,思路完全不变,只让算术变难。哪条掉得多,毛病就在哪。
本页衔接
回扣第七讲(一步步想)。
教学构造
教学构造:示意题目与错处。
教学构造:分镜标注为“中|置身、抉择、设计检验|揭示在 「把数字换大:一步步算和写程序各掉多少?」(
pal-gsm-hard)|动手 LAB-B §1”。