开放的数学题:让模型直接解,还是写程序、评估器打分、一代代改?
直接让大模型解开放问题,它会编;2023 年的另一条路是:模型只负责提出程序,评估器负责运行和打分,进化搜索负责一代代改进。
完整推理
走到这里,我们已经有了能自动判成败的环境。能不能反过来,用它去找人还没找到的东西?拿一个开放的数学问题,叫帽集:在一个高维的格子里挑尽量多的点,要求任意三点不共线。第 8 维,人知道的最好记录是 496 个点。直接问大模型?它会一本正经地编。另一条路:模型不给答案,只写“构造答案的程序”;评估器跑这段程序,查造出来的点合不合格、数有多少,打分;分高的程序当范例,让模型接着改,一代一代进化。你押哪条?
第二条要成立,问题得满足什么?(停一下)能自动打分。有没有标准答案反而不要紧:评估器只要会查、会数。
帽集:在每个坐标取 0、1、2 的 n 维格子 ℤ₃ⁿ 里,任意三个不同的点都不在一条“直线”上,等价于不存在三个不同的点 x、y、z 使 x+y+z ≡ 0(mod 3)。求最大帽集是组合数学里的开放问题,维数一高就没法穷举。FunSearch 搜的不是点集本身,而是给候选点排优先级的那个函数:评估器用这个函数贪心地构造点集,检查合法性,数点数打分。
常见误区
“AI 自己发现了数学”:模型提程序,评估器把关,人设定问题和评估器,三者缺一不可。
动手
LAB-C §1:在线装箱的缩小版:把启发式写成一个打分函数,评估器在一组随机实例上数用掉的箱子,做一个最简的进化循环(不需要大模型),和随机变异、first-fit、best-fit 比。
出处
出处:Romera-Paredes et al., Mathematical discoveries from program search with large language models, Nature 625:468–475(线上 2023-12-14);Google DeepMind 博客同日。
备课稿(上屏与口述)
这一页为什么在这里
前六站的反馈都在“判”;这一站把能自动打分的环境反过来用,去“找”。
上屏
- 第 1 步:站牌(⑦ 亮;甲乙丙亮)。一个开放问题(示意):帽集:在 n 维的格子里挑尽量多的点,任意三点不共线;第 8 维,已知最好 496 个。两张卡:A|让大模型直接给答案;B|让模型写“构造答案的程序”,评估器跑程序、检查、数点数打分;高分的程序当范例,让模型再改,一代代进化。
- 第 2 步:题面:B 要成立,问题得满足什么?三个候选:能自动打分|有标准答案|模型见过类似的题。
讲
第 1 步 · 教师可说的话
第 1 步
走到这里,我们已经有了能自动判成败的环境。能不能反过来,用它去找人还没找到的东西?拿一个开放的数学问题,叫帽集:在一个高维的格子里挑尽量多的点,要求任意三点不共线。第 8 维,人知道的最好记录是 496 个点。直接问大模型?它会一本正经地编。另一条路:模型不给答案,只写“构造答案的程序”;评估器跑这段程序,查造出来的点合不合格、数有多少,打分;分高的程序当范例,让模型接着改,一代一代进化。你押哪条?
第 2 步 · 教师可说的话
第 2 步
第二条要成立,问题得满足什么?(停一下)能自动打分。有没有标准答案反而不要紧:评估器只要会查、会数。
本页衔接
回扣“测试”(大量生成、靠测试挑 → 大量生成、靠评估器搜)。站牌上“测试”一起亮。
教学构造
教学构造:两张卡。
教学构造:分镜标注为“重|置身、抉择、设计检验|揭示在 「FunSearch:第 8 维找到 512 个点,交出人看得懂的程序」(
funsearch-cap-set)|动手 LAB-C §1”。