跳到内容
Coding with AI · Lecture 09
Esc
↑↓导航↵打开⌘J预览
本页内容

开放的数学题:让模型直接解,还是写程序、评估器打分、一代代改?

直接让大模型解开放问题,它会编;2023 年的另一条路是:模型只负责提出程序,评估器负责运行和打分,进化搜索负责一代代改进。

在课堂中打开

完整推理

走到这里,我们已经有了能自动判成败的环境。能不能反过来,用它去找人还没找到的东西?拿一个开放的数学问题,叫帽集:在一个高维的格子里挑尽量多的点,要求任意三点不共线。第 8 维,人知道的最好记录是 496 个点。直接问大模型?它会一本正经地编。另一条路:模型不给答案,只写“构造答案的程序”;评估器跑这段程序,查造出来的点合不合格、数有多少,打分;分高的程序当范例,让模型接着改,一代一代进化。你押哪条?

第二条要成立,问题得满足什么?(停一下)能自动打分。有没有标准答案反而不要紧:评估器只要会查、会数。

帽集:在每个坐标取 0、1、2 的 n 维格子 ℤ₃ⁿ 里,任意三个不同的点都不在一条“直线”上,等价于不存在三个不同的点 x、y、z 使 x+y+z ≡ 0(mod 3)。求最大帽集是组合数学里的开放问题,维数一高就没法穷举。FunSearch 搜的不是点集本身,而是给候选点排优先级的那个函数:评估器用这个函数贪心地构造点集,检查合法性,数点数打分。

常见误区

“AI 自己发现了数学”:模型提程序,评估器把关,人设定问题和评估器,三者缺一不可。

动手

LAB-C §1:在线装箱的缩小版:把启发式写成一个打分函数,评估器在一组随机实例上数用掉的箱子,做一个最简的进化循环(不需要大模型),和随机变异、first-fit、best-fit 比。

出处

  • 出处:Romera-Paredes et al., Mathematical discoveries from program search with large language models, Nature 625:468–475(线上 2023-12-14);Google DeepMind 博客同日。

备课稿(上屏与口述)

这一页为什么在这里

前六站的反馈都在“判”;这一站把能自动打分的环境反过来用,去“找”。

上屏

  • 第 1 步:站牌(⑦ 亮;甲乙丙亮)。一个开放问题(示意):帽集:在 n 维的格子里挑尽量多的点,任意三点不共线;第 8 维,已知最好 496 个。两张卡:A|让大模型直接给答案;B|让模型写“构造答案的程序”,评估器跑程序、检查、数点数打分;高分的程序当范例,让模型再改,一代代进化。
  • 第 2 步:题面:B 要成立,问题得满足什么?三个候选:能自动打分|有标准答案|模型见过类似的题。

讲

第 1 步 · 教师可说的话

第 1 步

走到这里,我们已经有了能自动判成败的环境。能不能反过来,用它去找人还没找到的东西?拿一个开放的数学问题,叫帽集:在一个高维的格子里挑尽量多的点,要求任意三点不共线。第 8 维,人知道的最好记录是 496 个点。直接问大模型?它会一本正经地编。另一条路:模型不给答案,只写“构造答案的程序”;评估器跑这段程序,查造出来的点合不合格、数有多少,打分;分高的程序当范例,让模型接着改,一代一代进化。你押哪条?

第 2 步 · 教师可说的话

第 2 步

第二条要成立,问题得满足什么?(停一下)能自动打分。有没有标准答案反而不要紧:评估器只要会查、会数。

本页衔接

回扣“测试”(大量生成、靠测试挑 → 大量生成、靠评估器搜)。站牌上“测试”一起亮。

教学构造

  • 教学构造:两张卡。

  • 教学构造:分镜标注为“重|置身、抉择、设计检验|揭示在 「FunSearch:第 8 维找到 512 个点,交出人看得懂的程序」(funsearch-cap-set)|动手 LAB-C §1”。