AI到底擅不擅⻓数学，还得具体问题具体分析。如果问计算机擅⻓什么，在所有的答案⾥，数学必须榜上有名。在经历了漫⻓的研究之后，顶尖学者们在研究计算机关于数学计算⽅⾯的发展，取得了令⼈惊讶的成绩。
就拿去年来说，来⾃加州⼤学伯克利分校、OpenAI和Google的研究⼈员在语⾔模型⽅⾯取得了⻓⾜的进步，GPT-3、DALL·E 2等被开发出来。然⽽，直到现在，语⾔模型还⽆法解决⼀些简单的、⽤语⾔描述的数学问题，例如「Alice⽐Bob多五个球，Bob在给Charlie四个球后有两个球。问Alice有⼏个球？」这对语⾔模型来说，想要给出正确答案，可能就有点「吃⼒」了。
「当我们说计算机⾮常擅⻓数学时，意思是它们⾮常擅⻓特定的、具体的事情，」来⾃⾕歌的机器学习专家Guy Gur-Ari表示。计算机擅⻓算术是不假，但在特定的模式之外，计算机就⽆能为⼒了，简单的⽂字描述题都回答不了。
⾕歌研究员Ethan Dyer曾经表示：做数学研究的⼈有⼀套僵化的推理系统，对于他们熟知的和不了解的内容，这两者之间有着明显的鸿沟。解决⽂字问题或定量推理问题很棘⼿，因为不同于其他问题，这两者需要鲁棒性和严谨性。如果过程中的任何⼀步出现错误，将会导致错误的答案。
DALL·E在绘画⽅⾯令⼈印象深刻，尽管它⽣成的图像有时会很奇怪，可能遗漏⼈的⼿指、眼睛⻓得奇怪……这些我们都能接受，但是它在数学⽅⾯出现了错误，我们的容忍度就会⾮常⼩。来⾃OpenAI的机器学习专家Vineet Kosaraju也曾表达过这种想法，「我们对语⾔模型所犯的数学错误（⽐如将10误解为1和0，⽽不是10）容忍性还是⽐较⼩的。」
「我们研究数学仅仅是因为我们发现它独⽴且⾮常有趣，」OpenAI机器学习专家Karl Cobbe说。随着机器学习模型在更⼤的数据样本上训练⽽成，它们的鲁棒性更好、出错也更少。但扩⼤模型规模似乎只能通过定量推理进⾏。研究⼈员意识到，对于语⾔模型所犯的错误似乎需要更有针对性的⽅法来解决。
去年，加州⼤学伯克利分校和OpenAI的两个研究团队分别发布了数据集MATH和GSM8K，这两个数据集包含⼏何、代数、初等数学等数千个数学问题。「我们想看看这是否是数据集的问题，」从事数学⼯作的AI安全中⼼研究员Steven Basart说。众所周知，语⾔模型不擅⻓单词问题，在这个问题上它们表现的有多糟糕，是否可以通过引⼊格式更好、更⼤的数据集来解决？
在MATH数据集上，顶级语⾔模型的准确率为7%，⽽⼈类研究⽣的准确率为40%，奥林匹克冠军的准确率为90%。在GSM8K数据集上（⼩学级别的问题），模型达到了20%的准确率。实验中OpenAI使⽤了微调和验证这两种技术，结果表明模型可以看到很多⾃身错误的例⼦，这⼀发现很有价值。
当时，OpenAI的模型需要在100倍以上的数据上进⾏训练，才能在GSM8K上达到80%的准确率。但在今年6⽉，⾕歌发布了Minerva，达到78%的准确率。这⼀结果超出了预期，研究者表示，⽐预想的时间来的更快。
Minerva基于⾕歌⾃研的Pathways语⾔模型(PaLM)，具有更多的数学数据集，包含arXiv、LaTeX等数学格式。
Minerva还采⽤了其他策略，在思维链提示（chain-of-thought prompting）中，Minerva将更⼤的问题分解成⼩块。此外，Minerva还使⽤多数投票（majority voting），不是要求模型给出⼀个答案，⽽是要求它提出100种答案。在这些答案中，Minerva选择最常⻅的⼀种答案。
这些新策略的收益是巨⼤的，Minerva在MATH上的准确率⾼达50%，在GSM8K以及MMLU（包括化学和⽣物学在内的⼀组更通⽤的STEM问题）上的准确率接近80%。当Minerva被要求重做稍微调整过的问题时，它的表现同样很好，这表明它的能⼒不仅仅是来⾃记忆。
Minerva可能有奇怪、混乱的推理，但仍然得出正确的答案。尽管像Minerva这样的模型可能会得出与⼈类相同的答案，但它们所遵循的实际过程可能⼤不相同。⾕歌机器学习专家Ethan Dyer表示，「我认为存在这样⼀种观念，即数学相关⼈⼠有⼀些严格的推理系统，了解某事和不了解某事之间存在明显的区别。」但⼈们给出的答案不⼀致，会犯错误，也⽆法应⽤核⼼概念。在机器学习前沿中，边界是模糊的。