最新一代的预测语言模型似乎也了解了语言的潜在含义。这些模型不仅可以预测接下来出现的单词，还可以执行似乎需要一定程度真正理解的任务，例如问答、文档摘要和故事完成。

此类模型旨在优化预测文本的特定功能的性能，而不会试图模仿有关人类大脑如何执行此任务或理解语言的任何内容。但麻省理工学院神经科学家的一项新研究表明，这些模型的潜在功能类似于人脑中语言处理中心的功能。

在其他类型的语言任务上表现良好的计算机模型并没有表现出与人脑的这种相似性，这提供了人脑可能使用下一个词预测来驱动语言处理的证据。

“模型在预测下一个单词方面做得越好，它就越接近人类大脑，”麻省理工学院麦戈文大脑研究所和大脑中心成员、认知神经科学沃尔特 A. Minds, and Machines (CBMM)，以及这项新研究的作者。“令人惊讶的是，这些模型如此吻合，这非常间接地表明，人类语言系统正在做的事情可能正在预测接下来会发生什么。”

Joshua Tenenbaum，麻省理工学院计算认知科学教授，CBMM 和麻省理工学院人工智能实验室(CSAIL)成员;和 Evelina Fedorenko，神经科学领域的 Frederick A. 和 Carole J. Middleton 职业发展副教授以及麦戈文研究所的成员，是该研究的资深作者，该研究本周发表在美国国家科学院院刊上。在CBMM工作的麻省理工学院研究生Martin Schrimpf是该论文的第一作者。

做出预测

新的、高性能的下一个词预测模型属于一类称为深度神经网络的模型。这些网络包含形成不同强度连接的计算“节点”，以及以规定方式在彼此之间传递信息的层。

在过去的十年里，科学家们使用深度神经网络来创建视觉模型，可以像灵长类动物的大脑一样识别物体。麻省理工学院的研究还表明，视觉对象识别模型的潜在功能与灵长类动物视觉皮层的组织相匹配，即使这些计算机模型并不是专门为模仿大脑而设计的。

在这项新研究中，麻省理工学院团队使用类似的方法将人脑中的语言处理中心与语言处理模型进行比较。研究人员分析了 43 种不同的语言模型，其中包括一些针对下一个词预测进行了优化的模型。其中包括一个名为 GPT-3(生成式预训练 Transformer 3)的模型，它可以根据提示生成类似于人类生成的文本。其他模型旨在执行不同的语言任务，例如在句子中填空。

由于每个模型都有一串单词，研究人员测量了构成网络的节点的活动。然后，他们将这些模式与人类大脑中的活动进行了比较，这些活动在执行三种语言任务的受试者中进行测量：听故事、一次读一个句子和一次读一个单词的句子。这些人体数据集包括功能磁共振 (fMRI) 数据和在接受癫痫脑部手术的人中进行的颅内皮层电图测量。

他们发现，性能最好的下一个词预测模型的活动模式与人脑中的活动模式非常相似。这些相同模型中的活动也与人类行为指标高度相关，例如人们阅读文本的速度。