俄罗斯移民

各位老铁们，大家好，今天由我来为大家分享前沿|麻省理工学院最新成果：AI揭示人脑如何处理语言，以及的相关问题知识，希望对大家有所帮助。如果可以帮助到大家，还望关注收藏下本站，您的支持是我们最大的动力，谢谢大家了哈，下面我们开始吧！

在过去的几年里，人工智能语言模型已经变得非常擅长处理某些任务。最值得注意的是，它们擅长预测文本字符串中的下一个单词。以搜索引擎和短信应用程序为例。这项技术可以帮助他们预测您将要输入的下一个单词。

最新一代的预测语言模型似乎也能学习语言的一些潜在含义。令人惊讶的是，这些模型不仅可以预测下一个单词，还可以执行似乎需要一定理解的任务，例如回答问题、文档摘要和故事延续。

这些模型旨在优化预测文本的特定功能，而不是试图模仿人脑如何执行此任务或理解语言。但麻省理工学院神经科学家的一项新研究表明，这些模型的潜在功能类似于人脑中的语言处理中心。

论文写道：“我们的结果表明，预测人工神经网络可以作为预测人类神经组织中语言处理如何实现的可行候选假设。这些网络为一个有前景的研究方向奠定了关键基础，即结合自然语言处理的高性能模型在集成逆向工程的良性循环中，利用人类语言理解的大规模神经和行为测量进行语言处理，包括测试模型预测神经和行为预测的能力，并分析性能最佳的模型，以了解哪些组件对大脑的高可预测性至关重要，利用这些知识开发更好的模型并收集新数据，以挑战和约束未来几代神经健全的语言处理模型。”

在其他类型的语言任务上表现良好的计算机模型并未表现出与人脑的这种相似性，这提供了人脑可能使用下一个单词预测来驱动语言处理的证据。

“模型预测下一个单词的能力越好，它与人脑的一致性就越高，”认知神经科学沃尔特·A·罗森布里斯(Walter A. Rosenblith) 教授南希·坎维舍尔(Nancy Kanwisher) 说。他是麻省理工学院麦戈文大脑研究所和大脑、思维和机器中心(CBMM) 的成员，也是这项新研究的作者之一。

“令人惊讶的是，这些模型非常吻合，这强烈表明人类语言系统正在做的事情也许是预测接下来会发生什么。”

该研究论文标题为“The Neural Architecture of language: Integrative modellings on Predictingprocessing”，已发表在《美国国家科学院院刊》上（“数据从业者”后台回复“语言”即可获取论文链接）。

语言处理的人工神经网络模型与人类语言处理的比较。实验测试了不同模型在预测语言理解过程中人类神经活动（fMRI 和ECoG）和行为的有效性。候选模型的范围从简单的模型嵌入到更复杂的环路和变压器网络。刺激的范围从句子到段落再到故事，并被输入到模型中，并呈现给人类参与者（视觉或听觉）。该模型的内部表示沿着三个主要维度进行评估：预测人类神经表示的能力；它能够以阅读时间的形式预测人类行为；及其执行下一个单词预测等任务的计算能力。

做预测任务

这种用于预测下一个单词的新的高性能模型属于深度神经网络模型的范畴。这些网络包含形成不同强度连接的计算“节点”，以及以规定方式在彼此之间传递信息的层。

在过去的十年中，科学家们利用深度神经网络创建了视觉模型，可以像灵长类动物的大脑一样识别物体。麻省理工学院的研究还表明，视觉对象识别模型的基本功能与灵长类动物视觉皮层的组织相匹配，尽管这些计算机模型并不是专门为模仿大脑而设计的。

在这项新研究中，麻省理工学院的研究团队采用了类似的方法来比较人脑中的语言处理中心和语言处理模型。

他们分析了43 种不同的语言模型，其中包括一些针对单词预测进行优化的模型。其中包括GPT-3（生成式预训练Transformer 3），它可以生成类似于人类根据给出的提示手动生成的文本。而其他模型则设计用于执行不同的语言任务，例如填写句子中的空白。

由于每个模型都有一串单词，研究人员测量了组成网络的节点的活动。

然后，他们将这些模式与人脑活动进行比较，并在执行三种语言任务的受试者中测量这些模式：听故事、一次读一个句子、一次一个单词地读句子。这些人类数据集包括功能性磁共振成像(fMRI) 数据和接受癫痫脑部手术的患者的颅内皮质脑电图测量结果。

结果表明，表现最好的单词预测模型的活动模式与人脑的活动模式非常相似。这些相同模型中的活动与人类行为指标高度相关，例如人们阅读文本的速度。

Schrimpf 说，“我们发现，能够很好地预测神经反应的模型也往往能够最好地以阅读时间的形式预测人类的行为反应。然后，这两个问题可以通过下一个单词预测的模型性能来解释。这个三角形确实将一切联系在一起”。

游戏规则改变者

GPT-3 等预测模型的关键计算特征之一是称为前向单向预测变换器的元素。该变压器能够根据先前的序列预测接下来会发生什么。它的显着特点是它可以根据文本中更大的上下文（数百个单词）进行预测，而不仅仅是最后几个单词。

特南鲍姆说，科学家们还没有发现任何与这种处理类型相对应的大脑回路或学习机制。然而，新发现与之前提出的假设高度一致，即预测是语言处理的关键功能之一。

“语言处理的挑战之一是它的实时性，”他强调说。 “当语言进来时，你必须跟上它并能够实时理解它的含义。”

研究人员现在计划构建这些语言处理模型的变体，以了解其结构的微小变化如何影响性能和适应人类神经数据的能力。

“对我来说，这个结果改变了游戏规则，”费多伦科说。 “这完全改变了我的研究项目，因为我没有预料到在我的一生中我们会拥有这些计算清晰的模型，这些模型可以捕获有关大脑的足够信息，我们可以实际使用它们来了解大脑是如何工作的。它是如何工作的。”

研究人员还计划尝试将这些高性能语言模型与特南鲍姆实验室先前开发的一些计算机模型结合起来，这些模型可以执行其他类型的任务，例如构建物理世界的感知表示。

上图显示了该研究的主要结论，包括特定的ANN语言模型可以高精度地预测人类神经对语言输入的反应。