作为计算机科学领域与人工智能领域的重要研究课题，自然语言处理已经在各领域展开了广泛的研究与探讨。随着研究的深入，一些学者开始探讨机器中的自然语言处理和大脑中的自然语言处理是否存在着一些联系，进而延伸至神经科学与BERT等NLP预训练方法的交叉点。本文选取CMU Wehbe研究小组（2篇）和MIT Roger P. Levy教授组（1篇）的三篇文章，对这一主题进行了详细的解析和讨论。
自Google AI提出BERT (Bidirectional Encoder Representations from Transformers)后，BERT在自然语言处理领域（Natural Language Processing，NLP）中应用获得了非常好的效果，它成为了近期NLP领域中最重要的进展。
BERT是一种Transformer的双向编码器表示，它通过联合调解模型中所有层的上下文来完成双向编码器表示的预训练。此外，还可以通过一个额外的输出层对预训练的BERT表示进行微调，从而使其在基本保持原有架构的基础上，能够快速适用于不同的NLP任务，例如语言推理、问答系统等。
与大量的利用BERT提升语言模型性能的研究不同，CMU的Wehbe研究小组近期在关注一个非常有意思的问题：理解机器中的自然语言处理和大脑中的自然语言处理之间的关系，这个问题也可以看做是语言模型（自然语言处理）和神经科学的交叉研究。谈到应用于自然语言处理任务中的各种人工智能模型，人们总是希望它们能够在完成文本理解的任务上达到跟人类一样的水平。
那么，想要让模型像人脑一样工作，模型能不能运用像人类的大脑中一样的表征呢？
Wehbe研究小组重点关注的，就是使用大脑中的活动记录来解释一种人工智能模型——BERT的表示，以及试图找到改进它们的启发式方法，甚至改变网络学习到的权重，使它们能够像大脑一样工作。
关于理解机器中的自然语言处理和大脑中的自然语言处理之间的关系，Wehbe组有两篇文章发表在NeurIPS 2019中，分别是：利用阅读自然文本的受试者的大脑活动记录来对比和解释不同神经网络生成的表示的方法（《Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain)》），这篇文章通过对四种NLP模型：ELMO、BERT、USE、T-XL，和两种人脑活动记录方式：功能磁共振成像（functional magnetic resonance imaging，fMRI）、脑磁图（magnetoencephalography，MEG）进行对齐匹配，展示了不同NLP模型所提取的表示中包含了哪些对应于人脑记录的、有助于改进效果的信息，例如上下文语境信息、词性信息等。
将预测任务的目标信息编码到模型参数中，从而改进BERT（《Inducing brain-relevant bias in natural language processing models》），在预测脑内语言处理的神经活动的能力。
在用神经成像设备（fMRI、MEG）记录大脑活动的同时，向受试者呈现语言刺激（例如逐字阅读一本书的一章或听一个故事），使用从NLP模型中提取的对应文本的表示来模拟所记录的大脑活动。通过微调BERT，以找到能够高度概括人脑和记录类型的表示，从而改进BERT。
除关注Wehbe研究小组的工作之外，我们也分析了这一领域中的其它研究成果，例如MIT的Roger P. Levy教授组的文章《Linking artificial and human neural representations of language》，这篇文章的关注点与Wehbe小组有所不同，其主要研究目的是解释「从句子理解行为中得到的什么信息在人脑中得到了强有力的表达？
」，即神经科学和BERT之间最有意义的交叉点在哪？他们使用BERT，并在不同的自然语言理解（Natural Language Understanding，NLU）任务中对BERT进行微调，目的是提高大脑解码性能，从而找到这个关键的信息。