在计算机科学中，没有一门学科比深度学习更能从人类的记忆系统中受益。自早期以来，在深度学习领域，人们就一直致力于对模拟人类记忆的一些关键特征系统进行建模。然而，想要为机器系统建立起类人的记忆结构，并非易事。
近日，区块链分析公司IntoTheBlock CEO、Invector Labs首席科学家、哥伦比亚大学客座教授Jesus Rpdriguez发表文章，谈论从神经科学和认知心理学的角度理解机器的记忆建模。他认为，神经科学的记忆理论为我们理解智能存储体系结构的一些主要组成部分提供了基础，同时，人类的记忆不仅仅是大脑物理结构的副产品，而且还深受周围环境的影响。
现代神经科学的记忆理论涉及大脑的三个基本区域：丘脑、前额叶、皮层和海马体。丘脑可以被认为是一个路由器，它负责处理感官信息，并将其传递到大脑的感觉皮层进行评估。经过评估的信息最终到达前额叶皮层，进入我们的意识中，形成短期记忆。同时，这些信息也被传送到海马体，海马体将不同的片段分布到不同的皮质中，形成长期记忆。
而当今神经科学面临的最大挑战之一就是，我们如何将分散的记忆碎片重新组合起来，使其在人们回忆时构成连贯的记忆。这就是“绑定问题”的主要内容。
此外，为了解释绑定问题，我们还需要一些超越大脑的结构，以评估能够影响记忆方式的各种心理背景因素。在认知心理学中,试图解释联想记忆本质的主要理论之一被称为启动效应。设想一下，当您听到“考试”这个词的时候，首先想到的是什么？
可能是“书籍”，可能是某个日期，甚至可能是“兴奋感”。由此可见，仅仅是一个简单的词语，就可以唤起人的一系列复杂情绪甚至是其他相关的词语。而这个过程实际就是：我们正在有效地想起相关的事物，或者说，我们正在“启动”其他记忆。这一实验中最引人注目的其实是，人们根据提示检索出相关单词或记忆的速度有多快。在心理学中，这种现象也被称为联想一致化。
而且，启动效应不仅适用于词汇，还适用于情绪、身体反应、本能等认知现象。启动效应告诉我们，记忆不仅是由主动联想方法来回忆的，而且是由“被启动的想法”来回忆的。
那么深度学习算法具体该如何模仿上述这些理论从而形成类人记忆呢？答案其实不难得出：a）把一个内存分成若干段，不同片段描述不同的知识领域；b）将分散的片段重新组合成连贯的信息结构；c）根据上下文和不直接相关的信息以及外部数据引用来检索数据。
同时，为了了解深度学习算法中的记忆相关性，我们应该区分内隐记忆和外显记忆。隐性知识通常是潜意识的，因此很难解释，例如识别图片中的猴子或口语句子中的语气和情绪。显性知识则很容易以陈述性方式建模。例如，“猴子是一种动物”或“某些形容词具有攻击性”，这都是显性知识的典型例子。
再想象一下传统的神经网络结构，它们往往有数百万个相互连接的节点，却缺乏一个工作记忆系统，用来存储已推断出的知识片段及其相互关系，以便从网络的不同层加入新信息。而在这一领域，最流行的技术之一是神经图灵机，由DeepMind于2014年引入。NTM也属于深层神经网络，但是它扩展出一个具有存储完整向量的记忆单元，并使用直观推断来读写信息。
例如，NTM实现了一种称为基于内容的寻址机制，它可以根据输入信息来检索向量，这与人类基于文字经验来回忆相关记忆的方式相似。此外，NTM还包括一种机制，能够根据内存单元被寻址的频率来增加其显著性。NTM并不是在深度学习系统中实现记忆能力的唯一技术，但它无疑是最受欢迎的技术之一。模仿人类记忆的生理和心理功能并不是一件容易的事，这已经成为深度学习领域中最重要的研究领域之一。