计算机系统正变得越来越复杂，以至于人类很难搞清楚其运作方式。David Bau对此非常熟悉。“作为一名软件工程师，我已经工作了20年，研究的都是非常复杂的系统。”Bau说，他是位于马萨诸塞州波士顿东北大学的一名计算机科学家。但与传统软件不同，通常拥有内部知识的人可以推断出发生了什么，Bau说。例如，如果一个网站的谷歌搜索排名下降了，那么在谷歌工作的人会很清楚发生了什么。
人工智能（AI）“真正让我感到恐惧的是”，他说：“即使是开发人工智能的人，也没有这样的理解”。当前的人工智能浪潮在很大程度上依赖于机器学习，无需预先设定如何组织或分类信息的规则，软件便可以自行识别数据中的模式。这些模式可能是人类难以理解的。最先进的机器学习系统使用神经网络：受大脑结构启发的软件。它们模拟了一层层神经元，当信息从一层传递到另一层时，神经元会对信息进行转换。
就像人类大脑一样，这些网络在学习过程中会加强和减弱神经连接，但很难看出为什么某些连接会受到影响。因此，研究人员经常将人工智能比作“黑箱”，其内部工作机制是一个谜。
面对这一难题，研究人员转向了可解释人工智能（XAI）领域，扩展了其技巧和工具的清单，从而帮助逆向工程人工智能系统。例如，标准方法包括突出图像中导致算法将其标注为猫的部分，或让软件构建一个简单的“决策树”，近似模拟人工智能的行为。这有助于说明诸如为什么人工智能建议假释一名囚犯或得出特定的医疗诊断结果。这些窥探黑箱内部的努获得了一些成功，但XAI仍然是一个正在进行中的工作。
这个问题，在驱动ChatGPT等聊天机器人的人工智能（AI）方面，尤为突出。事实证明，这些人工智能特别难以解释，部分原因在于它们的规模。LLM可以有数千亿个“参数”，即人工智能内部用来做出决策的变量。以色列特拉维夫大学计算机科学家Mor Geva说，XAI“在过去几年中发展迅速，尤其是在LLM出现之后”。然而，这些难以理解的模型现在正在承担重要任务。
人们使用LLM寻求医疗建议、编写计算机代码、总结新闻、起草学术论文等等。然而，众所周知，这些模型可能会产生错误信息、泄露私人信息。
出于这些原因，正在设计XAI工具来解释LLM的工作原理。研究人员希望发现一些解释，这样他们才能创建更安全、更高效、更准确的人工智能；用户希望得到一些解释，这样他们才能知道何时该相信聊天机器人的输出；监管机构也希望收到一些解释，这样他们才能知道应该设置什么样的安全护栏。哈佛大学计算机科学家Martin Wattenberg说，理解LLM的行为甚至可能有助于我们理解我们自己大脑内部发生了什么。