揭开黑盒一角!OpenAI发布“显微镜”,可视化神经网络内部结构

作者: 蒋宝尚

来源: AI 科技评论

发布日期: 2020-04-16

OpenAI 发布了一个名为“OpenAI Microscope”的工具,它是一个神经元可视化库,旨在帮助研究人员更好地理解神经网络的结构和特征。这个工具包含了多个历史上的计算机视觉模型,并提供了可视化的方式来展示神经网络的内部结构。

躺尸接近三个月的 OpenAI 博客终于有了更新,这次它为 AI 研究者带来的作品是“OpenAI Microscope”,中文译名 OpenAI 显微镜。意为可以像实验室中的显微镜一样工作,帮助 AI 研究人员更好地理解神经网络的结构和特征。

说到底,这个显微镜更像是一个神经元可视化库,里面包含了历史上重要且普遍研究的计算机视觉模型,如 2012 年 ImageNet 挑战赛冠军 AlexNet,2014 年的 ImageNet 冠军 GoogleNet(又名 Inception V1)和 ResNet v2。

OpenAI 在研究中提到:现代神经网络模型强大的能力来源于成千上万个神经元相互作用,但神经元之间的“协作”一直是个迷,OpenAI 发布的这个显微镜能够帮助快速探索这些神经元。

例如,一位研究人员可能会推测:InceptionV1 4c:447 是由车轮检测器(4b:373)和车窗检测器(4b:237)组成的汽车检测器。那么,用 OpenAI 显微镜就可以评估该推测,并发现新事物。

这中间发生了什么?显然,弄清楚神经网络中间的运行过程非常重要。如上,点击神经网络的每一层,OpenAI 显微镜都会对处理图片的过程进行可视化的展示,具体到每一个神经元都会对应一张处理后的图片。非常清晰的展示了每一张图片的“渐进”过程。

据 OpenAI 介绍,这种探索神经元的过程,对另一份神经网络可解释性研究《Zoom In: An Introduction to Circuits》提供了意想不到的帮助。

模型由“节点”(神经网络层)图组成,这些图通过“边”相互连接。每个操作包含数百个“单元”,大致类似于神经元。值得注意的是,其使用的大多数技术仅在特定分辨率下才有用。

另外,在给出这个工具的同时,OpenAI 也给出了几点对可解释性研究的贡献:1、所有的模型和可视化都已经开源,且“显微镜”中所有的可视化都是用 lucid 库生成。2、能够将模型和神经元相互联系起来,可以立即对神经元进行审查和进一步探索。3、可访问性,通过共享可视化研究,保持高度的可访问性。

正如生物学家专注于研究少数“模型生物”一样,“显微镜”也专注于详细探索少数模型。OpenAI 的初始版本包括九个常用的视觉模型,未来几个月会扩展到其他模型。

可解释性研究:源于 DeepDream。可解释性和确定性在机器学习系统方面是一个宽泛的话题,设法了解神经网络在那些层的函数中具体在做什么是一大挑战。但弄清楚应该如何选择初始化参数这类问题,必须了解神经网络的本质。

AI 研究员们也一直朝着这个方向努力。除了 Microscope 下的神经元可视化之外,近年来的一些工作也试图可视化机器学习模型。例如,Facebook 在去年春天推出的 Captum,便尝试了使用可视化技术来解释机器学习模型做出的决策。

而在 2019 年 3 月,OpenAI 和谷歌也曾发布用于可视化机器学习算法做出的决策的激活地图技术(Activation Atlases);如果将之前的研究比作在算法的视觉字母表中显示单个字母,那么激活地图集则提供了整个字典,它能够显示字母是如何组合在一起制作实际词汇。

显然,今天“显微镜”的这项工作也集成、借助了之前的激活地图技术。追根溯源,所有的此类可视化研究或许可以归结为一项名为 DeepDream 的早期实验,这是 2015 年发布的计算机视觉计划,意图将任何图片变成了自身的“幻觉”版本。

正如 OpenAI 的 Chris OlahOlah 曾经说过的那样:“在某些方面,这一切都始于 DeepDream。”

UUID: 2fbc92d0-34c0-4b65-8a19-147069d3cf7d

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2020年-上/2020-04-16_揭开黑盒一角!OpenAI发布“显微镜”,可视化神经网络内部结构.txt

是否为广告: 否

处理费用: 0.0044 元