人类需要充足的睡眠才能有最好的状态,而最新研究发现,人工神经网络也可能受益于长时间的休息。模拟神经网络中类似睡眠周期的状态,可以消除人工模拟大脑中不间断的自学习带来的不稳定性。
众所周知,充足的睡眠可以带来元气满满的一天,提高工作效率,无论是动物还是人类,都可以得到充足睡眠带来的好处。而近日洛斯阿拉莫斯国家实验室的一项研究表明,人工计算大脑也可以从睡眠中受益,这种好处与睡眠给人类所带来的好处类似。
人工计算大脑的灵感来自于人类大脑的神经连接。想象一下,一个由相互连接的节点组成的庞大分层网络,他们互相通信。随着时间的推移,神经网络调整这些神经元之间独特的相互作用,以提高其解决问题的能力。
在这项研究中,洛斯阿拉莫斯国家实验室的研究人员重点研究了脉冲神经网络,它的功能不同于标准的人工神经网络。这些计算系统更接近于人脑的神经回路,神经元在接收到大量输入信号后产生一个信号。科学家们仍在学习如何训练脉冲神经网络,因为这些系统需要与典型的人工神经网络完全不同的方法。
Watkins 和她的研究小组发现,连续一段时间的无监督学习后,神经网络模拟变得不稳定。当他们将神经网络暴露在类似于人类大脑在睡眠时所经历的波动状态时,稳定性就恢复了。研究人员认为,将神经网络暴露在模拟睡眠状态下的决定,几乎是稳定网络的最后一搏。他们对各种类型的噪音进行了实验,这些噪音大致相当于调谐收音机时可能遇到的电台间的静态电音。当他们使用所谓的高斯噪声波时,得到了最好的结果。
研究小组的下一个目标是在英特尔的 Loihi 神经形态芯片上实现他们的算法。他们希望让 Loihi 时不时地进入睡觉状态,使其能够稳定地实时处理来自硅视网膜摄像头的信息。如果这些发现证实了人造大脑需要睡眠,我们或许可以期待未来机器人和其他智能机器也会有同样的情况。Reddit 热议:人造大脑真的是在睡觉吗?
有网友指出,称人造大脑的稳定状态类比于睡眠状态有待商榷,因为如果我们不了解睡眠,我们怎么能说他们相似或不相似?唯一相似的地方,是噪声和脑波中存在的波形,该波形随处可见,并非睡眠独有。而也有网友表达不同的意见,他认为如果我们把“睡眠”概念化为一种恢复退化的认知功能的无反应的恢复过程,那么睡眠对于任何给定的系统都将是一个不同的过程,但最终功能是相同的,本文所描述的过程甚至可能是相符的。
除此外,有网友质疑该研究在很大程度上夸大了人造大脑与睡眠的相似之处,使得它的适用性比现在更加广泛。脉冲神经网络虽然经常被誉为第三代人工神经网络,但是这种一个相当小众的研究领域。对于传统的 CNN 来说,这种技术可能并不需要,因为它们在训练过程中会不断地进行自我规则化。
也有网友补充知识点,生物神经网络具有固有的延迟,因为电信号在网络中传播需要时间,长时间训练网络也非常困难。信号需要时间流过网络,如果正在训练,则需要进行反向传播来加强连接。如果最短路径和最长路径之间的时间差变得太大,则将先处理一条路径,而另一条路径仍在传播。然后当后来的输入进入时,前一个输入的潜在处理将破坏新数据,即引起“幻觉”。
这位网友指出,研究人员所做的“重置”很可能是发送固定频率的脉冲,其中或许有一个作用,就是优化由于最近学习而加强的路径,使路径之间的时间间隔缩短到某个阈值以下,以防止幻觉的产生。该网友还建议将生物神经网络与人工神经网络完全区别对待。虽然人工神经网络可能会受到生物学的启发,但有大量的基本差异使得用一个来描述另一个变得困难。