乌贼变色的图像生成术:没有一次伪装是相同的

作者: 梁希同

来源: 公众号:知识分⼦

发布日期: 2023-07-03 12:18:44

近⽇,⼀篇发表于Nature的研究揭⽰了章鱼和乌贼快速变⾊背后的神经控制机制。研究通过结合⼤规模成像技术和⼈⼯智能算法,对乌贼独特的变⾊伪装⾏为进⾏单细胞精度的定量分析,推翻了之前基于⾁眼观察所总结的结论。乌贼的变⾊伪装不是⼀个简单的观察-决策-实施的过程,⽽是⼀个搜寻-反馈-迭代优化的过程。通过这种算法,乌贼就可以灵活地根据不同的环境,有创造性地变出相应的⾝体图案。

章鱼和乌贼能在⼀秒之内,根据不同环境,迅速改变全⾝颜⾊和图案,天⾐⽆缝地和环境融为⼀体。近⽇,⼀篇发表于Nature的研究揭⽰了这⼀神奇⾏为背后的神经控制机制。动图1: 章鱼瞬间变色隐入环境(视频未经加速)相⽐之下,变⾊龙只能在数分钟内缓慢地改变⾝体的整体⾊调。⽽章鱼和乌贼变⾊速度极快,不但改变整体颜⾊,还能在⽪肤上直接模拟出背景环境的纹理和图案的细节。

同一只乌贼在实验室内不同背景图片上显示出不同的图案章鱼和乌贼之所以能快速在⽪肤切换不同图案,是因为他们的⽪肤就像⼀个覆盖全⾝的显⽰屏,上⾯有上百万个微⼩的⾊素细胞,每个⾊素细胞相当于⼀个屏幕上的⼀个像素点。动图2: 乌贼⾊素细胞的动态每个⾊素细胞由⼀个精妙的神经肌⾁的机关控制,使其可以在⼗分之⼀秒之内飞快地变⼤变⼩。他们的⼤脑可以精确控制⽪肤不同区域的⾊素细胞的⼤⼩来组成不同的图案。

⾊素细胞本⾝⼀种固定的颜⾊,通过组合不同颜⾊的⾊素细胞就可以组成不同颜⾊的图案。不同颜⾊的⾊素细胞,通过辐射状的肌⾁纤维牵引⽽变⼤这个⽪肤“显⽰屏”的分辨率⾼于市⾯上所有的电视机屏幕,所以成年乌贼的体表有⼏⼗万到上百万个这样的⾊素细胞(像素点)。它的⼤脑是如何同时控制上百万个⾊素细胞,来形成复杂的图案的呢?

想象⼀下如果你要同时控制⼀百万根⼿指,乌贼和章鱼是否有⼀种独特⾼效的算法来实现如此复杂的控制呢?纵观整个动物界,只有乌贼和章鱼具有图像⽣成的能⼒。研究这个能⼒背后的神经算法,可以为脑启发⼈⼯智能开阔⼀个新的⽅向。此前,对各种动物的视觉系统的研究已经为计算机视觉提供了很多借鉴和启发。最近,包括GPT在内的⼤型⽣成性模型的爆发式发展,也对GPU的算⼒和能耗有了空前的需求。

通过研究乌贼⽪肤“显⽰屏”背后的神经算法,这⼀个“GPU”在⽣物体中唯⼀的类似存在形式,或许使现有⼈⼯智能在软件和硬件层⾯都变得更加⾼效⽽节能。能变出多少种不同的图案?早期研究者在实验室和野外通过⼤量⾁眼观察,将乌贼⽤于伪装的图案分成三个⼤类:均匀⼀致型,细微颗粒型,和⼤⽚斑图型。Roger Hanlon总结了乌贼的三种伪装图案类型。

近⽇,德国马普所的Gilles Laurent研究组使⽤2亿像素相机阵列,结合计算机视觉和深度学习算法,对乌贼进⾏全⾝微⽶尺度的录像,追踪和记录在变⾊模拟环境的整个过程中,⼀只动物⾝上⼏⼗万个⾊素细胞的动态。拍摄和识别乌贼全⾝的⾊素细胞。上图:原图;下图:通过深度神经⽹络识别出⽪肤上的⾊素细胞。通过将复杂的动物⾏为还原到单细胞的尺度,研究者发现,乌贼可以产出图案类型⾮常丰富,远远不⽌三种。

⽽且,即使是⾁眼看上去很像的两个⽪肤图案,也可以由完全不同的⾊素细胞激活模式组成。乌贼可以产出各种各样不同的图案,远远不⽌三种。下图为乌贼产⽣图案在图案空间⾥的密度分布,有很多细分的类型。早期研究者通过观察和总结,将乌贼的⾝体切分成约40个区块,认为乌贼可以选择性的激活不同的⽪肤区块,可以通过组合这些图案组件来够成不同图案。早期研究者通过⾁眼观察总结出构成乌贼⾝体图案的40个图案组件。

通过分区块的却是可以⼤⼤简化变⾊控制的复杂度,但通过⾊素细胞的尺度的分析,研究者发现,实际上的并没有那么简单。原先观察到图案组件其实是不固定的。⾁眼看上去相似的图案组件,在不同时刻可能是由不同⾊素细胞组成的。乌贼对于⽪肤上的⾊素细胞的调⽤⾮常之灵活⽽复杂。构成身体图案的组件在不同的时候可以由不同群色素细胞来组成。

图中左右对比了两次变色过程,色素细胞分组的重新分配伪装:在图像的世界⾥漫游早期研究者将乌贼⽤于伪装的图案分成的三个⼤类,认为的变⾊伪装背后的神经控制可能是⼀个观察-决策-实施的过程:当乌贼进⼊⼀个新的环境,他⾸先会对环境的视觉信息做⼀个整体的评估,然后在脑中对环境进⾏归类(⽐如分成三个⼤类);针对不同类的环境,它会有⼀套固定的运动程序,来产⽣相应的图案。

根据这个模型,数百万⾊素细胞并⾏控制将会被⼤⼤简化。但是,通过对数⼗万⾊素细胞动态的⾼精度定量分析,我们发现变⾊伪装背后的神经控制算法并⾮如此。

同步追踪全身数十万个色素细胞在变色过程的动态⾸先,如果是对环境归类后选择对应⾝体图案,那么预期会看到类似环境图案诱发相同的⾝体图案,⾝体图案的分布应该是离散的,但当测试了30种⾃然背景和30种⼈⼯背景(⼤⼩不同的棋盘格),我们发现,动物可以产⽣连续变化的⾝体图案来适应不同环境。可以想象,如果测试更多的环境图案,将会诱发动物⽣成更多不同的⾝体图案。

乌贼可以连续的图案变化来应对不同环境图案更重要的是,在同⼀只动物上测试完全相同背景转换,即使是⾁眼看上去很像的变⾊过程,在单细胞的尺度上,这个过程却是完全不同的。乌贼的每次变⾊都像在图案的世界⾥漫游,⽽且每次漫游的路径都不⼀样。它不依赖于固定的变⾊路径,不是由预先设定好的运动程序来控制的。

同一只动物上测试三次相同背景转换,变色路径不相同,像在图案的世界里漫游当乌贼看到⼀个新的环境,它采取⼀种迭代式的探索来改变⾃⾝的图案。⾸先做出⼀步随机的尝试,停下来对⽐⾃⼰⾝上的图案和环境的图案,决定下⼀步怎么变;然后再变⼀点,再停下对⽐,再变⼀点……通过反复的探索和迭代优化,采取了类似“随机梯度下降”的算法,逐步逼近和环境最像的图案。乌贼变⾊的寻优过程,通过迭代优化,逐步逼近和环境最像的图案。

所以,乌贼的变⾊伪装不是⼀个简单的观察-决策-实施的过程,⽽是⼀个搜寻-反馈-迭代优化的过程。通过这种算法,乌贼就可以灵活地根据不同的环境,有创造性地变出相应的⾝体图案。直接的“警示”如果说变⾊伪装是⼀个探索寻优的过程,每次探索似乎要花⼆三⼗秒甚⾄更长时间,⽽且同⼀只动物重复这个过程并不会越来越熟练。那为什么⽂章开头的动图⾥的章鱼能变得这么快呢?实际上开头的动图是⼀段较长视频的剪辑。

如果我们看完整的录像,你可能会注意到⼀开始这只章鱼表现出完美的伪装;当镜头靠近时,它向潜⽔员显⽰出全⾝变⿊的警戒⾊;然后在⼀秒钟内恢复原来的伪装图案。动图3: 章鱼显⽰出警戒⾊通过分析发出警戒⾊信号过程中⾊素细胞的活动模式,研究者发现⽤于通信的变⾊轨迹基本上遵循相同的且更直接的路径,不像伪装变⾊的路径那样蜿蜒曲折。⽤于通信的变⾊是由⼀个固定的运动程序来控制的。

四次重复的威胁信号沿着相同的变⾊路径因此,伪装和通信很可能是由两个相互独⽴的变⾊系统控制的。通信图案可以直接叠加到伪装图案上。即使在完全变⽩的状态,原本的伪装图案也残留着细微的痕迹,就像是残留在⽪肤上的肌⾁记忆。所以⼀旦通信图案被撤销,它就会瞬间回到原来的伪装图案。除了警戒⾊,乌贼和章鱼都能通过⾝体“显⽰屏”显⽰不同的图案,作为⼀种“动画表情/emoji”来和同类交流。

如何破译它们的“图像语⾔”将是⼈们进⼀步研究的问题。乌贼的各种⽤于同类间信息交流的变⾊信号总结来说,该研究⽽通过结合⼤规模成像技术和⼈⼯智能算法,对乌贼独特的变⾊伪装⾏为进⾏单细胞精度的定量分析,推翻了之前基于⾁眼观察所总结的结论。通过乌贼⽪肤“显⽰屏”这⼀个独特的通往动物内⼼世界的窗⼜,未来的研究将进⼀步揭⽰这⼀动物界中独⼀⽆⼆的图像⽣成神经⽹络背后的奥秘。

该研究的共同作者梁希同已于2022年12⽉在北京⼤学⽣命科学学院成⽴独⽴实验室,将继续探索乌贼和章鱼中独特的⾏为和神经机制,以期为脑启发⼈⼯智能与仿⽣软体机器⼈提供独特的神经算法借鉴与运动控制理论。

参考⽂献:[1] Woo, T.*, Liang, X.*, Evans, D., Fernandez, O., Kretschmer, F., Reiter, S., & Laurent, G. (2023). The Dynamics of Pattern Matching in Camouflaging Cuttlefish. Nature. https://www.nature.com/articles/s41586-023-06259-2[2] https://www.ibiology.org/ecology/cephalopods/#part-1[3] Messenger, J. B. (2001). Cephalopod chromatophores: neurobiology and natural history. Biological Reviews, 76(4), 473-528.[4] Hanlon, R. T., & Messenger, J. B. (2018). Cephalopod behaviour. Cambridge University Press.

UUID: 9b268789-68cd-45c1-b6b9-6816146c96ce

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/中科院物理所公众号-pdf2txt/2023/中科院物理所_2023-07-03「转」_乌贼变色的图像生成术:没有一次伪装是相同的.txt

是否为广告: 否

处理费用: 0.0102 元