如今，⼈⼯智能（AI）不仅越来越多地被应⽤在科学和商业领域中，⽽且在艺术领域也开始崭露头⻆。当⼈们对层出不穷的 AI 技术感到惊叹时，⼀项新的 AI 壁画修复技术出现了。近⽇，为解决中国古代壁画杰作永乐宫壁画的“修复难”问题，来⾃⼭⻄⼤同⼤学、⻢来⻄亚理科⼤学、⼤理⼤学的研究团队提出了⼀个能够修复巨型壁画的 AI 模型——3M-Hybrid。
据介绍，与四种代表性卷积神经⽹络（CNN）模型中的最佳模型相⽐，该模型在常规尺⼨的壁画修复中将 SSIM 和 PSNR 分别提⾼了 14.61% 和 4.73%。此外，它在巨⼤壁画的最终修复中也取得了良好的结果。
相关研究论⽂以“A 3M-Hybrid Model for the Restoration of Unique Giant Murals: A Case Study on the Murals of Yongle Palace”为题，已发表在预印本⽹站 arXiv 上。永乐宫壁画位于⼭⻄省芮城的永乐宫（⼜名⼤纯阳万寿宫），其艺术价值最⾼的⾸推精美的⼤型壁画。
整个壁画共有 1000 余平⽅⽶，分别画在⽆极殿、三清殿、纯阳殿和重阳殿⾥。作为宝贵的⽂化遗产，永乐宫壁画代表了中国绘画史上的艺术杰作。然⽽，由于⻓期缺乏维护，这些独特的壁画出现了许多缺陷，修复壁画成为了⼀项紧迫的任务。与⼿⼯修复技术相⽐，数字修复⽅法更加⾼效和可逆，特别是基于深度学习的图像修复技术取得了显著的成就。
然⽽，对基于深度学习的壁画修复⽂献主要关注敦煌壁画或其他常规尺⼨的壁画，缺乏专⻔针对永乐宫壁画及类似巨⼤壁画修复的研究。与其他关于壁画修复的研究相⽐，巨⼤的永乐宫壁画的修复⼯作⾯临两个主要挑战：1）永乐宫壁画具有稀缺性和独特的⻛格；2）壁画尺⼨巨⼤，模型在修复不同类型和尺⼨缺陷⽅⾯的熟练程度有限。据论⽂描述，此次研究提出的 3M-Hybrid 模型能够有效修复永乐宫壁画。
其中，“3M”指的是三个关键策略：多频率、多⻆度和多尺度，⽽“Hybrid”指的是混合型 CNN-VIT ⽹络。⾸先，研究团队将巨⼤的壁画分割成常规尺⼨的部分进⾏修复，然后将修复后的部分重新组装成原始尺⼨。为了使常规尺⼨壁画修复模型能够在有限的图像数据量下有效处理各种类型和尺⼨的缺陷，研究考虑了两个⽅⾯：优化训练数据和完善模型结构。
为了实现更好的修复效果，该研究采⽤了专⻔⽤于学习和提取这些⾼频和低频信号的独⽴⽹络，从⽽增强了在这些特定频率范围内的特征学习和修复能⼒。基于频率的训练⽅法使模型能够有效处理不同尺度和类型的缺陷。在模型结构⽅⾯，该研究将卷积神经⽹络（CNN）与预训练的视觉变换器（VIT）集成在⼀起，从⽽增强模型的特征提取能⼒。此外，在修复巨⼤壁画时，基本的切割⽅法在修复超⼤尺⼨的缺陷时会导致接缝间隙和结构失真。
为了解决这个问题，研究团队采⽤了多⻆度策略来减⼩间隙，并使⽤了多尺度⽅法，结合切割和缩⼩⽅法。这确保了精确的修复，同时增强了壁画整体结构的提取，解决了多尺度缺陷的问题。从可视化的表现来看，该模型在⾃由粉尘状、⾃由胶状和⾃由线性掩膜的修复结果⽅⾯表现出可观的效果。此外，对⾃由形状块掩膜的修复结果展现了保留的结构完整性和可信的纹理。3M-Hybrid 模型被证明是恢复这些独特⽽巨⼤壁画的可⾏⽅法。
然⽽，该研究也并⾮完美。⾸先，研究提出的⽅法依赖于多次实验以选择三个尺度融合权重的最佳值。然⽽，考虑到权重设置涵盖了⽆数的可能性，⽽实验次数有限，这种⽅法可能不够精确。因此，基于实验结果确定的权重值只能保证相对有利的最终结果。其次，研究使⽤的评估指标不够客观。⽬前使⽤的四个评估指标没有对图像结构进⾏全⾯评估，通常不能准确反映⼈类对图像的感知和评价。
但是，不可否认的是，该研究探讨了深度学习在巨⼤壁画修复中的应⽤，特别关注了利⽤深度学习技术来修复永乐宫壁画，其代表了⾸次尝试探索⼤规模艺术品的深度学习修复⽅法。另外，在改进常规尺⼨图像修复模型⽅⾯，该研究从数据和结构两个⻆度综合改进。这为未来研究提供了对修复独特⼩数据集的新⻅解。帮助⼈类延续⽂物⽣命过去⼏年间，⼈们也⻅证了 AI 技术和⽂物历史的奇妙结合。
2020 年，⼀位名叫“⼤⾕ Spitzer”的微博⽹友，便利⽤ AI 技术将⼈⺠⽇报 4 年前发布的 1920 年北京⿊⽩影像资料做了修复，完成了上⾊、修复帧率、扩⼤分辨率等⼯作。
2021 年，腾讯多媒体实验室也与敦煌研究院合作，利⽤深度学习⽅法分析敦煌壁画病害数据，开发出了⾼效的 AI 壁画病害识别⼯具，同时提供了沉浸式远程会诊技术，使⽤ 4K 超清画质的 360 度画⾯展示洞窟内景象和⽂物细节，实现了⽆障碍远程⽂物会诊。今年 6 ⽉，在成都举办的遗产⽇主场城市活动“⽂物保护利⽤与⽂化⾃信⾃强”主题论坛上，腾讯展示了运⽤ AI 技术完成的三星堆⼈机协同模拟拼接效果。
AI 技术在⽂物修复领域的诸多应⽤令⼈兴奋。未来，期待 AI 技术在⽂物保护、修复等⽅⾯能够更进⼀步，帮助⼈类延续⽂物⽣命。