近年来,数字病理学的蓬勃发展成为了精准医学加速突破的重要组成部分。在癌症护理过程中,利⽤全切⽚成像技术将肿瘤组织样本转换为⾼分辨率的数字图像,已经成为常规技术。⾼达⼗亿像素级别的病理学图⽚包含多样的肿瘤微环境信息,为癌症分型诊断,⽣存率分析以及精准免疫治疗提供了前所未有的契机。
近期,⽣成式⼈⼯智能⾰命为准确感知、分析病理学图⽚中的海量信息提供了强有⼒的解决⽅案。与此同时,多模态⽣成式⼈⼯智能技术的突破更将助⼒从时空多尺度理解数字病理学图⽚并与其他⽣物医学模态相融合,从⽽更好刻画患者疾病演变、发展过程,协助医⽣进⾏临床诊断和治疗。然⽽,由于数字病例学图⽚的⼤规模、⾼像素、特征复杂等特点,从计算⻆度⾼效处理和理解其中的复杂模式⼗分具有挑战性。
每张全切⽚数字化转型之后将包含数⼗亿像素,其⾯积达到⾃然图像的⼗⼏万倍,应⽤现有的计算机视觉模型难度较⼤。传统的视觉模型,如Vision Transformer,其计算复杂度随着输⼊图⽚的⼤⼩的增加快速上升。同时,临床医学数据具有跨尺度、多模态和⾼噪声等特点,⽽现有的病理学模型⼤多基于标准公开数据集,依然同现实世界的应⽤具有不⼩的距离。
为此,来⾃微软研究院、美国Providence的医疗⽹络和华盛顿⼤学的研究⼈员,共同提出了⾸个全切⽚尺度的数字病理学模型GigaPath。据介绍,GigaPath模型采取两阶段的级联结构,以及微软研究院近期开发的LongNet架构,⾼效解决了⼗亿像素级别图像的处理和理解问题。
研究⼈员对GigaPath在真实世界的数据上进⾏了⼤规模预训练,从Providence旗下28家美国医院的3万病⼈收集到17万张全切⽚数字病理学图⽚,共计13亿张病理学图块。实验结果表明,GigaPath在26个任务——包含9个癌症分型和17项病理组学任务——中的25项任务取得领先效果,在18项任务中显著⾼于现有⽅法。
研究⼈员表示,该研究展示了全切⽚尺度层⾯的建模和⼤规模真实世界数据的预训练极其重要,同时,GigaPath也将为更加先进的癌症护理和临床发现提供全新可能。值得⼀提的是,GigaPath的模型和代码已经开源。