六年前,《自然》杂志发表一篇报道(Begley and Ellis 2012,简称 BE 文)宣称 89% 肿瘤生物学研究不可重复,53 篇只有 6 篇可重复。BE 文强调这是制药工业界普遍的经验。这个问题的严重性不言可喻。一来在学术上,“CNS”类(Cell, Nature 和 Science,统称 CNS)的明星期刊几乎掌控了全球的科学评估。公认的顶级论文可真只有 11% 的重复率?
二来在临床上,如果肿瘤研究的数据不可重复,治疗方案(譬如靶向治疗)恐怕得彻底重新评估了。
基于这问题的严重性,后起之秀的 eLife 期刊用了很大篇幅发表“肿瘤生物学重复性研究”(RP:CB)的结果。RP:CB 严格地重复了 30 项研究,首批结果在 2017 年发表。
中国科学院出版的《国家科学评论》(National Science Review, NSR)最新一期也发表了四位进化生物学家(简称 WWHW 文)等人对 eLife 结果的重新分析。他们总结如下:五个被重复的研究中有四个未能再现其主要结论,剩余一个则难以判读。WWHW 因此确认了重复性“不足两成”的看法。WWHW 文也对 eLife 有所批判。
譬如 eLife 把两篇对照组不能重复的论文归纳为“无法判断”。一般而言,对照组与实验组不能重复的严重性是对等的。也因此 eLife 的结论看起来似乎比 BE 文稍稍好一些。
BE 文与 eLife 的核心结论是:“CNS 级别期刊的肿瘤生物学论文”可重复性低于 20%。本文只谈 CNS 级别期刊与“学术学会期刊”论文可靠性的比较。(后者以 Genetics 为例;Genetics 为 1916 年出刊的美国遗传学会刊,到 20 世纪末仍是遗传学的核心期刊)。肿瘤生物学研究另外再谈。
一般人可能认为如果 CNS 论文重复性如此低,那引用率不及 CNS 级别的期刊论文是否更难信服人?关于这一点 BE 文的列表提到了一个有趣的现象——不可重复性高的结果其引用率比可重复的研究论文高很多。我们也因此推测学会期刊的论文重复率应该会比 CNS 级别论文提高不少。这倒也不难理解。CNS 之类的期刊要的论文是“新奇”的发现,“新奇”的东西又往往有“巧遇”的因素。不能重复也就不那么奇怪了。
我们学术界对于 CNS 论文的重视已经到不可思议的地步。CNS 论文带来的特殊优惠,包括奖金,升等,项目支持,几乎是“检验科学的唯一标准”了。(西方对 CNS 的依赖过去没中国严重,但是水往低处流,最近也有点“见贤思齐”了。)
我们不应该再执迷于“出刊两年内引用率”的所谓影响因子(Impact Factor)。11% 的重复率实在不高明。
要对于世界科研有贡献,现在是中国提出一套新的“科研贡献因子”的时候了。最后笔者得强调,虽然 eLife 的 RP:CB 结果有一定的普遍性,但 <20% 的重复率是肿瘤生物学特有的现象。问题不是肿瘤科研工作不严谨,这点大家不用特别担心。更重要的是肿瘤发生与一般医学现象在本质上有很大的不同。进化过程的生命现象本身就没多大的重复性,但偏偏与癌症的治疗策略息息相关。
这是 WWHW 文探讨的问题,笔者再另文分析。