吴仲义:顶级期刊的论文可靠性有多高?

作者: 吴仲义

来源: 知识分子

发布日期: 2018-03-20

本文讨论了顶级期刊如“CNS”类期刊的论文在肿瘤生物学领域的重复性问题,指出其重复性低于20%,并探讨了这一现象对学术评估和临床治疗的影响。

六年前,《自然》杂志发表一篇报道(Begley and Ellis 2012,简称 BE 文)宣称 89% 肿瘤生物学研究不可重复,53 篇只有 6 篇可重复。BE 文强调这是制药工业界普遍的经验。这个问题的严重性不言可喻。一来在学术上,“CNS”类(Cell, Nature 和 Science,统称 CNS)的明星期刊几乎掌控了全球的科学评估。公认的顶级论文可真只有 11% 的重复率?

二来在临床上,如果肿瘤研究的数据不可重复,治疗方案(譬如靶向治疗)恐怕得彻底重新评估了。

基于这问题的严重性,后起之秀的 eLife 期刊用了很大篇幅发表“肿瘤生物学重复性研究”(RP:CB)的结果。RP:CB 严格地重复了 30 项研究,首批结果在 2017 年发表。

中国科学院出版的《国家科学评论》(National Science Review, NSR)最新一期也发表了四位进化生物学家(简称 WWHW 文)等人对 eLife 结果的重新分析。他们总结如下:五个被重复的研究中有四个未能再现其主要结论,剩余一个则难以判读。WWHW 因此确认了重复性“不足两成”的看法。WWHW 文也对 eLife 有所批判。

譬如 eLife 把两篇对照组不能重复的论文归纳为“无法判断”。一般而言,对照组与实验组不能重复的严重性是对等的。也因此 eLife 的结论看起来似乎比 BE 文稍稍好一些。

BE 文与 eLife 的核心结论是:“CNS 级别期刊的肿瘤生物学论文”可重复性低于 20%。本文只谈 CNS 级别期刊与“学术学会期刊”论文可靠性的比较。(后者以 Genetics 为例;Genetics 为 1916 年出刊的美国遗传学会刊,到 20 世纪末仍是遗传学的核心期刊)。肿瘤生物学研究另外再谈。

一般人可能认为如果 CNS 论文重复性如此低,那引用率不及 CNS 级别的期刊论文是否更难信服人?关于这一点 BE 文的列表提到了一个有趣的现象——不可重复性高的结果其引用率比可重复的研究论文高很多。我们也因此推测学会期刊的论文重复率应该会比 CNS 级别论文提高不少。这倒也不难理解。CNS 之类的期刊要的论文是“新奇”的发现,“新奇”的东西又往往有“巧遇”的因素。不能重复也就不那么奇怪了。

我们学术界对于 CNS 论文的重视已经到不可思议的地步。CNS 论文带来的特殊优惠,包括奖金,升等,项目支持,几乎是“检验科学的唯一标准”了。(西方对 CNS 的依赖过去没中国严重,但是水往低处流,最近也有点“见贤思齐”了。)

我们不应该再执迷于“出刊两年内引用率”的所谓影响因子(Impact Factor)。11% 的重复率实在不高明。

要对于世界科研有贡献,现在是中国提出一套新的“科研贡献因子”的时候了。最后笔者得强调,虽然 eLife 的 RP:CB 结果有一定的普遍性,但 <20% 的重复率是肿瘤生物学特有的现象。问题不是肿瘤科研工作不严谨,这点大家不用特别担心。更重要的是肿瘤发生与一般医学现象在本质上有很大的不同。进化过程的生命现象本身就没多大的重复性,但偏偏与癌症的治疗策略息息相关。

这是 WWHW 文探讨的问题,笔者再另文分析。

UUID: 8b06cac3-4a3f-497a-a2a9-9fdfbe6bcfd5

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/知识分子公众号-pdf2txt/2018年/2018-03-20_吴仲义:顶级期刊的论文可靠性有多高?.txt

是否为广告: 否

处理费用: 0.0043 元