如何面对可重复性挑战

作者: 孙天任

来源: 《科学世界》

发布日期: 2016-02-18

本文讨论了科学研究中可重复性的重要性及其面临的挑战,分析了影响可重复性的多种因素,并提出了几种解决方法。

研究成果的可重复性是科学研究至关重要的一环,但随着科研方法和系统日趋复杂,编辑和审稿人越加难以判断研究是否满足这一重要条件。《科学世界》2015年第10期“心理学研究的可靠性”一文曾报道只有一半的心理学研究得以复现。近期,Nature重点关注了这一现象并发表了一系列文章,其中Regina Nuzzo介绍了科学家是如何“自欺欺人”以及他们是如何力图避免这一点的。

除了上文提及的心理学研究复现,Nuzzo还引用了一项对肿瘤学和血液学53个里程碑性研究的重复实验,而只有6个得以复现;以及另一项对18个基于微阵列的基因表达方面研究的重复实验,能够完全再现的只有2个。科学家其实在20世纪中叶就已认识到,实验者和被试都可能在无意中改变自己的行为,已满足预期假设,于是引入了双盲标准。

随着科研竞争的压力越来越大,一些新问题也随之出现,心理学家Brian Nosek说道:“我并不想给出误导性的结果,但我确实能够从成果中获益,这给了头脑强烈的动机去寻找它预期的结果。”其次,对大数据的研究也容易受到认知偏差的影响,很容易从数据海洋中筛选出一些满足统计性差异的数据,而实际上没有任何意义,比如《科学世界》2015年第8期“巧克力、减肥及其他”所说用吃巧克力来减肥的“钓鱼”研究。

此外,对结果的不对称关注也是偏差的成因,科学家常常会放过符合假设的数据,而对不合预期的数据严格检验。一项研究观察了3个顶尖分子生物学实验室的165项不同实验所涉及的争论,显示当结果与预期不符时,88%的情况下科学家们会指责实验方法的问题导致了数据前后不符,而不是怀疑他们的理论。而要是结果一致,则几乎不会对实验仔细检查。以上每一种认知偏差,都在破坏科学的进步。

“科学就是我们愚弄自己和我们避免愚弄自己之间的竞赛。”对于这一严峻挑战,一种解决方法是复苏旧传统,在提出假设时仔细考虑与之相竞争的可能性,并在允许的情况下用实验区分它们。第二种方法是更为开放的科研,包括分享实验方法、数据、代码和所有结果。Nosek认为:“我在如何处理数据和选择哪些数据报道上有着极大的灵活性,这就会产生利益冲突。对我而言避免这种情况的唯一方法就是在发表论文前就束住手脚。

”第三种更激进方法是改革成果发表模式,科学家将实验前的研究计划递交同行评议,如果被接受的话,则出版方保证无论成果是强是弱都可以发表。第四种方法是邀请学术竞争者一起进行对抗性合作,相互发现对方的破绽。

最后一种方法是盲分析,例如创建一个假设的数据库,研究者在这个数据库中进行数据处理,而后将处理方法移植到真实数据库中,天体物理学家Saul Perlmutter使用了这种方法处理超新星宇宙学的数据,他说:“这会增加很多工作,但我认为这会让你对你的处理感觉更放心。”

UUID: bb210269-9cd6-4c10-a68f-a9d297a698a5

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/科学世界公众号-pdf2txt/2015-2016/科学世界_2016-02-18_如何面对可重复性挑战.txt

是否为广告: 否

处理费用: 0.0029 元