声望偏见?研究发现:诺奖得主的论文更不易遭拒

作者: Nicola Jones

来源: Nature Portfolio

发布日期: 2023-01-11 14:46:17

一项研究发现,诺奖得主的论文在同行评审中更容易获得好评,获得审稿人推荐的概率是普通研究人员的6倍。双盲评审模式能够减少这种声望偏见,提供更客观的评审结果。研究还表明,选择性双盲评审能够提升低声望作者的论文接收率,且没有发现明显的副作用。尽管双盲评审具有诸多优点,但作者对这一评审模式的接受度仍然较低。

一项研究发现,诺奖得主论文获得审稿人好评的概率是普通研究人员的6倍。设想一下这样的情景:某天你收到期刊发来的待审论文,点开之后,你赫然发现论文作者是一位诺奖得主。相较于新手研究人员,你是否更倾向于对诺奖得主的论文给予正面评审意见?今年9月发表的一项研究对此做出了肯定回答——两者获得审稿人推荐的概率相差6倍。当同行评审人和作者都不知道对方身份时,评审中的偏见会更少。

这项研究的作者、澳大利亚格拉茨大学的Stefan Palan说:“人们预计作者姓名会对审稿人产生影响,但没想到这种效应会如此惊人。”Palan认为,双盲同行评审——审稿人和作者均不知道对方身份——所产出的结果要更加客观。“我认为双盲评审才是正道。”金融研究员、Journal of Behavioral and Experimental Finance的共同编辑Palan说。

这份期刊采用是强制双盲评审。

近年来,越来越多的研究对同行评审的做法进行了调查。结果表明,在各类评审模式中,存在着性别偏见(男性作者的论文接收率比女性高)和声望偏见(有名望的作者发表论文会更顺利)等问题。如今,单盲评审是科学期刊最常用的评审方法。在单盲评审中,作者不知道审稿人的身份,而审稿人知道作者的身份。

例如,在Wiley(全球最大的出版机构之一)旗下的1500余份期刊中,有62%的期刊采用单盲评审,只有37%采用双盲评审(剩下的1%采用三盲评审,即审稿人匿名,且审稿人与经手稿件的期刊编辑都不知道作者身份)。标准的评审做法因学科而异。那些预印本文化兴盛的学科(如物理)常使用更加公开的评审模式,而像社会科学和卫生等领域的期刊则偏爱匿名度更高的评审模式。

Palan也承认,双盲评审难以协调实施。比如,作者们往往一不小心就在研究中暴露了身份。审稿人也能猜测作者的身份,或是在谷歌上搜索这篇论文。强制实施双盲评审还会大大增加编辑的工作负担。但今年8月发表的另一项研究(证实了声望偏见的影响,样本为15万余篇论文)发现,仅仅向作者推荐双盲评审,就能为消除偏见带来积极影响,而不一定要强制实施。尽管选择性体系相比较于强制性体系的影响有限,但它的实施成本要低得多。

这项研究的第一作者、密歇根大学的情报学研究员Inna Smirnova表示:“我会提倡学术界采用双盲同行评审。”讽刺的是,这两项研究都已上传至SSRN(原为社会科学研究网)——一个帮助学者迅速传播早期研究的非同行评审平台。这两篇论文也都投给了同行评审期刊,但预印本的上传使他们不大可能采用双盲评审。

“在社会科学领域,发表预印本正变得愈发普遍,”Smirnova说,“领域的常态正在发生变化,我们也在跟上。”

作为一名期刊编辑,Palan想亲自检验双盲评审的影响。他联系到了诺奖得主、查普曼大学经济学家Vernon Smith,看他目前是否有正在撰写的论文,以及是否愿意参与他的试验。Smith与同事、青年经济学家Sabiou Inoua随后提交了一篇论文。

为开展本次试验,Palan与同事们向3000多人发出了审稿邀请。在一部分邀请中,他们在论文中透露了其中一位作者的姓名,而在另一部分邀请中则完全没透露姓名。结果表明,论文上的姓名影响了审稿人的审稿意愿。署名青年学者Inoua的邀请接受率为29%,而署名诺奖得主Smith的邀请接受率提升至36%。更重要的是,对作者身份的认知显著影响了审稿人的评审意见。

在隐藏诺奖得主(署名为另一位非知名学者)的情况下,审稿人给出拒稿意见的几率达到了65%,是另一组(署名诺奖得主)的近3倍(23%)。审稿人给出立即接收或是小修的几率在前一组为10%,在后一组为59%——飙升了近6倍。

“我直觉上知道Vernon和我收到拒稿意见的概率会有差别,但没想到差别会这么大。”Inoua说。

他们的论文现正在进行修改——基于超过600页的巨量评审建议,而非平常几个审稿人的三页意见。论文作者崇高的学术声望可能会影响审稿人的意见,这无可厚非。比如,考虑到作者一向严谨的学术作风,审稿人会更愿意接受有违直觉的研究结果。但Palan的研究发现,审稿人对6个评价标准所给出的意见全部发生了改变。这6个评价标准包括研究主题的价值、资料的新颖度,以及结论是否有足够的证据支撑等。

Palan认为,这些方面本不应该受到作者声望的影响。

此前的一项研究表明,单盲评审相较于双盲评审更难将劣质研究淘汰掉。这意味着,双盲评审所做出的决议对科学发展“更有利”。为检验强制性双盲评审体系对于减少声望偏见的必要性,Smirnova与其同事查看了IOP Publishing(英国物理学会子公司)旗下57份期刊所收到的论文。2020年11月,这家出版机构宣布将逐步采用选择性双盲评审体系。

Smirnova的研究团队发现,匿名评审使低声望作者的论文接收率提升了5.6%,而使高声望作者的论文接收率降低了2.2%。Smirnova表示,这种提升能帮助“那些难以使论文面世的边缘研究群体”。研究人员还探讨了这种政策是否会产生副作用——例如愿意评审论文的人数减少,或是带来针对匿名论文的新偏见。研究团队并未发现这类不良影响,这表明选择性双盲评审没什么坏处。

尽管双盲评审具有种种优点,但作者对这种评审模式的接受度较低。Smirnova的研究发现,IOP Publishing引入双盲评审后,只有1/5多一点的研究人员选择在投稿时保持匿名。2015年,《自然》旗下期刊(包括《自然》)采用了选择性双盲评审。但在2015年至2017年间,仅有12%的投稿作者选择了双盲评审。Smirnova希望她们团队的研究能“激励更多研究人员做出改变”。

透明评审会将评审记录公之于众,这种模式正受到包括在《自然》发文的作者在内的更多人的青睐。除了三盲评审之外,还有公开评审模式。在这种模式下,所有人的身份信息都要公开。每种方法都互有优劣。妙佑医疗专攻证据生成与综合的流行病学家Hassan Murad表示:“匿名同行评审流程有其独特的优势,即偏见更少。”在对同行评审方面的文献进行研究后,Murad表示结果符合他的预期。“但肯定还是有缺点。”他补充道。

其中一个问题是编造或欺诈等不端行为蒙混过关的风险有所增加。但凡事不可能十全十美,他说。“我不认为有哪种体系能完全摒除偏见。”

“双盲评审全靠同行衬托,”Palan打趣道,“它有很多缺点。但在我看来,其他的体系比它更差。

UUID: 5df62a37-7f4b-400d-89fe-e869922b5b67

原始文件名: /home/andie/dev/tudou/annot/AI语料库-20240917-V2/AI语料库/学术头条公众号-pdf2txt/学术头条2023年/学术头条_2023-01-11「转」_声望偏见?研究发现:诺奖得主的论文更不易遭拒.txt

是否为广告: 否

处理费用: 0.0138 元