科学家担心，人工智能的日益成熟可能会破坏研究的完整性和准确性。生物预印本服务器bioRxiv日前发布的一项研究显示，人工智能（AI）聊天机器人可以写出科学家通常无法辨别真假的虚假研究论文摘要。英国牛津大学科学家Sandra Wachter表示，如果专家无法判断真假，我们就失去了指导我们解决复杂问题的迫切需要的中间人。聊天机器人ChatGPT可以根据用户提示创建真实、智能的文本。
研究人员要求聊天机器人根据发表在《美国医学会杂志》《新英格兰医学杂志》《英国医学杂志》《柳叶刀》和《自然-医学》的文章，撰写50篇医学研究摘要。结果，ChatGPT生成的摘要通过了剽窃检查：原创度得分中值为100%，表明没有发现抄袭。AI输出检测器发现了66%的生成摘要。
但人工审稿人并没有做得更好——只正确识别了68%的生成摘要和86%的真实摘要，错误地将32%的生成摘要识别为真实摘要、14%的真实摘要识别为生成摘要。如果科学家不能确定研究是否属实，那么会产生“可怕的后果”。如果研究人员阅读的研究是捏造的，可能会将他们带入有缺陷的研究路线。不仅如此，科学研究在社会中扮演着重要角色，这也可能意味着基于研究的政策决定是不正确的。
作者建议，那些评估科学通讯的人应该制定政策，禁止使用AI生成的文本。若有机构选择在某些情况下使用该技术，则应该制定明确的规则。将于今年7月在夏威夷檀香山举行的第四十届国际机器学习大会，不久前宣布禁止使用ChatGPT和其他AI语言工具撰写的论文。