破除论文“SCI至上”、规范SCI论文相关指标使用,需要对科技期刊进行公正、科学的评价,探索建立科学的评价体系。在2019年度中国科协试点高质量科技期刊分级目录发布工作的背景下,今年8月,《FMS管理科学高质量期刊推荐列表》发布,推荐出管理科学高质量国际期刊1135种。本文约请参与列表研制的专家介绍高质量期刊推荐列表相关过程和模型方法,以资借鉴。
科技期刊是科研成果发表的重要载体,对科技期刊进行评价,提供公正、科学的评价依据,有助于科研人员、科研机构客观地了解科技期刊的学术影响力情况,辅助其在论文投稿、学术评价等科研过程中做出合理的决策,是科技评价中的一个重要内容。
围绕期刊评价问题,已有大量的研究成果从定性评价与定量评价两个维度展开。期刊定性评价方法主要是依据领域专家意见进行评判,是期刊评价的重要方面,但是面临专家意见不统一、评价过程费时费力等问题。期刊定量评价方法主要是依据期刊刊登论文构建的相关量化指标,因其具有客观、高效等特点,在科技评价实践中经常被使用,但也容易使得评价结果陷入“量化指标陷阱”中。
为了更好地引导我国科技期刊评价实践,中国科协从2019年度开始试点高质量科技期刊分级目录发布工作,希望发挥行业学会同行评议功能,在学术共同体内形成期刊评价的共识。2020年教育部、科技部发文要求破除论文“SCI至上”,规范SCI论文相关指标使用、探索建立科学的评价体系。
在此背景下,2020年8月,中国优选法统筹法与经济数学研究会、管理科学与工程学会、中国系统工程学会三家学会组织研究力量,在可靠的大数据、科学的计量方法和广泛的学界调研基础上,联合研制了《FMS管理科学高质量期刊推荐列表》。
研制中国视角下的高质量期刊推荐列表,既要充分借鉴国际主流期刊列表评价结果,与国际接轨,又要充分调研国内专家意见,反映中国特色。此外,研制过程中还需要考虑量化指标和专家意见权衡、期刊学科领域优化等问题。本文以《FMS管理科学高质量期刊推荐列表》研制过程为例,介绍构建的高质量期刊推荐列表研制模型方法。
一、改进的加权平均百分位方法集成不同国际期刊列表评价结果。充分调研和吸收国际主流期刊列表的评价结果,是期刊列表与国际接轨的关键步骤。在研制《FMS管理科学高质量期刊推荐列表》过程中,参考了多个国际主流管理科学重要期刊列表,如美国UT 24、英国ABS和FT 50、澳大利亚ABDC、法国CNRS和德国VHB等期刊列表。
二、基于构建的领域论文、项目数据库遴选期刊推荐列表评审专家。为了使得高质量期刊列表得到学术共同体的认同,开展广泛的领域专家调研是必不可少的。在开展《FMS管理科学高质量期刊推荐列表》专家调研过程中,为了保证遴选出的评审专家具有广泛的代表性,我们构建了管理科学领域的论文、项目数据库,基于论文发表数据和承担项目数据,最终遴选出期刊推荐列表评审专家。三、构建定量定性评价指标体系对期刊进行多维评价。
高质量期刊推荐列表研制过程中,最为重要的一点是要反映学界的共识。除了直接调研领域专家意见外,还有多个渠道的结果可以体现出学界对期刊的认识。在研制《FMS管理科学高质量期刊推荐列表》过程中,构建了重要数据库收录情况、经管学院认可度、领域影响因子、领域专家意见、期刊获奖情况五个评价指标,对备选期刊进行多维评价,并在多个评价指标结果综合集成的基础上对期刊等级进行分析。
四、基于论文文本大数据对期刊所属学科领域进行优化。由于不同学科领域的研究范式差异较大,致使不同领域期刊在各个量化指标上呈现的特点也不尽相同,所以需要对不同领域期刊进行分类评价。随着学科之间的交叉融合程度越来越深,期刊所属学科领域也逐渐模糊。传统的期刊列表研制过程中,通常是基于专家意见对期刊领域进行划分。