众所周知,基于期刊的引文指标评估个体研究人员的局限性。然而,这些评估系统在学科内形成不同的研究实践的方式却鲜为人知。Rossella Salandra 、Ammon Salter和James Walker提供了对商业和管理学者的新分析的证据,探讨了这些学者如何评价期刊地位,以及期刊地位比学术影响力更受重视的点。
指南、评级和排名在引发行为和塑造观念方面发挥着普遍作用。通常,此类排名的来源晦涩难懂,范围和目的会随着时间的推移而发生变化,从而产生意想不到的后果。但是,所有排名和相应的荣誉仅与它们所赋予的地位和利益一样重要。
在竞争日益激烈的学术界,这些荣誉是相当可观的。虽然许多批评者指出,高地位期刊上的出版物可能不会自动获得更高的质量,但广泛滥用期刊排名作为评估研究的一站式商店仍然是一个热门话题。DORA研究评估宣言的倡导者在改变资助机构、学术机构、期刊、指标提供者和个体研究人员的行为方面所取得的进展反映了这一点。
鉴于这些发展,令人惊讶的是,几乎没有证据表明哪些学者受到高级期刊地位的诱惑,或者哪些学者不受其影响。我们最近的工作重点是英国的商业和管理学者,他们作为一个团体代表了一系列社会科学和人文学者。与其他研究领域相比,商学院学者也更受正式的期刊排名系统的约束,例如特许商学院协会 ABS 期刊指南。这导致了该领域内部的批评,认为对排名的依赖会激励“野心大于创造力”,而且正如美国研究表明的那样,“一篇 A-journal 文章通常可以被庆祝为胜利,而很少讨论研究的内容、方法和数据的质量,以及研究结果对理论和实践的影响”。因此,英国机构的商业和管理教员可以说在此类评估系统仍在形成的其他环境中代表了学者的“矿山中的金丝雀”。
因此,考虑到在高级期刊或不太有声望的期刊上发表的选择,你可能会选择“吃掉你的蛋糕”——即在高级期刊上发表而不是在低级刊物上发表——但是如果你也有东西要放弃怎么办?为了解决这个问题,我们设计了一个选择集问题,该问题探讨了个人对在“精英”普通期刊上发表文章的偏好,以及随后几年在领先的专业期刊中的假设引用水平。换句话说,你会在什么时候用期刊声望来换取认可或你的同行,如引用所代表的那样?
我们的问题设计受到创新管理选择研究和行为经济学风险偏好研究的启发。在这些研究中,个人在两个选项之间提供了一组假设的分阶段选择,这些选项具有不同程度的风险。选择集固定一个选项的价值,然后增加与第二个选项对齐的奖励。目的是确定人们在什么阶段将他们的选择从第一个选项转移到第二个选项。因此,我们设计了一个假设的选择集问题来评估在 4* 期刊上发表与在 4 级期刊上发表的偏好。我们利用在英国广泛传播的 ABS 学术期刊指南。该列表以五分制(4*、4、3、2、1)对期刊进行排名,排名最高的是“Journal of Distinction”或“4*”,这几乎与美国经济和商学院学术团体中定义的“A 期刊”俱乐部完全重叠。因为引用通常被学者理解,我们在假设集中使用它们作为与每个选项相关的奖励的代理,以中立的方式避免响应偏差。
在我们调查的学者中,几乎一半 (44%) 表示,与在高地位的“精英”期刊 (4*) 上发表文章相比,他们更喜欢在领先的专业期刊上发表文章(4 分),这表明对于这些受访者来说,高-status 期刊相当谦虚。然而,对于剩下的 56% 的受访者来说,学术地位为王,有些人往往愿意放弃实质性的学术影响力来获得高地位期刊发表的好处。这说明了英国商业和管理学术界的两个“世界”的故事。在一个“世界”中,学者们对期刊的地位漠不关心,并乐于专注于在 4 级期刊上发展他们的工作。这些人可能认为他们的研究与在 4* 期刊上发表的研究相差太远,或者他们可能只是更喜欢在专业期刊上发表文章。在另一个“世界”,学者们寻求机会通过在高级期刊上发表文章来巩固自己的地位。
对这些“两个世界”的区别分析突出了三个关键驱动因素。我们发现,之前已经在“精英”刊物发表过文章的学者最愿意放弃“精英”期刊地位的学术影响力,以重申他们与这些高地位刊物的联系。这凸显了排名和职业抱负的自我强化循环。其次,我们发现,在 4* 期刊上发表研究的论文的引文方面,在 4 级期刊上发表论文的学者的付费意愿也很强,但他们可能渴望获得更高的学术奖励。第三,高级机构对“精英”期刊的偏好也很强烈。这也许不那么令人惊讶,因为这些机构可能期望他们的教师参与“精英”研究地位竞赛,
这些发现表明迫切需要在研究评估中使用更多样化的一揽子措施。在研究系统和科学绩效指标的设计方面,结合基于引用的指标和专家评审的“混合”系统可能更好地与学术界存在的偏好范围保持一致。事实上,除非文章级引用在学术界、机构和排名系统中被赋予更大的价值,否则许多学者很可能会继续——并非没有理由——优先考虑出版物的地位而不是工作的影响其中报道。