由密歇根州立大学天文学家领导的一组科学家发现,一种新的评估拟议中的科研项目的方法与传统的同行评审方法一样有效,即使不是更多。
通常,当研究人员提交提案时,资助机构会要求该领域的许多研究人员评估并提出资助建议。有时可能会有点笨重和缓慢的系统-并不是一门精确的科学。
密西根州立大学物理与天文学系,计算数学,科学与工程系的助理教授沃尔夫冈·科曾多夫(Wolfgang Kerzendorf)说:“与所有人类努力一样,它也有缺陷。”
在出版物《自然天文学》中进行了详细介绍,Kerzendorf及其同事测试了一种新的系统,该系统可在提议者之间分配审查项目提议的工作量,这种方法称为“分布式同行审查”方法。
但是,该团队通过使用其他两个新颖的功能对其进行了增强:使用机器学习使评论者与提案匹配,并在评论中包含反馈机制。
本质上,此过程包含旨在改善同行评审过程的三个不同功能。
首先,当科学家提交评估建议时,首先要求他(她)审阅其竞争对手的几篇论文,这是一种减少要求他人审阅的论文数量的方法。
Kerzendorf说:“如果您减少每个人必须进行的评论的数量,他们可能会花更多的时间来处理每个建议。”
其次,通过使用计算机(机器学习),供资机构可以使审稿人与他们是专家的领域的建议相匹配。此过程可以消除人为因素的偏见,从而使审核更为准确。
Kerzendorf说:“我们实质上是看潜在读者写的论文,然后向这些人提供他们可能擅长判断的建议。”“计算机代替了审阅者自我报告他们的专业知识,而是完成了工作。”
第三,团队引入了反馈系统,提交提案的人可以判断收到的反馈是否有帮助。最终,这可能有助于社区奖励一直以来提出建设性批评的科学家。
Kerzendorf说:“这一过程并不重要。”“良好的,建设性的审核会带来一些好处,这是对您审核其他提案所做工作的一种奖励。”
为了进行实验,Kerzendorf和他的团队考虑了172个提交的建议,每个建议都要求在德国南部的16国陆基天文台欧洲南方天文台使用望远镜。
以传统方式和使用分布式同行评审的方式对提案进行了评审。结果?从统计的角度看,这似乎是无法区分的
但是,Kerzendorf说,这是一个新颖的实验,测试了一种评估同行评审研究的新方法,这可能会在科学界带来改变。
他说:“虽然我们非常认真地考虑科学,但有时我们并没有花时间认真地思考改进科学资源分配的过程。”“这是一种尝试。”