当你选择在公共科学图书馆发表论文时,你118bet金博宝金宝慱世界杯买球的研究就会产生影响。让所有人都可以无限制地访问您的工作,并通过预印本和已发表的同行评审等选项加速科学发现,使您的工作更加开放。

公共科学图书馆博客 公共科学图书馆官方博客

当研究人员评估研究时,影响和可信度很重要

维罗妮克·基尔默、伊恩·赫里纳斯基维茨和詹姆斯·哈尼。

今天我们发布了一个报告我们对研究人员如何评估研究的可信度和影响进行了定性研究。这项研究还没有经过同行评审,得到了英国皇家科学院的资助阿尔弗雷德·斯隆基金会并在美国细胞生物学学会.这些发现将为公共科学图书馆未来的活动提供信息,以支持改进的研究评估实践——特别是支持将重点转移到个人研究产出,而不是期刊级指标的努力。

当我们写了2020年10月,我们感兴趣的是研究人员在(1)进行自己的研究和(2)参加招聘或拨款评审委员会时如何评估研究成果。我们特别感兴趣的是研究人员如何对信誉而且影响他们在这些背景下遇到的研究成果——包括论文、预印本、研究数据。

我们采访了52名细胞生物学研究人员。我们的方法关注的是他们试图实现的目标(例如,“确定有影响的研究来阅读”),而不是他们目前正在使用的工具来执行这些任务。通过关注研究人员的目标什么),而不是如何他们正在实现这些目标,我们试图更好地理解我们可能如何影响这些实践。这项定性研究之后将进行调查工作,以更好地量化我们的发现。这将为改进研究评估提供更好的解决方案的机会。特别是,我们将了解哪些可信度和影响信号可能为研究人员提供比期刊影响因子或期刊声望更有用的方法,以评估个体研究和个体研究人员的质量和可信度。

我们的结果证实了我们最初的假设信誉研究成果的(或可信性)是研究人员在进行自己的研究时所关注的中心问题影响当研究人员是招聘或拨款审查委员会的成员时,这是一个强烈的关注焦点。但我们发现,研究人员也会评估与研究成果的可重复性、质量和新颖性相关的属性。

此外,我们发现,考虑到影响因素——包括期刊影响因子——在委员会指导和研究评估目标中普遍存在,研究人员表示他们对委员会可信度的评估比我们预期的更频繁麦基尔南等.(2019),奈尔斯等。(2020),Alperin et al。(2020)和杉本& Lariviere(2018))。

我们的采访证实,可信度和影响力的便利代理(通常是基于期刊的代理)被广泛使用,在研究发现和委员会活动中都很常见。

我们的研究还表明,当研究人员检查出版物以评估其可信度时,他们会尽量减少花在阅读和理解出版物上的时间。他们的策略包括有选择性地阅读摘要、图表和方法部分。有时他们说,他们也会寻找一些信号,例如数据是否可用并已被重用,预印本的同行评议版本是否已出版,以及是否可获得公开的同行评议报告。

帮助我们更好地理解研究人员的目标是什么,以及他们在发现和阅读研究时如何对可信度做出判断的见解,可能会提供机会,提供更可靠的信号,帮助他们完成这些任务,但这比新闻级别的指标更适合可信度判断。由参与研究评估委员会的研究人员评估可信度的重要性也表明,资助方和机构有机会更好地将他们的指导方针与委员会成员的实践和动机保持一致。

在我们的后续调查工作来验证这些初步发现之后,我们将返回报告,并希望这项研究将帮助其他人理解和发展更好的研究评估方法。

留下一个回复

您的电邮地址将不会公布。必填项已标记


在这里添加您的ORCID。(例如:0000 - 0002 - 7299 - 680 - x)

相关的帖子
回到顶部
Baidu
map