黄金目标:提高水文研究的重现性
在2017年出版的6份颇受好评的水文学和水资源期刊中，能够完全复制研究结果的估计比例仅为0.06 - 6.8%。这种低水平的重现性在水文研究中并不少见——许多科学家欣然承认这一事实。然而，犹他州立大学的一组研究人员可能已经找到了一种使这些研究更具重现性的方法。
在2月26日发表于《自然科学数据》(Nature’s Scientific data)的论文《评估水文学和水资源中的数据可用性和研究重现性》(assessment data availability and research bility In hydrology and water resources)中，戴维·罗森伯格(David Rosenberg)与他人合作开发了一种在线调查工具，以评估已发表研究的重现性。该小组对2017年发表的6份水资源期刊上的360篇文章进行了审阅。在360篇文章中，他们只能完全复制4篇文章的结果。
“我们的调查工具将科学可重复性的概念分解为数据可用性、结果可重复性和结果可重复性的具体组成部分，”USU土木和环境工程副教授罗森伯格说。“然后，我们建议作者、期刊、资助者和机构如何利用调查工具来提高低复发率。”
作者说，可重复性可分为三个部分:
工作中使用的数据、模型、代码、使用方向和其他工件是否可用?
工件可以用来重现发布的结果吗?
这些发现可以用新的数据集复制吗?
团队的在线调查工具由15个问题组成，并提供了工件可用性和结果重现性所需的基本项目的清单。工件是一个涵盖所有数据、软件、模型、代码、方向和在研究中重现结果所需的其他材料的总称。
研究小组发现，在抽样的文章中，约有70%的文章声称有些材料是可用的，但只有约48%的材料可以在网上获得。只有大约6%的取样文章公开了工件，只有1%的取样文章公开了工件并可以完全复制。
作者们说，许多文章缺少产生结果的方向。他们说，如果作者提供指导，可测试可重复性的文章数量将翻倍。所有工件都可用的文章有六成的机会重现部分或全部结果。团队调查的两种期刊需要文章来说明如何访问工件，四种期刊鼓励声明。没有期刊要求作者提供所有工件。
调查工具可以帮助识别并鼓励作者达到一定的可重现性水平。例如，作者可以使用调查工具来自我评估结果的重现性。Rosenberg和他的团队还推荐了一种奖章系统来识别不同水平的可重复性:
铜牌:所有工件都可以在文章中或开放存储库中获得
银牌:所有的工件都是可用的，结果是完全可复制的
金牌:结果是完全可复制的，总体结果可以在不同的环境下用相同或不同的工件进行复制
Rosenberg建议将奖章图标贴在在线文章旁边，以表彰作者的可重复性工作，并使读者更容易找到最佳的可重复性实践。罗森博格和他的团队在审查的360篇文章中，分别获得了4枚银牌和6枚铜牌。为发现的可复制性颁发金牌仍然是未来工作的重要方向。
罗森博格说:“我们希望这项调查工具将有助于推动作者、期刊、资助者和机构使科学工作更具可重复性。”“我们欢迎讨论改进调查工具和提高我们科学的可重复性。
