1月19日公布的一個新的在線工具可通過分析已發(fā)表論文的引文數(shù)量，衡量該論文可再現(xiàn)性。

這個軟件出現(xiàn)得可謂正當其時，很多證據(jù)已經(jīng)給科學界和期刊行業(yè)敲響警鐘，它們表明許多已發(fā)表文章的研究結(jié)果是不可重復的，為此科學界正在努力尋找可靠的方法來評估它們是否可以再現(xiàn)。

新工具由美國康涅狄格州紐黑文市Verum分析公司開發(fā)，它生成了一個叫作r-因子的指標，該指標依據(jù)其他證明或駁斥其研究結(jié)果的研究數(shù)量，來說明一篇期刊文章的可再現(xiàn)性。但r-因子指標卻引來了學者的大量批評，他們認為這種相對簡單的方法可能不足以解決衡量可重復性的多方面問題。

對新工具的初步反饋表明，Verum公司并沒有完全消除這些擔憂。該公司開發(fā)者承認新工具仍然存在局限性；他們表示開放該工具的目的是接受相關(guān)反饋，以獲得關(guān)于其工作效果以及如何改進的建議。Verum公司自愿開發(fā)了該工具，其聯(lián)合創(chuàng)始人Josh Nicholson說，他們希望公開該工具的初步版本能吸引潛在的投資人助力改善它。

Verum去年8月在一篇預印文本中報告了該工具基于r-因子的方法，并在新工具中對其進行了改進。它僅依賴于受歡迎的生物醫(yī)學搜索引擎PubMed網(wǎng)站上可免費獲取的研究論文的數(shù)據(jù)。

在開發(fā)之初，Nicholson和同事手動分析了4.8萬個引用其他已發(fā)表文章的論文文本的片段。Verum和同事將每個片段分別歸類為“證實、反駁或是提及”其他的文章。然后，Verum利用這些分類來訓練一個算法自動識別樣本群之外的每類片段。

基于約1萬個摘錄的片段樣本，Verum公司的開發(fā)人員稱，新工具可以在93%的情況下對段落進行正確的分類。與證實或反駁性的引用片段相比，它能更準確地檢測到“提及”其他文章的引用，因為證實或反駁類的樣本更少。分析發(fā)現(xiàn)，絕大多數(shù)文章都提到了以前的研究，但卻沒有證實或反駁它們的主張；只有約8%的引用是證實性的，而反駁性的約有僅1%。