信頼性の低い論文ほど他の論文に引用される頻度が高い、カリフォルニア大学研究報告

2021.06.08

信頼性が低い可能性のある論文ほど引用されやすい

結果を検証できず、信頼性の高いデータではない可能性のある研究論文ほど、他の論文に引用される頻度が高いという報告が、「Science Advances」に5月21日掲載された。

米カリフォルニア大学サンディエゴ校（UCSD）のMarta Serra-Garcia氏とUri Gneezy氏が、心理学や経済学、自然科学のトップジャーナルの論文を解析した結果、明らかになった。

Serra-Garcia氏は、「われわれの調査結果が、興味深く魅力的な論文を読んだ人に対して、信頼性の確認を怠らないよう、注意喚起することを期待している」と同大学発のリリースに記している。

両氏の研究は、一定期間に発表された論文を網羅的に調査し、実験的手法で検討されていた研究について、その論文発表後に複製可能性（同じ手法を別の検討対象に対して実験した場合に同様の結果が得られること）が確認されているか否かを調査するというもの。

その結果、心理学領域では100件の研究で39％のみ、複製可能性が確認されていた。経済学領域では18件の研究の61％、自然科学領域（調査ジャーナルは「Nature」と「Science」）では21件の研究の62％が、複製可能性が確認されていた。

この調査に引き続き、Google Scholarを用いて、複製可能性が確認されている論文と確認されていない論文の引用回数をカウントした。

すると、複製可能性が確認されていない論文の方が確認されている論文よりも153倍の頻度で引用されていることが分かった。

領域別に見ると、被引用頻度に最大の差があったのは「Nature」と「Science」に掲載された自然科学領域の論文であり、約300倍もの差が存在した。

また、複製可能性が検証され、それが証明されなかった論文は、かなり時間が経過した後に、当初の研究結果が真実であるかのように引用される傾向も見られた。

さらに、複製可能性が証明不能であることが明らかになった後にその論文を引用したもののうち、引用元データの複製可能性が否定されたものであることを明記している論文は12％にとどまっていた。

これらの結果を踏まえGneezy氏は、「各領域の専門家は、どのような論文であれば複製可能性を検証しやすいかを理解している。では、なぜ複製可能性の検証が困難な論文が、ジャーナルにアクセプトされるのかとの疑問が湧く」と述べている。

この疑問に対して同氏が考える理由は、「研究内容が興味深いものである場合、ジャーナルはアクセプト基準を低めにするのではないか」というものだ。

「興味深く魅力的な研究結果は、メディアで取り上げられたり、Twitterなどのソーシャルメディアで拡散されて多くの注目を集める。しかしそれは真実ではないかもしれない」と同氏は語っている。

Serra-Garcia氏とGneezy氏は、研究結果の検証が不十分な情報が拡散されることの弊害を表す事例として、1998年に「The Lancet」に発表された、麻疹・ムンプス・風疹混合ワクチン接種と自閉症との関連を示唆した研究論文を挙げている。

この研究は後に誤りが判明し、12年後にジャーナル側が掲載を撤回した。しかし、いまだに自閉症がワクチンに関連するものだとの自説を主張する人たちが、この論文を引用している。

「研究者は、興味深い研究結果や被引用回数の多い論文を引用しようとするとき、常に複製可能性が検証されているか否かを確認してほしい」とGneezy氏は述べている。（HealthDay News 2021年5月24日）

構成／DIME編集部

＠DIME公式通販人気ランキング