論文注意点

 前回はCrisisDBに関するプレプリントを紹介したが、最後で触れた「NULL論文」については面白い指摘があったので、今度はそちらを紹介しよう。科学的発見が誇張→曲解→誤解→蔓延するメカニズムの図解と簡単で効果抜群の2つの対策というエントリーがそれで、読むと実にいい指摘が書かれている。ただいささか内容がマニアック過ぎて大多数の人にとっては「知らんがな」になってしまいそうではあるが。
 エントリーでは冒頭に何やら細かいフローチャートが載っている。最後に来るのが「一般人」となっているので、そこに至るまでの伝言ゲームで内容がいかに歪んでいくかを説明するものであることは想像が付くだろう。ただしこの異様に細かいフローチャートを見てすぐに理解できる人は、普段から科学ニュースなどに親しんでいる人に限られるのではないかと思う。一般人へ至るルートでいえばメディア報道や専門家を通るルートを恒常的に利用している人向けの内容であり、同じ意識高い系でもTED経由の情報しか仕入れていない人にとってはかなり厳しそうだし、ましてYouTuberやブロガー経由(あるいはそもそもフローチャートにないがSNS経由)の人にとってはかなりハードルが高い。
 なぜか。そうした人々にとってはフローチャートの1番上と2番目の段は見えない世界の出来事だし、そもそも関心も持っていない可能性が高いからだ。科学的発見がどのようなルートを通って一般人の手元に届くかを知らない人にとってはこのフローチャート自体が初見となるわけで、その内容を理解するのにまず相当な労力を払う必要があるだろう。もちろんエントリー内ではそのあたり微に入り細を穿つように説明してくれているのだが、ほとんど知らないことをこれだけの分量で語られると消化するには多大な労力を必要としそう。このエントリーに対するネットの反応を見ても、読み切れていないように思えるものがいくつかあり、やはり負担が大きいのだと思う。
 だとすると、どうせ時間をかけて理解する必要があるのなら、このエントリーの元ネタとも言えるScience Fictionをじっくり腰を据えて読む方がいい、という考えもあるだろう。逆にこのエントリーはそこまで時間が取れない人向けに「問題の把握」と「解決策」を短く説明しようとして書かれたものとも考えられるが、でもまあ(自分を棚に上げて言うのなら)ネットの記事としては長い。というわけで記事中でも推奨されているように途中をすっ飛ばしてまとめだけ読む人もいるだろうが、そういう人にとってはちょっと不親切ではないかと思う。透明性についての指摘はいいのだが、実験条件の部分は科学的発見のジャンルによっては通用しないのではないか、と思うからだ。
 その一例として、前回紹介したプレプリントを見てみよう。このプレプリント内にも当然ながらMethodの項目はあるのだが、そこには実験条件は書かれていない。なぜならこのプレプリントで取り上げているのは「実験」ではなく過去の出来事に関するデータ収集とその分析だからだ。そしてこうした「実験」のない論文は、学問分野によっては当たり前のように存在する。CrisisDBが取り上げている歴史もそうだし、人類学や考古学といったジャンルでも実験が行われない例は多数存在する。そうした論文に騙されないようにする方法として「実験条件を少し変えたらどうなるか」を吟味したくても実験条件が見つからない、という事態は当たり前のように生じ得る。
 実験方法の代わりにデータ収集に関する基準を見ればいい、という考えもあるかもしれない。基準を変えれば集まるデータが変わり、その分析結果も変わるかもしれない、からだ。ところがその部分についてのプレプリントの説明は非常に大ざっぱで曖昧。「まず歴史家や文献にあたり、長期にわたる期間と世界の各地から幅広く個別の危機を特定した」というようなことは書かれているが、では個別の歴史家や文献からどのような「危機」が選び出されたかの説明はない。それは当然で168種類もある危機について全て説明していたのではいくらページがあっても足りないだろう。そのあたりは公表しているデータを見てくれ、というのがこのプレプリントのスタンスだ。
 同様に人類学ならフィールドワークのやり方、考古学なら発掘手順などがこのMethodの欄に見られたりするのだが、いずれの場合もどうしても定性的な説明にならざるを得ない。実験方法を吟味することで論文の妥当性を調べるという方法は、確かに一部の学問分野では使える有効な方法なのだろうが、残念ながら私がよく読むジャンルでは非常に使いづらい。特にTurchinやそのグループが書く論文になるとMethodのところには論文中で使用しているモデルの計算式がずらずら並ぶパターンが増え、ただでさえ難しい文章を苦労しながら読んでいる者の根気を挫こうとしてくる。正直、こちらとしてはできれば飛ばし読みで済ませたい部分だ。
 というわけで私個人の経験から言わせてもらえるなら、こちらで紹介されている「インチキ論文の見分け方」の中には特定の学問分野についてのみ適用可能なものが含まれている、という結論になる。いやまあ効果量についての議論などをそもそも行う必要のない学問分野が「科学」と呼ぶには問題がありすぎるだけかもしれず、だからその手の分野の論文は全部眉に唾をつけた方が安全、ということかもしれないが、それでは結論としてはあまりに寂しい。ここはとりあえず「透明性は重要、実験条件については使える時だけ使う」というスタンスでエントリー内容を利用させてもらうのがいいんじゃなかろうか。

 以上、先に疑問点を述べておいたが、でもこのエントリーが面白く、また重要な問題を提起しているのは確かだ。冒頭のマインドセットの例から分かる効果の強弱に関する議論などは、より定量的な議論をすべきところでも定性的なやりとりに傾きがちなネットの議論を見るうえで注意すべき点をきちんと指摘している。続くメタアナリシスを歪ませる出版バイアス(それも含めたNULL論文の少なさ)の問題もまさに指摘の通りで、母数を増やしたんだから信頼性も上がるだろうという想定が時に通用しないという問題を読者に気付かせている(実際にはさらにメタアナリシスと称してチェリーピックをしているように見える研究もあったりするのだが)。
 p-hackingやHARKingについては以前も指摘したことがある。再現性の危機をもたらした主犯として取り上げられたことが多いが、これらも問題なのは間違いない。google scholarのような論文検索でもバイアスがかかるという部分も同様。もっと深刻なのは一流の学術誌でも信用できるとは限らない点で、エントリーではインチキ研究者の自己申告を「全て事実だという前提で、査読を行った」ことが問題だとしているが、実際には政治的偏向が理由で学術誌や学会がおかしな主張を支持する例もある。いずれにせよ注意が必要だ。
 論文のアブストに「スピン」と呼ばれる粉飾や誇張のようなものが含まれている点は、これまであまり意識したことがなかっただけに改めて気をつけねばと思った。同時にこの「アブスト詐欺」は前に紹介した科学の低迷に関する研究も注意深く読む必要があることを示している。あの研究では破壊的なイノベーションについて題名やアブストで使われている文言も利用して調べていた。もし「画期的」といった文言が途中から増えているのだとしたら、その部分を差し引いてデータ分析をやり直す必要があるのかもしれない。
 プレスリリースについての研究者の関与も面白い。実際にメディア経由で情報が出てくる時にはプレスリリースが入り口になっている可能性は高いだろうし、論文からは言えないようなことをプレスリリースで書いてしまっている可能性はある。一方でプレスリリースは素人にはわかりやすい面もあるので否定するつもりはないが、できればメディアの報道だけでなく論文本体まで目を通した方がいいのは確かだろう。後は論文引用について、YouTuberやブロガーとやっていることは変わらないという指摘はなかなか愉快だった。YouTuberの中にもソースを示す者と示さない者がいるのも事実で、ソースを示した者については間違っていてもあまり批判せず、ソースを隠す方を厳しく批判すべきだという意見には頷くしかない。
 あと事前登録やオープンサイエンスについてはアカデミアの世界における最新対策としてこれまた面白く読ませてもらったが、一般人として参考になるかと言われると微妙。こちらからは頑張ってくれという他にない。ただTurchinらのグループが積極的にプレプリントを活用し、今回のもののように一見するとNULL論文に見えるものでもきちんと公開してくれている点は前向きに評価すべきであることは分かった。彼らは以前、Nature論文の撤回を強いられた際にも「透明性のある研究」であったことが指摘されており、取り組みそのものは間違っていないと言えるんだろう。私自身、Turchinの言い分に常に同意しているわけではないが、彼を含むグループの透明性確保に向けた努力は大いに尊敬に値すると思う。
 最後に、エントリー内にある「YouTuber/ブロガーの主張を論文のデータと突き合わせて検証すると、彼等よりも科学者の方がはるかに信用できる」という指摘は重要だろう。以前にも書いたが、分からないことについて判断するうえでは専門家の方が頼りになるのは否定できない。
スポンサーサイト



コメント

非公開コメント