論文撤回

 前にも紹介した道徳的な神の誕生に関するNature論文が、このほど撤回されたそうだ。撤回理由となったのはデータ分析に関連する誤りだそうで、Treatment of missing data determined conclusions regarding moralizing godsにそのあたりが指摘されている。この論文のプレプリントらしきものはこちらで見ることができる。
 問題となっているのは、道徳的な神に関するデータが「存在しない」場合をどう扱うかという点だ。Table 1にはSeshatが取り上げているうち12の地域について、道徳的な神が存在(“1”)するか不在(“0”)であるかを表にしているのだが、見ての通り最も多いのは“NA”、つまりそうしたデータ自体が見つかっていない場合だ。証拠の不在は不在の証明にはならないので、このNAは0と同じではない。だがNatureに載っていた論文では、このNAを0として処理していたという。
 この処理の仕方は、NAデータの多さ(全体の61%を占める)もあって結果に大きな影響を及ぼす、というのがこの論文の主張。このNAを単に0、つまり「道徳的な神の不在」と見なすのではなく、社会の複雑さと道徳的な神の存在との関係に基づく推測をしたうえでデータ処理をすると、全く違った結論が出てくる。それを指摘しているのがFigure 1だ。パネルAには、Nature論文に示されていた社会の複雑性と道徳的な神の存在との関係(灰色の線)と、NAを0とせず新たな推計値を使って算出したもの(黒の実戦と青の帯)が載っている。見ての通り、後者のグラフなら社会が複雑化する初期段階から道徳的な神が登場していたように見える。
 パネルBは同じようにNature論文とこの論文の双方で、道徳的な神の登場が社会的な複雑さの進化のどの時期に起きていたかを示している。灰色の帯はNature論文で、こちらは社会的複雑さが急増した直後に道徳的な神が生まれていることがわかるのに対し、新たな推測ではむしろ先に道徳的な神が生まれ、その後から社会的複雑さが急激に増えているように見える。同じSeshatのデータを使っても、処理の仕方によっては全然異なる結果が生まれてくる、というわけだ。
 こうなる要因はExtended Data Figure 2を見れば一目瞭然だろう。道徳的な神の不在を示す証拠はSeshatの中に12個しかなく、実在を示す証拠は299個、そして証拠自体が存在しない例が490個ある。特に実在を示す証拠は複雑度の高い社会に集中しているのに対し、証拠自体の不在は複雑度の低い社会で圧倒的に多い。複雑でない社会には例えば文字などが存在しないため、証拠自体がないケースが多いのだろう。そして、このNAを0にすれば、複雑度の低い社会では道徳的な神はいないという圧倒的な傾向が生まれる。Figure S1には別の形で同じことが指摘されている。
 こうした「欠損データの扱い」に対する批判は、実はNature論文の発表直後からあった。こちらのblogでは、そのあたりの話を詳しく紹介しているので参考になるだろう。証拠の不在を不在の証明とすること(AEIEA)の問題点なども書かれており、中々に興味深い。実際、これを読む限り、Nature論文で行われているデータ処理はあまり適切でなかったという結論に違和感はないだろう。論文撤回も無理はない。
 ただし、元の論文を書いた研究者たちは、自分たちの結論まで撤回しているわけではない。改めてきちんとデータ処理をした結果、当初の主張通りの結論になったと考えているようで、それを示す論文も2つ出している。うち1つについては、以前こちらで紹介済み。もう1つはBig Gods did not drive the rise of big societies throughout world historyという論文で、こちらの論文では各地域ごとにどの時期に道徳的な神が不在であったかを細かく表にして記している(Table S1)。これはこれで細かく分析してみると面白そうなデータである。
 同じように、Nature論文を批判した論文にも、興味深い分析が載っている。Figure S2のパネルAには道徳的な神の登場時に同時に急激に社会的複雑さが増しているような傾向が記されている(Nature論文と同じ)。ただし、それにはいくつか特徴的な現象が影響していた可能性があるそうだ。1つは、他の道徳的な神を既に持っている政治体に征服されたケース(パネルB)。Seshatのデータだとデカーン、カチ平原、ソグディアナがこの事例にあたる。また征服されたのではなく、隣国からそうしたノウハウを仕入れて急激に複雑性を増した例もある(パネルC)。関西、ニジェール内陸デルタ、オルホン峡谷がそうだ。それぞれたった3種類ではあるが、Seshatのデータ数から見ればこれで全データの2割を占める。そしてこれらの影響を除くと、パネルDのように複雑さはなだらかにしか増えていないのだそうだ。

 この論文については過去に何度か紹介したことがあるし、Turchinもこれについて何度か言及している。彼は自身が旗を振ったデータバンク(Seshat)の詳細さと正確さには自信を持っていたようだが、そのデータの処理に際して論文がミスをしていたことまでは気づいていなかったのかもしれない。もっとも査読の末に掲載された論文なのだから、見落としていたのは彼だけではない。相当に見落としやすいミスだったのだと思われる。
 もう1つ、この問題で興味深いのは、Nature論文を書いた側も、それを批判した側も、科学のルールに従って粛々と取り組んでいる部分だろうか。上に紹介した日本語blogの筆者が一連のツイートをしているのだが、その中でも両者が「互いに敬意を払って前向きなのが印象的」としている。「みんな間違える可能性がある、でもそれは悪いことではない」、また「透明性のある研究と適切な議論は、分野全体を進展させる」という、健全な科学的議論の一例となっているのはいいことだ。
 そう、ここで重要なのは、Nature論文筆者たちがデータを誰でも使えるよう公表し、それを実際に使って批判者が問題点を見つけ出した、という点にある。すべてを透明にしていた筆者たちは、その点では称賛に値するという指摘もある。そもそもSeshatという、研究者向けに公開しているデータバンクを使ったものなのだから、データを入手できないという事態は起こりえないのだが、その点がいい方向に働いたという意味で、逆説的だがSeshatという取り組み自体の正しさを証明したとも言えそうだ。
 何より今回の対応で重視すべきなのは、「科学的議論は勝ち負けのためにするものではない」という点だろう。重要なのは事実にどれだけ近づけるかであり、その過程での間違いは最終的にさらなる進歩につながるのなら許容されるべき。今回も関係者がよってたかってデータをひっくり返したことに意味があるのであり、論文撤回はその派生的な結果でしかない。残念ながらエリート過剰生産Great Awokeningの時代には、学問的正確さより勝ち負けを重視する人間が目立ってしまうが、本来のあり方からはかけ離れた事態である。
 ちなみにNature論文の撤回という例を見ても、STAP細胞のような残念な事例もあるが、一方で「記載内容は正確だが、新たに発見された標本により、その系統的位置について疑問が投げかけられた」という理由での撤回もあるそうで、撤回イコール捏造という意味ではないことには注意が必要だろう。大間違いはないが細かい疑問点があれば撤回するという判断をする研究者も、世の中にはいるのだ。

 最後に、道徳的な神の誕生時期は結局のところ複雑な社会に先立っていたのか、それとも後だったのか。個人的には、どちらかわからなくなったという感想を抱いている。Nature論文のデータ処理がよろしくなかったことは確かだろう。だがそうした問題を修正した後でも、道徳的な神は複雑な社会の後に生まれたと筆者たちは主張している。同じように反論者たちは同じデータから真逆の結論を導き出している。
 この問題はこちらで紹介した歴史的な社会の複雑さに関する2つのクラスター論とも関係してくる。何よりこちらで触れている2つの閾値の議論は、道徳的な神(情報処理の一種)が規模の増加の後に来るという点で論旨が似ており、それだけに今回の議論にはいろいろと影響を受けそうだ。いずれにせよ新しい知見なり考えなりがここから生まれてくる可能性もありそうで、そこは実に喜ばしい。引き続き楽しい議論を継続してもらいたい。
スポンサーサイト



コメント

非公開コメント