AIのウソ回答

　ChatGPTのウソ回答に騙されない方法というエントリーがなかなか面白かった。ガリア戦記に従軍していたローマ兵の持つ剣「グラディウス」について、ChatGPTと塩野七生とWikipediaとBeingAIとに聞いてみたら、揃って嘘をついてきたという話だ。正直、読んでいる最中には「何でよりによってそんな胡散臭いソースにばかり当たるんだ。ゼロはいくら積み重ねてもゼロだろう」と思ってしまったのだが、もちろん筆者はわざとやっている。最後にオチとして専門家の書籍の記述を持ってくるため、敢えて胡散臭いソースを並べてみせだのだろう。

　筆者が主張したいのは、数だけ揃えても証拠にはならない（事実は多数決で決まるわけではないと述べている）点だろう。以前、wikipediaで似たようなことをやっていた事例を紹介したし、時にはプロ（の筈）の研究者が証拠にならない空引用をやっていた事例もあるように、実はこうした話は珍しくない。だが純朴な人の中にはそうした落とし穴に気づいていない人もいるだろうから、わざわざ最近はやりのAIを使って説明したのではないか、と見ている。もっともらしい文章を生み出すからといって、それだけで判断しては拙いという話をAIを使って説明してみせている印象だ。

　つまるところ「累計発行部数1800万部の世界的ベストセラー作品」であろうが間違いは間違いだし、「Wikipediaで裏取りして、それは裏取りしたことになるんだろうか？」という問いかけの答えは無論「ならねーよ」である。そしてまた、ChatGPTか否かを問わず、AIを使って事実を確認する作業にも常にリスクが伴う。リスクを抑制するための質問方法を書いてはいるが、あくまで「多少、ウソを検出しやすくなる」というレベル。「AIではなくGoogle scolar素直に使うしかなかろう」という指摘こそ、一番真っ当な解決策なのだ。

　実際、AIに嘘をつかせることは私にだって可能だ。例えば前に紹介したPerplexity AIを使い、「マレンゴの戦いでドゼーが砲声を聞き戦場に向かったという話は本当か」という質問を英語で投げかけてみた。すると答えは「それは本当です」。その論拠として挙げられたのがこちらとこちら。残念ながら前者は有料のためドゼーについて何と書かれているかは分からなかったが、後者では遠方の砲声を聞いてドゼーが動きを止めサヴァリーを送り出したという話が載っている。

　この逸話が事実でないことはこちらで言及済み。ドゼーの部下が記した報告には彼らが反転命令を受けるまで戦場から遠ざかっていたと書かれていたにもかかわらず、後にサヴァリーが砲声を聞いて足を止めたという話をでっち上げ、さらにThiersがそこからドゼーは砲声に向けて自身の判断で進んだという追加の嘘を上乗せした。専門家やよほどの物好き以外は目を通さない史料と、有名な歴史家（Thiers）が書いた話とでは後者の方が圧倒的に伝染力が高く、そちらの方がネット上でも多く見かけるため、AIはそれに合わせて話を作り上げたわけだ。

　ただ面白いことに、Perplexity AIでガリア戦争におけるローマ兵の剣の長さを聞くと、最初に紹介したエントリーとは違う答えが返ってくる。曰く「初期のグラディウスは刃渡り64～69センチだったのに対し、後期は42～55センチだった。また紀元前216～20年までに使われたグラディウス・ヒスパニエンシスは60～68センチだった」。こちらや英語版wikipediaがソースとなっており、どうやらグラディウスについては単に日本語wikipediaの情報量が少なかっただけかもしれない。

　もちろんグラディウスについてきちんと知りたければ、指摘したようにGoogle scholarを使った方が確実。例えばそうやって探すと見つかるGladius hispaniensis: an archaeological view from Iberiaという文献には、共和制末期の剣の刃渡りは63.7～67.5センチなのに対し、帝政初期にはそれが44.7～52.5センチになったことが一覧表になって記されている（TABLE II）。考古学的証拠に基づく議論だから、ほぼ間違いはないだろう。

　こうした話は専門的なテーマについてネットで調べた経験がある人にとっては分かり切った話ではあるが、そこまで詳しくネットを使ったことがない人、あるいは最近のAIブームでAIにちょっと過剰な期待を抱いている人に対しては、こうやって水をかける必要があるんだろう。正直、ChatGPTがやっていることはネット上に広く存在する「いかがでしたか」構文を再生産しているにすぎないのではないかと思っている。今のAIもまたデジタル技術全体と同じく、本当の「発見」や「発明」にはならないだろう、というのが現状での私の考えだ。

　それでもAIに嘘をつかせない方法が知りたいのであれば、上のエントリーでの注意事項以外にも気を付けた方がいい点がある。AIから正確な情報を得たければ、ネット上に問い合わせ事項に関する詳しく正確な情報があることが大切。上にも述べた通り、グラディウスについての英語での質問がより効果的だったのは、英語圏にローマのマニアが作ったサイトや充実したwikipediaがあり、AIがそれらを使って情報を集めることができたからだ。

　一方、ネット上に間違った情報が広まっている場合、AIは嘘をつく。上にも述べたが、英語圏ではナポレオン関連の記述は事実よりも伝説の方が広まっているようで、例えば前に紹介したナポレオンのものではない発言についても「ナポレオンのものとされている」という間違った返答を寄こしてくる。

　そう、実はどんな言語で質問するかが、AI活用のうえでは意外に重要である。例えば長篠の戦いにおける三段撃ち（英語だとvolley fire）について、英語と日本語で質問してみよう。これが世界最古の例の１つかと聞いた場合、英語では「その通り」と景気よく返答してくれるのだが、日本語で質問すると最初に「実際には全くのウソであるとされています」と回答してくる。まあその後で「新戦法三段撃ちを行ったとされることは有名です」とも書いており、この短い文章内で完全に矛盾してしまっているのだが、英語とはおよそ違う返答であることは間違いない。

　もちろん日本に関連する事象でもネット上に間違った日本語情報が氾濫していれば、日本語で質問しても嘘が出てくるだろう。これはどの言語でも同じ。とはいえ相対的なリスクを減らしたいのであれば「餅は餅屋」のスタンスで質問するのがいいだろう。いやまあローマにかかわる話だからラテン語で、みたいなところまで踏み込む必要はさすがにないだろうが、というかラテン語対応をしているAIはおそらくないんじゃないかと思うが、いずれにせよ調べたい事項との関連度が高い言語を使用する方がマシだと思っておいた方がいい。

　とはいえ、こうした「ネット上に詳しく正確な情報がある件について質問する方が望ましい」という条件に従ってAIを使いこなせる人は、そもそもAIを必要としない人だろう。当該情報がネット上にどのくらい存在し、それがどの程度信頼できるかについて土地勘を持っているのなら、別にAIに問いたださなくても必要な情報を手に入れる術を持ち合わせているはず。AIに頼りたいと思うのは、そもそもどこから取り掛かればいいのか分からない状態で、なおかつできるだけ簡単に答えを知りたい時だ。だがそういう質問を投げると、AIが嘘をつく可能性は高まる。

　最初に紹介したエントリーでは、それを避けるためには専門家の書いた本で裏取りするしかないが、それは「コスト的に現実的ではない」と記している。まさにその通りだ。急な仕事でとある件についてそこそこの知識を手に入れなければならなくなった。でもその件について自分は詳しいわけではない。教科書を最初から順番に読めばいいのは確かだが、そんな時間も余裕もない。そういう立場に追い込まれた人が「これがウソの可能性も十分あるんだな」と思いながらAIを使うことになるわけで、まあ確かに憂鬱な結論ではある。

　それに対し、あまりコストをかけずに専門家へアプローチする手段としてAIが使える、と指摘しているのがこちらのエントリー。書かれていることはその通りだし、直接AIに聞くよりこうしたやり方の方が正しい答えにたどり着く可能性は高いと思うが、これがハードルの低い方法かというとそうは思えない。まず「博物館を探す」とか「学芸員に質問すれば確実な回答が得られる」といった調査手法をすぐ思いつける人が、果たしてどのくらいいるだろうか。こうした方法が学校できちんと教えられているのならともかく、現状ではそこまで容易に思いつける手法ではなさそうに見える。

　それに人手不足の現代において、これからはそうそう専門家に頼れない局面も増えそうな気がする。あるいは頼ることはできるが金がかかるような案件の場合、頼らずにAIで済ませようとする人もいるだろう。人手不足の穴埋めにAIを使う時代というのは、事故のリスクが高いのを承知のうえで手探りで前進するような時代なのかもしれない。