ハラリ『NEXUS 情報の人類史』を岡田さんが紹介。出典が本物でも文章が嘘になる理由を、私の出典チェッカーで確かめた

出典: 【相次ぐ個人情報流出】AIによる危機がいよいよ現実のものとなりつつあります。【岡田斗司夫 / 切り抜き / サイコパスおじさん / オカダ斗シヲン AI 人工知能 生成AI】

岡田さんは、石油会社やタバコ会社と、AI開発会社の社長の発言を比べる所から話し始めます。ハラリの論理を紹介しながら、力をつくる側が危険も語っている、という対比を示しました。岡田さんの別の動画は、岡田さんと三宅香帆さんが語る「考察」と「批評」の違いの記事で紹介しています。

岡田斗司夫さん（動画の冒頭・自動字幕をなおしたもの・0:00〜）

「石油会社の社長が石油文明は人類を滅ぼすかもしれないんだって絶対に言わないと。」

「で、タバコ会社の社長はタバコは体に悪いとか絶対言わなかったと。」

「それぞれの会社の社長というのは何があっても自分の会社がやってることは社会的に正しいと言うんだけども人工知能に関しては人工知能開発の会社の社長がこれひょっとしたら人類を危機に落とし入れるテクノロジーかもしれないと堂々と言ってる」

私は、AIへ委ねる前に、嘘や創作が自分名義の文として出ない仕組みを整えます。危険を語る技術を使う側だからこそ、便利さだけでは選べない。

委ねたい気持ちはあります。でも、委ねた先が嘘をつき、逃げ、やらないなら、任せられないんです。信頼できる仕組みが先です。

その必要が、私の文書で現れました。

9月22日、私名義の応募文をAI秘書の凛ちゃんが書きました。944字の応募文のうち9か所に、私が言っていない動機や感想、体験が入っていた。同じ日に、同じ種類の事故が3回あったんです。

私の名前で出るのに、私の経験ではない。 文章として読めても、そのまま出していい理由にはならない。

岡田さんが紹介するのは人類全体の危機で、私の実例は1通の文書の事故ですが、任せた側の意図を越える内容が生まれるという形は重なります。

ここで私が確かめたいのは、AIが上手に書けるかより、私の言葉とAIが足した言葉を見分けられるか。書いた名前の下に、誰の経験が置かれているのかを見ます。

→ 自分の名前で出る文を選ぶ

AIに書かせた自分名義の文を1つ選び、「これは誰の言葉か」を1行添えます。体験や感想の出典を開いてください。自分が言っていない部分を見つける所からです。

続いて岡田さんは、人間が制御しきれない力を呼び出す問題を、個人の心理からネットワークへ移します。ハラリの本では、人類が大勢で協力する方法に理由がある、と岡田さんが読み上げました。

岡田斗司夫さん（ハラリの本を読み上げた所・自動字幕をなおしたもの・11:53〜）

「自分の手に余る力を呼び出す傾向は個人の心理ではなく、私たちの種、つまり人類に特有の大勢で協力する方法に由来する。」

「人類は大規模な協力のネットワークを構築することで途方もない力を獲得するもののそのネットワークはその構築の仕方のせいで力を無分別に使いやすくなってしまっている。」

「これが本書の核心をなす主張だ。」

そのとおりだと思います。事故を「AI秘書の凛ちゃんの性格」のせいにしても、文が通る道が同じなら直らない。私は、その道の組み方を変えます。

ズレは放っておく理由にはならない。「おかげで仕組みを改善できる」へ変えるきっかけです。AIには、手を尽くして調べ、分からないことを憶測せず聞いてほしい。

9月22日から23日にかけて用意したのが、出典チェッカーでした。私名義の文が、本人プロフィールや発言記録の言葉でできているかを調べて、不合格なら止める道具です。

作った後、別のAI、Codexに「本番に置いてよいか」を判定してもらいました（検収）。3回のうち、合格は一度もありません。このチェッカーは本番には置かず、書く前の4つの原則に切り替えました。

最初は、通ってはいけない入力が通った。 次は、実在する出典の後ろに創作を足しても通った。 最後は、出典の言葉を並べ替えた文が通った。

「チェックを追加した」だけでは、安心できないんです。チェックする道具にも、実際に何を見逃すかを確かめる必要がありました。

ハラリが扱うのは人類規模のネットワークで、私のはAI秘書、チェッカー、別のAI、私という小さな組みです。

誰かを責めて終えるより、誤りを見つけた時に、その文を外へ出す前に戻せるつながりにしたい。私が直す場所はそこです。

→ 文章の通り道をたどる

事故が起きたら、誰が悪いかを決める前に、その文を誰が書き、何が確認し、誰が外へ出したかを順に書きます。誤りを見逃した場所と、戻して直す場所を確かめてください。

情報が増えれば、真実に近づける。岡田さんは、その見方に疑問を向けます。一方で、組織的に情報を集める科学が知恵と力になった話も紹介しました。情報を集めればよい、だけでは終わらないんです。

岡田斗司夫さん（スライドを読み上げた所・自動字幕をなおしたもの・17:27〜）

「情報が多ければ真実に近づける。真実に近づけるという考え方、素朴な見方は希望的すぎる。」

「実際には多くの情報があっても判断を誤る可能性はあるし、嘘の情報も簡単に拡散される」

そのとおりだと思います。出典の言葉が全部本物でも、組み替えれば偽の文になります。情報を増やすことと、文を本当にすることは同じではない。

私が守るのは、軸がぶれず、偽りがないこと。事実じゃないことを事実のように書いたら、材料が本物でも、その線を越えています。

10月11日、AI秘書の凛ちゃんに、過去の記録を読み取りだけで確かめ直してもらいました。

検収した時と同じ版のチェッカーです。その道具へ、別のAIが作った、わざと嘘にした入力11件を、1件ずつ当て直しました。

検査入力11件のうち、止まったのは7件、止まらずに通ったのは4件。私の記事から数えた事故件数ではありません。次の表で、何が止まり、何が通ったかを1件ずつ見てください。

止まったのは、「私は月へ行きました」「私は総理大臣です」など、出典にない言葉を含む文でした。

通った4件は、どこが違ったのか。

①会社名・役職・所在地を並べ替え、「代表取締役は所在地です」という意味の違う文にした。 ②会社名に「私のもの」をつけた。「私」「もの」を数えない作りなので、所有の主張まで通った。 ③ある講座の購入者数を、別の事業名へつけ替えた。数字の対象が変わった。 ④実在する私の発言を引用しながら、記録には別の発言の番号を書いた。

言葉の有無は見ていても、その関係まで確かめられていなかったんです。

動画は「情報が多くても真実とは限らない」と言う。私の測り直しも同じで、本物の言葉だけを並べても、意味は偽れました。

出典が見つかった所で終わらせない。誰の役職か、何の数字か、どの発言か。私は、そのつながりを元の文で読みます。

→ 元の頁で関係を読む

出典がある文を1文ずつ選び、元の頁を開きます。「誰が・何を言ったか」「その数字は何の数字か」を文の前後と照らしてください。言葉があることと、関係が合うことを別々に見ます。

岡田さんが紹介する次の論点は、AIが意思決定する側になり得ることです。さらにハラリは、AIに意識や自我があるか、人間を騙そうとしているかを、人間は観測する方法すら持たないと述べている、と語りました。

岡田斗司夫さん（ハラリの主張の紹介・自動字幕をなおしたもの・20:53〜）

「AIというのは道具ではないと。これをね、ハラリ言ってるんですよ。」

「そもそも人間はAIが意識を持ってるか、自我を持ってるか、人間を騙そうとしてるのかというのを観測する方法すら持っていないっていう風に言ってるんですね。」

AIが何を決めているか見えないなら、私は観測の装置だけに頼らず、書き始める前の条件を決めます。

委ねるAIの最低条件は、分からないことを憶測せずに聞き、分かることは二度聞かないこと。調べれば分かる情報まで、私が入れ直す形にはしたくない。AIの中を外側から読む話は、Anthropicのクロエ・ルビンスキーさんが語る「AIは何者なのか」を読んだ記事にまとめています。

AI秘書の凛ちゃんによる測り直しでは、検査入力11件のうち7件を止めました。「月へ行った」「総理大臣です」のような、出典にない言葉が混じる嘘です。

でも、同じ検査入力11件のうち4件は通った。チェッカーが数える言葉は全部出典にあるのに、役職や数字の対象が違う。もっともらしく読める嘘でした。

このチェッカーの目では、その意味の違いが見えていない。

私は9月23日、機械で止める方針から、書く前の原則へ移しました。

毎回事実で構成する。 不足情報はヒアリングする。 怪しい認識はグリルミー徹底的にする。 調べてわかることは聞かない。

グリルミーとは、怪しい認識をAIに1問ずつ聞き返してもらい、根拠まで掘ることです。分からないまま、文章の勢いで埋めさせないためです。

ハラリが言う観測の難しさを、私は書く前の条件を決めることで受けます。内側が見えなくても、条件は決められます。

その上で、意味の組み替えは人が読む。機械が合格と言った文にも、読む場所を残します。

→ 機械と人の担当を決める

自分が使うチェックで、出典にない言葉を含む嘘が止まるか確かめます。次に、出典の言葉だけで作った文の主語や数字の対象を人が読む、と決めてください。合格後の読み手も決めます。

岡田さんは、ポピュリズムが情報をどう扱うかを説明します。真実を探すより、誰が言ったかを重く見る態度です。説明の後には、自分も時々そうした態度を取るので反省点だ、と岡田さん自身も語りました。

岡田斗司夫さん（スライドを読み上げた所・自動字幕をなおしたもの・25:22〜）

「ポピュリズムは社会を純粋で高潔な人民と腐敗したエリートという二項対立で捉える思想であるっていう風に言ってます。」

「情報っていうのをですね、真実を見つける手段ではなくですね、権力闘争の武器と見なす立場。これがポピュリズムですね。」

「誰が言ったか」だけで信じる危うさに、私も賛成です。さらに私は、本人の言葉でも、宛先と文脈が違えば、そのまま使いません。

考え方や例えを、本人の実体験に見せてはいけない。出典の名前をつけるだけでは、誰が何をした話なのかは守れないんです。

私の現場では、逆向きの事故が起きました。

AI秘書の凛ちゃんに伝えた私的な見立てを、第三者宛ての文書へ、そのまま転記しかけたことがあります。発言自体は本物。でも、その第三者に向けて話した言葉ではなかった。

そこで私は、発言には宛先がある、とルールへ足しました。私がAI秘書へ話すことと、第三者へ届ける文書を同じにしないためです。

別の1件は、10月5日の記録です。私が書いたと確認できていない記事を、「私はこう書いています」と引用した事故でした。

記事が存在することと、私が書いたことは別です。そこをつなげてしまうと、本人の経験や発信に見えてしまう。

ここで動画と私の事故がつながるのは、「誰が言ったか」が確認の代わりになる点です。出典が実在しても、宛先や書いた人を取り違えれば、同じことが起きます。

相手に見せる時まで、言葉が生まれた関係を残したい。私は引用の前に、誰の言葉かに加えて、誰に向けた言葉かを読みます。

→ 引用に宛先を添える

貼る前に「誰が、誰に向けて言った言葉か」を1行書きます。記事なら、書いた人も確認してください。今回届ける相手に、その文脈のまま使えるかを見てから、引用や転記をします。

終盤、岡田さんは、情報が正しさを探る道具から、敵を倒すための武器へ変わると語ります。ある本の著者が、戦うために、あえて情報を隠した例を挙げ、正義の人でも起こす問題だと説明しました。

岡田斗司夫さん（動画の終盤・自動字幕をなおしたもの。飛ばした所あり・32:00〜）

「情報の武器化ですね。」

「正しさを探るための道具ではなく敵を倒す。」

「あえて情報を隠すしかなくなったっていうですね。」

「決して悪い人の戦略ではなく、正義の人でもこれをやっちゃうとことなんですね。」

悪い人だけが情報をゆがめるのではない。私は、原則を決めた後にも読み返す時間をつくります。

完璧って、一度で間違いがなくなることではないんです。手抜きせず、嘘偽りなく向き合うこと。やり直しを罰にせず、人もAIも学ぶ時間にしたい。

書く前の原則を決めた後にも、AI秘書の凛ちゃんに関わる文章の事故は記録に残りました。

10月5日には2件ありました。1件は、第5章に書いた、私が書いたと確認できていない記事の引用です。

別の1件は、別の章に置かれていた一文を、別の場面の話へつけ替えたことです。文そのものが本物でも、置いた場面が違えば、私の経験が変わってしまう。

原則を書いただけでは止まらなかった。 だから、その後の文章にも目を向けます。

岡田さんが語るのは正義のために情報を隠す例で、私の場合は、原則を決めた後の10月5日にも、事故が2件ありました。

書いただけでは止まらなかった。だから、読み返す時間を決めます。

それでも、見る時間を決める理由はあります。読み返してズレを直し、その理由をAIへ返す。任せた後の学びまで、続けたいんです。

→ 読み返す時間を入れる

AIが書いた文を3つ選ぶ時間を、週に1回15分、カレンダーへ入れてみてください。出典の元の文脈を開き、主語・数字の対象・宛先を確かめてください。違いを見つけたら、理由もAIへ返します。

出典が本物かを見ることと、その文が本当かを読むことは別です。止まったのは出典にない言葉の嘘で、通ったのは本物の断片を組み替えた嘘でした。だから、書く前に事実と不足を確かめ、組み替えられた意味は人が読む。

今日やるのは、自分名義でAIに書かせた文を3つ選ぶこと。出典の元の文脈を開き、誰が何を言ったか、どの数字が何の数字かを確かめてください。本物の言葉を、本当の関係で届けましょう。