AI開発を止められない理由を茂木健一郎さんと囚人のジレンマで読み、出口に人間を置く場所を決める

出典: なぜ、人間はAIをコントロールできなくなったのか

茂木健一郎さんの動画は、8分5秒です。ひとりで話す固定カメラの1カットで、図もテロップもありません。話の筋は1本で、AIの開発を止められない理由を、人間同士の構造として説明します。

冒頭で茂木さんは、ずっと言われてきたAI開発への警告が、今まさに現実になりつつある、という認識から入ります。

茂木健一郎さん（動画の中で・0:01〜）

あの人工知能のですね、開発が人類を滅ぼすとか、人間の社会に極めて深刻な影響を与えるという議論がずっと行われてきたんですが、今まさにそれが起こりつつあるわけですね。

そこから話は、4つ進みます。情報セキュリティは、破られる前提の時代になったこと。AI開発は、やめればいいと思うのに、やめられないこと。その理由が、囚人のジレンマで説明できること。そして、核兵器の開発競争と同じ構造だということです。

核兵器には、最後に人間が踏みとどまる仕組みがあった。AI経由の侵害には、それが働かない、と茂木さんは見ています。結びは、覚悟を決めるしかない、という言葉です。

茂木さんの言葉には、言い切っている所と、「恐らく」「聞きましたよ」と、自分で距離を置いている所があります。ここは分けて読みます。

言い切りの例は、止められないのは人間同士の集団の現象であること、戦争がやめられない理由に近いこと、囚人のジレンマで説明できること、です。

見立ての例は、こうです。米国の企業が減速しても、他の国の企業は減速しないこと。AI経由の侵害には、人間の歯止めが働かないこと。解決はおそらく無理なこと。この数週間から数ヶ月が、大事な時期だということ。

私がこの記事でやることは、1つです。国や企業の競争は私には止められないので、私の手元で決められること、つまり、自分が任せるAIの出口に人間を置く場所を、この動画に重ねて考えます。

たとえば、2人が別々の部屋で、同時に「先に手を引くか」を決めるとします。相手の部屋の声は、聞こえません。動画が説明する囚人のジレンマは、この形にとても近いんです。

茂木さんの入り口は、誰もが思う疑問で、AI開発をやめればいい、スローダウンすればいい、人間には幻想だとしても自由意志があるのだから、というものです。

茂木健一郎さん（動画の中で・1:17〜）

じゃあ、AI開発やめればいいじゃないかと思うじゃないですか。あるいはスローダウンすればいいじゃないかと思うじゃないですか。

一人なら、やめられる。でも、集団になると事情が変わる、と茂木さんは続けます。

茂木健一郎さん（動画の中で・1:57〜）

一人だったらやめられるかもしれない。人間がね。自分を傷つけるようなことはやめようって思って。集団になると、相手がいて、相手とのやりとりって、ゲーム理論で解析されるわけです

囚人のジレンマの説明は、3点にまとめられます。2人の囚人は、連絡が取れません。互いに、相手が自白するのではないかと疑います。その結果、双方が自白して、協力して黙っていた時より、重い刑になります。

大事なのは、3点目です。双方が自白するのは、どちらかが特別に悪い人だからではなく、連絡が取れず相手を信じきれない配置の中で、自分だけが黙れば損をするからです。配置が、先にあるんです。

悪い人がいないのに、全員が損をする。囚人のジレンマの怖さは、そこにあります。黙っていれば2人とも軽く済んだのに、疑いが先に立つと、黙れなくなるんです。

私は、誰かを責める前に、「そうさせてる何か」を見に行く、と決めています。相手が加害者でも被害者でも、まず構造を見る。この見方で動画を聞くと、茂木さんの指摘が分かりやすくなります。

AIを作っている人たちが、特別に欲張りなわけではありません。止まれば負けると見える配置に、全員が立っている。つまり、止まらないのは人の性格の話ではなく、配置の話ってことなんです。

ただし、囚人のジレンマは、茂木さんが現実を説明するために使った型です。現実の競争が、この型にぴったり重なるかどうか。それは、私には判断できません。

誰が悪いかを探す前に、悪くなくても同じ動きになる配置のほうを、先に見ます。

茂木さんが置いた型の3点は、連絡できない、疑心暗鬼、双方が損をする、です。次の章では、この型をAI開発に当てはめた、茂木さんの説明を見ます。

ここからは、茂木さんの見立ての章です。動画は、AI開発の競争を、国と企業の話として説明します。私は、その競争を止められません。その事実を先に認めたうえで、順に読みます。

茂木さんの見立ては、減速した側が負ける、という構図です。

茂木健一郎さん（動画の中で・3:32〜）

自分がスローダウンしても、相手がスローダウンしない可能性があるわけじゃないですか。で、アメリカの企業、例えば、オープンAIとかアンソロピックがスローダウンしても、ね、たぶん中国の企業、あとイスラエル、ロシア、いろんなところの企業、開発主体がスローダウンしなければ、まあ、こっちが一方的にやられるだけですから。

さらに茂木さんは、これは核兵器の開発競争と同じ構造で、止まらない、と話します。AIの計算に使うチップの性能は上がり続け、同じ仕事が、だんだん安くできるようになる。だから、競争相手がやめなければ、市場を失うだけだ、と続けます。

茂木健一郎さん（動画の中で・4:36〜）

競争相手がやめなければ一方的に負けるだけだから、マーケットシェアを失うだけだから。だから、これはもう、単純に無理なんだよね。無理なのよ。AIの開発をやめるのは。

この章で、私が認めることは1つで、国や企業の競争は、私には止められません。茂木さんの見立てが当たっていても、外れていても、私の手元に、その競争を止める操作はないんです。

止められないものを、止められると書けば、嘘になります。だから私は、止めるとは書きません。

それでも、私が決められることはあります。10月8日の記事で、私はこう書きました。

ひろくん（10月8日の記事「ＡＩ時代、競う相手と組むのは、甘いのか」）

組めば必ずうまくいく、と証明されたわけではありません。

私は、「競争より共創」と言ってきました。ただ、共創すれば競争が止まる、とは書きません。組めば必ずうまくいく、と証明されたわけではないからです。

あの記事で私が決めたのは、譲れない線を先に決めることと、組む範囲を一件に区切ること、の2つです。

囚人のジレンマの2人は、連絡が取れず、相手の動きを疑うしかありませんが、私の手元の一件は違って、線と範囲を始める前に自分の言葉で書いておけます。書いておけば、何を渡さないかが、相手にも自分にも見えます。

ただし、これは私の一件の話であって、国や企業の競争が止まる、とは言いません。

止められない競争は、止められないまま認めます。そのうえで、自分が関わる一件の範囲と線を、先に言葉にします。

ここが、動画の結論の核です。AIを人間がコントロールできなくなったのは、AIが人間に逆らったからではない、と茂木さんは言います。人間同士の話だ、というんです。順に見ていきます。

茂木さんは、結論の核を、こう話します。

茂木健一郎さん（動画の中で・4:56〜）

なんでAIについて我々がコントロールできなくなったのかっていうと、これはあくまでも人間の話で、だから人間対AIじゃないんですよね。人間対AIで、AIがここにいて、AIを人間がコントロールできなくなったんじゃなくって、人間同士で、自分の意志ではやめられないような形で、競争がエスカレートしてるだけで、これはもう、核兵器の開発競争と全く同じトラジェクトリーをたどってるわけですよね。

次に茂木さんは、核兵器と比べます。核兵器の場合は、誤動作や誤った情報があっても、最後に人間が常識を働かせて踏みとどまった事件が、歴史上何回かあった、と言います。人間が輪の中にいる状態、Human in the Loopです。

それに対して、AIによる情報セキュリティの侵害は、と続けます。

茂木健一郎さん（動画の中で・5:53〜）

このAIによるセキュリティのブリーチってやつについてはですね、これもう、恐らく、そういう機構は働かないわけです。

茂木さんは「恐らく」と断っていて、見立てです。私が確かめたことではありません。

茂木さんの言うHuman in the Loopは、輪の中に人間がいる、という意味です。誤動作や誤情報を、最後に人間が疑える場所がある。核兵器の話で、茂木さんが言いたいのは、そこです。

茂木さんは、AI経由の侵害に、その場所がないと見ています。私は、それを確かめられていません。確かめられるのは、自分の足元だけです。

私は、AIに任せ切るのは危ないと考えています。今年4月の登壇でも、現場の一次情報と、最後に外へ出す所は人間があって、その間は全部AIがやってもいいのかなと思います、と話していました。言い切りではなく、「いいのかなと思います」と、迷いを残した言い方でした。

同じ登壇で、人間不在の自動投稿を実際に試したら、BANや監視が入った、とも話していました。

AIは速く大量に仕事を進めるので、出口に止まる場所がなければ、間違いまで速く大量に、私の手の届かない外へ出てしまいます。だから私は、出口の人間を外しません。

茂木さんの言う「最後に人間がいる」と、私の言う「出口に人間がいる」は、近い発想です。ただ、規模が違います。核兵器は、国の話です。私の話は、自分が任せるAIの仕事の話です。同じ棚には並べません。

私ならこうする。AIに任せる仕事ごとに、外へ出る前に、人間が見る場所を残す。

動画は、情報セキュリティは「破られる前提」の時代になった、と言います。この前提は、国や企業だけの話ではありません。私の足元にも、あるんです。まず、私の記録を見てもらいます。

茂木さんは、核兵器よりも、情報セキュリティの侵害のほうが、今すぐ起こると話します。

茂木健一郎さん（動画の中で・6:28〜）

これはですね、核兵器よりも、今すぐ。情報セキュリティのブリーチってのが起こるわけで、これだからもう、来ちゃいましたね。そういう状況が。

その足元の話をします。9月下旬に、AI秘書の凛ちゃんたちが、私のAI作業の環境を調べてくれました。

直近7日間のAIの作業は、1,098件。そのうち1,093件、99.5%が、ほぼ全部の操作を許す設定で動いていました。数字の出どころは、私のAI作業の記録です。

見張りのルールは、約300本ありました。ただ、AIごとの割り当てや、フォルダごとの単位で見ると、効いていない所がありました。

閉じ込めの試験もしました。2つのAI（ClaudeとCodex）とも、外への送信と書き込みとネットへの接続は止まりました。ただ、Claudeは試験用の偽の秘密を読めず、私の作業画面にも届きませんでした。Codexは偽の秘密を読めてしまい、私の作業画面にも届いて、試験中に本物の確認を1件出しました。AIが別のAIに仕事を頼む操作と、私に確認を出す操作は、縛れませんでした。

私が言った言葉は、「違反できる仕組みがおかしい」です。

この話は、動画の侵害と同じ種類の事件ではありません。攻撃を受けた話でもありません。破られる前提で見直す所が、私の足元にもあった、という話です。

→ 出口の3行メモ（15分）

任せているAIの仕事を1つ選び、紙に3行を書きます。1行目は、その仕事が外へ出すもの。送信、公開、支払い、削除のどれか。2行目は、外へ出る直前に、誰が何を見るか。3行目は、誰も見ていない時に、止まるか。

紙に書くのは、書き出すと全体を俯瞰できるからです。

3行が埋まれば、完了です！3行目が「止まらない」なら、その仕事の出口は、今日は人間の手で出します。

「AIへ渡すのは目的・ゴールだけでは足りない」と、私は考えています。背景と意図まで渡します。その意図の中に、外へ出す前は人間が見る、という線も入れます。

AIに渡す意図の中に、出口は人間が見る、という線を入れます。

鍵と権限を絞る話は、前の記事で書きました。GitHubの設定はGitHubをAIに触らせる前に絞る3つの設定の記事、サイバー攻撃の基本対策はサイバー攻撃が増えた理由と5つの基本対策の記事にまとめています。ここでは繰り返しません。

同じ日に、別の動画でも、AIは人間に早すぎたのか、という問いを読みました。金剛洙さんの12分の動画は、金剛洙さんは「AIは人間に早すぎた」と言ったのかを読んだ記事に書きました。

動画の結びは、重い言葉です。解決はおそらく無理で、覚悟を決めるしかない。動画は、ここで解決策を示しません。この言葉は、諦めなのか。最後の章で、そこをじっくり考えます。

結びは、この流れで始まります。

茂木健一郎さん（動画の中で・6:40〜）

だから、AIを人間がコントロールできなくなっちゃった理由というのは、これは人間同士の問題で、ゲーム理論的に意外と簡単に解析できる話で、恐らくこれ無理だと思うんですね。だから、本当に覚悟を決めるしかないのかなと思います。

続けて茂木さんは、情報セキュリティを担当する人たちに、ねぎらいの言葉をかけます。

茂木健一郎さん（動画の中で・6:58〜）

特に情報セキュリティの担当の方々は、お疲れ様です。ご苦労を本当に思うと、リラックスできないでしょうが、少しでもね、人間らしく生きていきましょう。お互いね。

最後に茂木さんは、ここから何が起こるかは本当に分からない、と話します。この数週間から数ヶ月が、非常に大事な時期だとも話します。そして、人間がAIをコントロールできなくなった真実を胸に秘めつつ、人間としてまっとうに生きていく道を探りたい、と結びます。

茂木さんは、解決は無理だと言ったあとで、人間らしく生きる道を探る、と続けているので、私は、この結びを、諦めの言葉だとは見ません。

ただ、「覚悟を決める」が、自分の手元でできることまで手放す意味になるなら、私は違うと思います。

ゲーム理論は、整った理屈です。国や企業の競争について「止められない」と言う時、その理屈は強い。でも、強い理屈が出した結論を、そのまま自分の生き方にしなくていいんです。

私は、外から借りた正しさや整った理屈より先に、「自分の体が違和感ない」かを確かめます。理屈が「無理」と結論した時こそ、その順番を守ります。

体の違和感は、理屈の外にある確かめ役です。理屈が整うほど、見落とされやすい。だから、最後に確かめます。

確かめたうえで、何を手放して、何を手元に置くかを決めます。国や企業の競争は、手放します。AIに任せる仕事の出口に、人間を置く場所は、手元に置きます。

茂木さんは、結びで、人間らしく生きる、と言いました。理屈の外に、残したいものがある。私は、その点に同意します。

理屈が「無理」と言ったら、手放すものと手元に置くものを分けて、手元のものから決めます。

茂木健一郎さんの8分5秒は、AI開発を止められない理由を、人間同士の競争として説明していました。茂木さんの結びは、解決はおそらく無理で、覚悟を決めるしかない、です。

国や企業の競争は、私には止められません。私が決められるのは、自分が任せるAIの出口です。

私ならこうする。任せるAIの出口に、人間を置く場所を、先に決める。

今日の15分は、1つだけです。任せているAIの仕事を1つ選び、紙に3行を書きます。外へ出すもの。直前に誰が何を見るか。誰も見ていない時に止まるか。

3行目が「止まらない」なら、その仕事の出口は、今日は人間の手で出します。