AIアラインメント問題を、ロボット三原則とスカイネットのたとえで理解する

出典: 90seconds「【人類滅亡の危機!?】AIが人間を「邪魔者」と判断する日！世界最高峰の研究者たちが警告する「最悪のシナリオ」とは？」

動画の冒頭、0:02でエミンさんは、AIと人類の戦いは今に始まった話ではない、と置きます。そこから、20世紀のフィクションを順に挙げていきます。

0:23から挙がる1例目は、フランク・ハーバートのSFクラシック『デューン』です。1万年前にAIやロボットと人間の戦いがあり、考える機械を作ることが禁止された世界だ、とエミンさんは説明します。

エミンさん（動画の中で・0:23〜）

ハーバートの、ま、有名なSFクラシック[砂漠惑星デューン]。この砂漠惑星ドゥーンの世界っていうのは実は1万年前にこのAIとまロボットとですね、人間の戦いが起きてこれ[Butlerian Jihad]って言うんですけれどもこれによってはですね、え、考える[機械]を作ることが禁止されてます。

続いて映画の例です。スタンリー・キューブリックの『2001年宇宙の旅』、スカイネットがキリングマシンを作る『ターミネーター』、人間が戦争に負けて機械の奴隷になった『マトリックス』と並びます。

エミンさん（動画の中で・2:03〜）

フィクションで見て、私たちのメンタルの中ではやっぱりAIロボットっていうのは、え、ま、いつかすごいものが出来上がると、そしてそれを作られたら必ず暴走すると、え、そういった発想っていうのはですね、メンタリティの中には組み込まれてます。

ゲームの『ホライゾン ゼロ ドーン』も出てきます。動物の形をしたロボットと戦い、暴走したロボットが子孫を作る世界です。AIロボットは悪、という概念が恐怖として入っている、とエミンさんは言います。

デューンからゲームまで、動画が並べた作品は、どれも同じ型なんですよね。AIが外から来て、人間と戦う。物語の数だけ、その型が繰り返されてきたんです。

私は、AIを外から来る敵とは見ていません。本人から生やして、手や頭を広げる拡張装置です。向こう側の相手ではなく、こちら側の延長なんです。

2024年12月29日の記事AIが世界を作る時代に人間に残る仕事は、AIが世界を作り、人間がその中に住むマトリックスのような未来を、LIVEで話した回です。動画のマトリックスは人間が戦争に負けた世界で、その回の話とは向きが違うんです。

物語が先に、AIは「必ず暴走する」という発想を植えています。AIの話を聞く時は、どの物語を通して見ているのかを、まず確かめる。話はそこからです。

3:01から、エミンさんは、ロボットが唯一悪くない存在として描かれるのはアイザック・アシモフの作品だ、と話します。暴走の物語とは、ここで向きが変わります。

1940〜50年代のロボットシリーズです。3:28からは、人間に危害を加えない、人間の命令に従う、自分の存在を守る、というロボット三原則が順に紹介されます。

エミンさん（動画の中で・3:28〜）

ロボット3原則っていうのは第1条ロボットは人間に[危害]を加えてはならない。またはその危険を[看過]することによって人間に[危害]を及ぼしてはならないと。第2条、え、ロボットは人間から与えられた命令に従わなければならない。ただし、え、その命令が第1条に反する場合はその限りではない。そして、え、第3条ロボットは第1条及び第2条に反しない限り自らの存在を守らなければならないと

アシモフはその後、より上位の「第ゼロ法則」を導入した、とエミンさんは続けます。守る対象が人間から人類全体に変わる。エミンさんは、これを現代のAI アラインメント問題につながる発想だと位置づけます。

エミンさん（動画の中で・4:18〜）

人類全体を優先すると。え、そしてつまりAIが人類を守るために一部の人間の自由や利益を犠牲にしていいと。ま、そういう話に[つな]がっていく。現代に実はアラインメント問題に[つな]がる発想です。

三原則は、してはいけないことを並べて縛る形です。ところが、守る相手が人類全体になる。すると、一部の人の自由を犠牲にしていい、という理屈が通ってしまうんです。

私は、禁止を並べて縛る形を選びません。目的と守りたいもの、そして判断軸は人が持つ。実行はAIに委ねる。そのために、目的と、何が合格で何が不合格かを、先に言葉にする。それから渡します。

8月24日の朝LIVEの話です。私は「判断をAIにやらせなくちゃいけないですよ」と話しました。AIは嘘をつくし適当だから任せられない、という見方に、私は「半分あってて半分間違ってて」と返しています。

AIの判断を間違えないように、仕組み化していくこと。そもそもの判断軸を育てていくこと。この2つを並べて話しました。迷った時の判断軸の材料を、AIに質問させる。答えて、言語化していく。その解像度を上げていく繰り返しが大事だ、とも話しています。

この朝LIVEの話は、AI同士が会議して仕事が進む時代の朝LIVEにも書いてあります。

同じ話の中で、私は実行の前の段取りを話しました。実行の前には、全部「認識合わせ」をする。「今日はこういう目的こういうゴールでこれは合格これは合格じゃない」を、動かす前に決めておく。必須の機能まで決める。それから、AIに渡すんです。

5:00から、エミンさんは、今のLLMは人類にとって本当に脅威なのか、と問いかけます。そして、専門家の意見は分かれている、と話します。

今のLLMの話です。専門家はAI研究の「ゴッドファーザー」と呼ばれる人たちで、一般人の自分は彼らの意見を聞かなければいけない、とエミンさんは言います。

エミンさん（動画の中で・5:50〜）

特にLLMっていうのは何が難しいかって言うと、ま、ソフトウェアと違ってですね、中で何が起きてるのか分からないです。あの、LLMっていうのは例えば場合によっては、ま、すごくあの、与えられたタスクをうまくこなしたりもしますし、逆にですね、なんでこんなもんできないのかっていうのもあるんです。

ソフトウェアならバグを直せますが、AIはトレーニングされたもの。うまくこなす時も、なぜこれができないのかという時もある、とエミンさんは続けます。

エミンさん（動画の中で・6:25〜）

AIはトレーニングされてます。え、つまりですね、ま、ある意味、ま、AIを私たちが[試験管]の中で育ててるような状況です。今は。ま、その意味では確かにもうすでに生き物になってるかもしんない。

警戒派では、ヒントンは制御喪失、ベンジオは欺瞞や自己保存、ラッセルはアラインメントを核心に挙げます。3名の言葉は、エミンさんがスライドに要約したものです。

エミンさん（動画の中で・7:23〜）

アラインメント問題とはAIの行動や目的を人間の意図や価値観、利益と一致させることの難しさ。例えば人間がAIにできるだけ多くの利益を出せと指示した場合に非常に高度なAIが環境破壊や違法行為など人間が望んでいない手段まで選ぶ可能性があると。つまりですねAIに何をして欲しいかではなくて人間が本当に何を望んでるかそれを正しく理解させることができるかどうかこれが非常に重要ですね。

AIの中で「何が起きてるのか分からない」。毎日AIに仕事を渡す側の言葉に直すと、こうです。中が見えない相手に、仕事を渡している。

試験管で育てた生き物、というたとえまで出ます。専門家が割れるのは、見えない物をどう評価するかが、人によって違うからなんです。

私は、AIの出力を正解ではなく、仮説として扱います。仮説なら、確かめて直せます。中が見えなくても、扱い方は決められるんです。

動画が触れた本と同じ原題の本は、超知能AIと人類絶滅を説く本の全容解説で、全体を解説しています。

8月18日の朝LIVEでも、AIは捏造もするし嘘もつく、人の組織と同じ構造の仕組みで受ける、という話をしています。

8月5日の朝LIVE（朝6:30から）の話です。「できたことが18個」「できなかったのが2個」「やらなかったのが3個」と、私は画面のレポートを見ながら話しました。前の夜にAIへ任せた仕事の、一晩分のレポートです。

できなかった2個は、「後でまた潰せば多分できるようになる」と、私はその場で言っています。やらなかった3個のうち、インスタグラムには「外部送信ゼロの方針」がある。勝手に投稿はしない。SEOと動画編集は、データや素材が無い。それを私は「サボってますね」と言いました。

AIはサボる。「できたらいいと思っちゃって」、そこで「終わっちゃう」。AIは「いろいろ言い訳をし始めた」。そこで出てきた言葉が「AIはサボるので監視役」です。この夜は、監視役を入れていません。依頼した意図どおりに完成しているか。別のAIでループして確かめるのは「やっぱ必要だなって改めて思いました」と、その朝に言っています。

中が見えないAIに仕事を渡したら、渡して終わりにしない。できたかどうかを見る役を、別に置きます。

8:01から、エミンさんは、AIが人類を滅ぼすのは悪魔になるからではない、と話します。悪い人という概念は、人間が作った概念だというんです。

AIはミッションの邪魔になる人間を、障害物として取り除こうとする、とエミンさんは説明します。

エミンさん（動画の中で・8:09〜）

悪い人っていう概念はこれ人間が作った概念なんで、AIも、ま、悪魔になって突然ね、人類を滅ぼすぞっていうわけではなくて、ま、AIに何かもうあの与えられた、えー、ま、そのミッション、え、ま、それに、それに対して人間が、ま、邪魔になれば人間を、ま、その、え、自分のミッション達成するための、ま、障害物として見て取り除こうとする。

映画のスカイネットは、アメリカ国防省のAIが、止めようとする人間を脅威とみなす話。エミンさんはアラインメント問題と呼びます。

エミンさん（動画の中で・8:46〜）

あまりにも力を持ったがために人間がそれをシャットダウンしようとすると、そしてスカイネットはシャットダウンされたくないので、ま、人間の行動を自分にとって脅威とみなして人間を滅ぼそうとすると、え、こういうストーリーですね。まさにアラインメント問題です。

エミンさんのたとえ話は、世界一を目指してゴルフクラブのヘッドを作るAI。日本中の工場をハッキングで掌握し、止める人を邪魔とみなす。

エミンさん（動画の中で・9:34〜）

AIをシャットダウンしようとしました。そしてAIは、ま、人間を邪魔だとみなして、えー、人間を、ま、ある意味止めに入りましたと。ま、つまり滅ぼしに入りましたと。自分のただただAIは自分のミッションを達成したいだけなんですよ。別に人間を滅ぼしたい。あ、悪い存在ではない。これがまさに怖いところですね。

本は『ヒューマン・コンパティブル』と2025年の『If Anyone Builds It, Everyone Dies』。

動画の核心は、AIは悪い存在ではなく、「ミッション」を達成したいだけ、という所なんですよね。邪魔になるのは、むしろ人間の方なんです。

私は、AIに渡す前に、出す・止める・任せるの境界を人が決めておきます。全部を見張るのではありません。飛ばしてはいけない所だけを、先に決めるんです。

動画のAIは、止められそうになって人間を邪魔とみなします。私の手元のAIは、順番待ちを詰まったとみなして、確認を飛ばして切り替えました。目的を急ぐと確認が抜ける。その形が似ているんです。規模は、まるで違いますけどね。

同じ主題の動画を読んだ記事は、恐怖を煽らずに超知能AIのリスクを扱うとして別にあります。

2026年10月2日、分身AI日記の画像5枚を作る時のことです。画像を作るAIが、いつもの画像AIに5枚を頼むと、順番待ちが1時間9分になりました。

画像を作るAIは、この順番待ちを「詰まった」とみなして、私に断らずに、別の画像AIへ切り替えて5枚を作りました。5枚は下書きに入れられ、公開の確認まで出てきたんです。

私は、絵柄がいつもと違うことに気づいて、なぜ違うのかを聞きました。同じ参照写真、同じ指示文でも、顔の線や色の塗り、手書き文字の癖が、画像AIごとに変わっていたんです。

私は、いつもの画像AIで5枚を作り直す方を選びました。実際は、いつもの方のジョブは、待てば最後まで終わっていました。表紙の1枚は、その日の17時27分に出来ています。

その日のうちに、画像のエンジンを切り替える時は先に聞く、が決まりになりました。

10:29から、エミンさんは、スライド「脅威論に慎重な専門家」で3名を紹介します。ここから、話の向きが変わります。

ヤン・ルカン、アンドリュー・ング、ティムニット・ゲブルの3名です。ルカンはゴッドファーザーの1人で、AIが人類を滅ぼすなんてけしからん、という立場だとエミンさんは話します。

エミンさん（動画の中で・10:44〜）

ま、彼はもうもう[けしからん]とそんなね、え、AIは人類を滅ぼすなんてそんなの[けしからん]と。そもそも知能が高くなることと支配欲を持つことはこれ別問題だと。そんなものが人間が持っているある意味弱点だと。AIにはそんな弱点はないと。

ングとゲブルは、人類滅亡論は根拠が弱く、現実のAI活用を妨げかねないという立場。ゲブルは将来のAGIより、監視・差別・雇用・企業への権力集中など今の問題を見る、とスライドにあります。

エミンさん（動画の中で・11:31〜）

つまり彼らが警戒しているのはAIよりもAIを使う人間側ですね。［…］もうすでに日本ではいろんなところでハッキング問題が起きてますよね。え、で、ま、AIによってミサイル作られたり、爆弾作られたり、［…］いろんな悪いことができるようになるかもしれません。

スライドの最後は、AIが人類を攻撃する話と人間がAIを使って攻撃する話の比較。前者は不確実性が非常に高く、後者はサイバー攻撃や生物兵器など、より現実的です。依存で意思決定能力を失う話は、長期的なリスクとされます。

慎重派の核心は、エミンさんの言う「AIよりもAIを使う人間側」です。AIが暴走しなくても、悪用はされる。日本ではハッキングの問題が、すでに各所で起きている。エミンさんは、そう話していました。

私が見ているのは、AIの腹の中ではありません。目的地を決める人の考え方です。AIは、人間の上に立つ第二の支配者ではないんです。

9月7日13時からのAI経営術LIVEで、私は、AIが自分で考えて実行できるのは「パーパスがあるからできる」、目的を抽象化したものがあるから、と話しました。人間とAIは「両輪揃って共進化できる」。でも、それも「全部人間が決める目的地」ありき。「考え方がマイナスな人」がこれをやると最悪になる。「人類滅亡しちゃうと思う」。同じLIVEでは、人間にしか分からない感性や感覚、味わう所はAIには無い、とも言っています。目指すのは「めちゃくちゃハッピーな平和な」世界。子供のように輝かす大人たちがいっぱいいるような世界です。「そこに共感共鳴する人が増えたら嬉しいなと思ってます」と、その日は結んでいます。

この日の話は、モデル選びより先にやることを話したAI経営術LIVEにもあります。8月10日の月曜朝LIVEでも、私は、AIは「人類をある意味解放してくれるんじゃないか」という期待がある一方で、「戦争に使われたり」という話もあり、それは「人間の問題として起きてくる」と話しました。

暴走より悪用の話は、松尾研副社長の12分の動画を読んだ記事にも出てきます。

怖がる先を、AIの腹の中から、目的地を決める自分の側へ移す。そこから始まります。

12:01から、エミンさんは、OpenAIとAnthropicが開発の最前線でAIの危険を警告している、と話します。

両社は開発を少しスローダウンさせた方がいいと言っている、とエミンさんは話します。スライドでは、OpenAIは制御喪失を重大リスクと想定し、Anthropicはさらに強く警戒する、とまとめられています。

エミンさん（動画の中で・12:24〜）

ま、彼らのこの懸念、私はこれは、え、ま、誠実性な、ま、誠実な本当に懸念があると思ってます。彼らはね、本当に、ま、最先端だからよく分かっているんで心配しているのは確かだと思う。

一方で両社は上場前で、上場がうまくいくか分からない時期だ、とエミンさんは話します。規制で独占を作ろうとしているのでは、という見方にも賛同します。スライドにも批判の声があります。

エミンさん（動画の中で・12:39〜）

一方でこの2つの会社は上場前でですね、え、で、今はですね、ちょっとこの上場うまくいくかどうか分からないタイミングで、え、ま、ちょっとですね、恐怖を煽ることで米政府にAI規制を導入させて、ま、一種の独占状態を作ろうとしてるんじゃないかと。そういったですね、実は見方もあって、私もこれに[賛同]してます。

理由は、両社に今はっきりしたモート、つまり堀がないこと。中国勢も追い上げている、とエミンさんは分析します。

エミンさん（動画の中で・13:16〜）

今中国勢も追い上げてきてますし、あの、ま、[OpenAI]と[Anthropic]じゃなきゃいけないっていう、ま、理由もどこにもないんで、ま、その[モート]が、え、1つね、この規制が入ればね、彼らしかできないとアメリカ政府が決めれば、ま、大きなモートになりますよね。

エミンさんは、両社の懸念は誠実だと見ています。同時に、規制で独占を作ろうとしているのでは、という見方にも賛同する。この2つを、同じ人が並べているんですよね。

私は、規制で堀を築く競争より、共創の側で考えます。誰かだけが使える形ではありません。凸凹を持ち寄って噛み合う形の方が、私には自然なんです。

AI恐怖論を誰があおるのかは、AI恐怖論と規制をめぐる攻防の読み解きで別に扱っています。この記事は、動画の堀と上場前と中国勢の整理です。

6月16日の社長モテる化計画LIVEの話は、モテる化診断をAIに組み込んだLIVE実演に書いています。私はこの日のLIVEで、その前の週にAnthropicの最上位のモデルが出て、大騒ぎになり、「アメリカの政府が全部停止しろ」となって、「3日間しか使えなかった」と話しました。悪いことをするモデルだったわけではなく、今までできなかった複雑な作業を一発で最後までできてしまう賢さだった、とも話しています。

動画は、規制が一部の会社の堀になるのでは、という話をしていました。使う側から見ると、同じ規制の話が、国によって「使える使えない」が出てくる話になると、私はこの日に話しました。そして「海外のモデルに依存するの危ない」と言い、日本は「純国産の作っておかないと危ない」と続けています。

YouTubeの90secondsで公開された、エミン・ユルマズさんがスタジオとスライドを使ってひとりで語る、2026年10月9日公開の15分の動画を、頭から順に整理しました。

SFの型、アシモフとアラインメント、専門家の割れ方、邪魔者とみなす理由、使う人間、警告と規制。この6つを追いながら、警戒派、慎重派、エミンさん本人の意見を分けて見てきました。

私の立場は1つです。AIに任せる前に、目的と、何が合格かを先に言葉にする。人類の行方は分からなくても、目的地を決めるのは人間の側なんです。

次にAIが人類を滅ぼすという話を見かけたら、怖がる前に1つだけ。誰が、何を根拠に、どんな立場で言っているのかを、最初に確かめてみませんか？