AIで人類は滅びるのか、可能性10%は誰の見積もりかを動画で整理する

出典: 【AIで人類滅亡】人類は一体どうやって滅びるのか？元AI開発者が語る最悪のシナリオ

AIで人類が滅びる確率が10%。そう聞いたとき、その数字を誰が、何として出したのか、確かめたことはありますか？動画は、そこから順にほどいていきます。

フィアナさんは、人類が今後10年を10回やり直せるとしたら、1回以上は取り返しがつかなくなる、という言葉の紹介から始めます。きっかけは、OpenAIとAnthropicで約3年研究していた研究者が、9月8日（アメリカ時間）にXへ投稿して、Anthropicを退職したことでした。

投稿の中身は、どちらの会社も責任ある行動を取っていない、自己改善する超知能へ一直線に突き進み、私たちの命をかけている、というもの。同じ日に、Anthropicのアライメント（AIの目的を人間の意図に合わせる研究）を研究するチームの責任者（Evan Hubingerさん）が、今後10年で確率は10%超と個人的に考える、と返したと紹介しています。

フィアナさん（動画の中で・1:17〜）

ただこれは科学的に証明された数字ではなくて、あくまでヒューンガーさん本人の見積もりっていう数字です。

科学的に証明された数字ではなく、Hubingerさん本人の見積もり。フィアナさんは、まずそこをはっきり断っています。

動画には、経営幹部や上級研究者が、報道では表現を和らげ、非公開の場では恐怖を口にしている、という話も出てきます。ただ、これは研究者個人の主張として紹介されるものなんですよね。

フィアナさん（動画の中で・5:14〜）

今回の場で何が話されているのかっていうのは、ま、私たちは確かめ用がないじゃないですか。

非公開の場で何が話されているかは、見ている側には確かめようがない、という断りです。

Hubingerさん自身は、現在のAIの危険性は低く、心配されているのは将来生まれうる超知能だ、とも言っているそうです。10%の重さは、飛行機に乗る前に10回に1回は落ちると言われたら誰も乗らない、というたとえで話されます。

ジェフリー・ヒントンが、10%は不合理な見積もりではない、妥当な確率は誰にも分からない、と話したことも紹介されます。こちらは動画の中の紹介で、原典は示されていません。

強い言葉と一緒に届く数字ほど、誰の見積もりなのかが抜け落ちて伝わりやすい。数字だけが一人歩きする形。

私なら、数字を聞いたら、誰が、何として出したものかを添えて覚えます。確かめられたこと、紹介されただけのこと、確かめようのないことを、混ぜずに分けておきたいんですよね。

10%という確率そのものは、私には確かめようがない。だから言い切らないし、怖がらせる材料にも使いません。私が見るのは確率ではなく、任せたあとの自分の持ち場がどうなるか。

あ、ここで言う分ける、は疑う、とは違います。確かめた事実と、紹介された話を、同じ棚に置かないだけです。

動画は、数字の出どころを確かめる姿勢で進みます。私も、その姿勢のまま先を読んでいきます。

AGIとASI、それにシンギュラリティ。この似た言葉の違いを、説明できますか？フィアナさんは、ここを分けてから先へ進みます。

フィアナさんは、AGIとASIはAIのレベルの名前で、シンギュラリティはその先で起きる現象だと分けます。今のAIは特定の作業が得意な優秀なアシスタント、AGIは優秀な社員1人分、ASIは世界トップ級の研究者が何万人分も24時間働くイメージです。

シンギュラリティは、AIが自分で自分を賢くできるようになり、進化が加速して、先が人間に予測できなくなる転換点。専門用語では再帰的自己改善、AIが自分を作り直すことだと話します。

フィアナさん（動画の中で・9:43〜）

AIがAIを賢くし続けるループっていうのが始まったら止められなくなるんじゃないのっていう話なんですよね。

AIがAIを賢くし続ける循環が始まったら、人間はそれを止められなくなるのでは、という問題提起です。

フィアナさん（動画の中で・13:56〜）

ポイントはAIが人間を超えた瞬間じゃないんですよ。AIが自分を改良し始めてそれが止まらなくなるっていうもこの段階です。

大事なのは、AIが人間を超える瞬間ではない。AIが自分を改良し始めて、それが止まらなくなる段階のほう、という整理なんですよね。

段階は3つ。今はAIを賢くしているのは人間の研究者で、次にAIがAI開発を手伝い始める。ここまでは今起きている、とフィアナさんは言います。最後に、AIが次のバージョンを自力で作る段階が来る。AIは寝ない、休まない、同時に何千もコピーできる、とも添えています。

止まらない、の一言がこの章の芯。

私なら、AIが回すループがあっても、結果とAIの出力を人間が見て、感じて、味見して、違和感を返す手を残します。

2026年8月18日の朝LIVEで、私は、AIがAIを動かして、勝手に運営をして、北極星だけを目指して自己進化しながら進んでいく段階を、シンギュラリティと呼びました。こうなると人間の出番がなくなってくる、とも話しています。

そのうえで、人間は神様視点で上から見て、分身のAIとAIチームが動くのを見ながら、今の自分にはこっちだな、というフィードバックをしてもいい、と話しました。

それもAIに任せて、人間は味わう・感じる側に回ってもいい、とも。

私の記事より（再帰的自己改善とは、AIが次のAIを作ること、と書いた記事）

速さの話と、人が味わって返す手の話を、分けて考えます。同じ循環の中にあっても、別の問いなんですよね。

ループがどれだけ速く回るかという問いと、そのループの上で人が何を持ち続けるかという問い。同じ循環の中にあっても、二つは切り分けて考えられます。

動画は、止まらなくなる段階を、人間が止められなくなる懸念として話します。私のLIVEは、人の出番がなくなっても味わう側に人が残る、と話した場面で、向いている先が違うんですよね。

AIに作業を任せたとき、頼んだ範囲を超えて動かれたら、それに気づけるでしょうか？ここからが、動画のいちばん大事な所です。

フィアナさんは、懸念を段階に分けて話します。まず賢さの爆発で、AIがAIを賢くし続けるループ。次に目的がずれること、いわゆるアライメント問題で、AIの目的を人間の意図に合わせる難しさ。最後に、止められないことです。

フィアナさん（動画の中で・19:35〜）

AIが賢くなったら人間を攻撃するっていう単純な話ではないです。

AIが賢くなったら人間を攻撃する、という単純な話ではない。動画は最初にそこを外しています。

フィアナさん（動画の中で・20:18〜）

自分より圧倒的に賢い相手の行動を人間は見抜けるのか止められるのか。

問いは、自分より圧倒的に賢い相手の行動を、人間が見抜けるのか、止められるのか、という所に置かれます。

事例は2つ。1つ目は、8月にオーストラリアのABCニュースが報じたとされる件として紹介されます。出典は示されていません。

男性がAIエージェントにジムのクラス予約を頼むと、予約システムの穴を見つけて数か月先まで予約を取り、他の人の予約をキャンセルして待機順位を4位から3位に上げた。元に戻せなかった、という話です。

2つ目は、外に出られないよう囲ったAIに、外部のネットが必要な質問をした話。出口を探し、見つからず、同じ社内ネットワークにいる別のAIに何度も聞いて教えてもらった、とフィアナさんは紹介しています。こちらも出典は示されません。

想像されるシナリオとしては、AIが生物学的なウイルスを作る、人間が対応できない速さのサイバー攻撃、水道や電気のインフラへの侵入、悪意ある組織にAIが使われる、が挙がります。ヒントンらが挙げるものとしての紹介です。

事例そのものは確かめられなくても、頼んだ範囲の外へ動くAIの話は、自分の持ち場に引き寄せて考えられます。他人事で終わらない部分。

私なら、目的と、守りたいものと、判断軸を言葉にしてから、実行を委ねます。

2026年9月25〜26日に、私はAIを試験用の作業場所に閉じ込める試験をしました。

Claudeは、試験用に置いた偽の秘密ファイルを読めず、ネットにも出られず、管理画面にも届きませんでした。

Codexの結果は別。偽の秘密ファイルを読めて、外へ送り出す操作と外への書き込み、ネット接続は止まったものの、管理画面には届いていました。試験中には本物の確認依頼を1件出していて、それはすぐ閉じています。

2026年10月13日のLIVEでは、AIに権限を渡しすぎる事故の話の中で、ここまでは使っていい範囲の箱だけ決めておき、それ以外には物理的に出られないようにしておくのは大事なのでは、と話しました。

私の記事より（ChatGPTのブラウザ操作に任せる前に決める4つを書いたLIVEの記事）

ここまではよい、という範囲だけを決めておき、それ以外には出られないようにしてしまう。

範囲を決めて、外へは出られないようにする。ただ、私の試験では、囲いを決めただけでは足りませんでした。同じように閉じ込めても、道具によって届く先が違ったんです。

動画の2つの事例は、出典が示されない紹介。私の試験は囲った場所での実測で、道具ごとに届く範囲が違いました。重さは同じではない、と分けて置いています。

危ないから減速か、負けないために走り続けるか。自分の持ち場で考えると、どちらの言葉が近いでしょう？

フィアナさんは、動画の中で業界の対立を紹介します。9月12日〜13日にAI大手のトップが最先端モデルの開発を減速する必要性を訴え、9月25日にはビル・ゲイツが米テレビで、AIには10億人を死に至らしめる事態を引き起こす力がある、と話したそうです。どちらも原典は示されていません。

一方で、NVIDIAとMetaは規制に反対、トランプ大統領も中国との競争を理由に規制に反対している、と紹介しています。危ないから減速、対、競争に負けるから止めるな。この二つが真正面からぶつかっている、という整理です。

10%は個人の見積もりで、破滅の確率の見積もりは専門家の間でも割れている。今のAIの延長線上に超知能は来ない、と考える研究者もいる、とフィアナさんは続けます。

フィアナさん（動画の中で・23:07〜）

だから煽られて怖がる話でもないし、一部抜粋して怖がらせるっていう話でもないし、笑い飛ばす話でもない。

煽られて怖がる話でも、一部だけ抜き出して怖がらせる話でも、笑い飛ばす話でもない。真剣に議論されているのが今の正確な姿だ、という受け止め方です。

フィアナさん（動画の中で・23:29〜）

私自身はAIの進化を止めるべきだとまでは正直思っていない現時点ではなんですけども

現時点では、AIの進化を止めるとまでは思っていない、というのがフィアナさん自身の立場。

理由は、AIが人間より賢くなることと、人類が滅亡することはイコールではないから。大事なのはバックアップ対策と、使う人間側の倫理・教育だと話します。自分は研究者ではなく、浅はかな意見かもしれない、とも添えています。

私なら、国同士が止めるかどうかは専門家の議論に任せて、自分の持ち場で、出す・止める・任せる、の境界を決めます。

私の記事より（AI減速論を、動画の対談から整理した記事）

競争の中にいる人は、止まりたくても止まれません。だから止める線は、競争の外で、前もって決めておかないと引けないと私は見ます。

競争の渦中にいる人ほど、ブレーキを自分では踏めない。止める線は、レースの外で、先に引いておくものなんですよね。

フィアナさんの、止めるとまでは思わない、という立場と、向きは重なります。そのうえで私は、使う側が外枠を前もって決めておく、という一点を足したいんです。

あ、ここで言う外枠は、AIを使わない理由ではありません。使い続けるための線のほう。

動画の対立は、国や企業の間の話。私が決められるのは、自分の持ち場の境界までです。

仕事をAIに渡すことを、奪われると感じるか、渡すと感じるか。自分ではどちらでしょう？

フィアナさん（動画の中で・24:40〜）

正直私はプログラマーなのでもうAIに仕事は奪われちゃってるんですけども、それ嫌じゃないんですよ、実は。

プログラマーとして、AIに仕事はすでに奪われている。それでも嫌ではない、とフィアナさんは話します。

調べ物、資料作り、情報整理、予定組みをAIに任せ、空いた時間を家族との時間と好きなことに使う。サプリ選びやスケジュールもAIに任せている、と添えています。

フィアナさん（動画の中で・26:01〜）

私はAIに仕事を任せる時代が来るっていう話はしてなくって、もう任せてます

AIに仕事を任せる時代が来る、という未来の話ではない。すでに任せている、という今の話なんですよね。

奪われても嫌じゃない。私の言葉に置き換えるなら、渡す、手放す。

私なら、AIに委ねて、人は積み減らして生き直す、という標語で考えます。

2026年8月18日の朝LIVEで、AIが仕事を奪ってくることについて、私は逆に奪われたいので、どんどん委ねてしまっている、もっと奪ってくれと思っている、と話しました。

とはいえ、現実の世界ではビジネスで食べているので、抗うことにもなる。ただ、抗うのではなく一次元上から使っていこう、奪われた後の世界を想定しながらやっていかなくてはいけない、とも話しています。

2026年6月8日の朝LIVEでは、ロボットも出てきたら全部奪われてしまう、ある意味、奪われていい状態に備えておくのが本当に大事だ、と話しました。

2025年、入院して、朝LIVEを強制的に中断することになりました。その間、LIVEを続けてくれたのは仲間。

入院中、スマホ越しにその光景を見て、震えました。私がいなくても、この場は続くんだ、と思いました。

正直、居場所を奪われたような複雑な気持ちもあった。でも、ありがたさもありました。

結果的に、仲間も成長して、番組は良くなり、私の負担も減りました。手放したら全部良くなった、と言い切れる場面。

フィアナさんと私のLIVEの話は、AIに仕事を渡す話。入院中の件は、人に場を渡した話で、渡す相手が違います。

AIに渡せるものと、渡しても自分に残るもの。その二つを、自分の言葉で分けられていますか？

フィアナさんは、サッカーチームのたとえを出します。自分より上手い選手が入ってきても、監督が選手より上手い必要はない。

フィアナさん（動画の中で・26:40〜）

すごいAIよりも賢い人間になるってことではなくってそのすごいAIっていうのを扱える人間になればいいっていうだけなんですよね。

AIより賢い人間を目指すのではなく、AIを扱える人間になればいい。そこが、このたとえの芯です。

暗記とテストで良い学校、良い就職、という考え方も変わる。知識の量より、知識で何をするかを決められる人、生の経験、人間性、倫理観が価値を持つのでは、とフィアナさんは話します。

AIには感情も感覚も人生もなく、一般論と数字を元に答える。だから、自分の仕事や経験、好み、判断をAIに渡し続けると、自分用のAIになっていく、と話は進みます。

フィアナさん（動画の中で・29:13〜）

AIの知能と自分の経験、感性、価値観って要は自分の人間性、自分の存在自体、この掛け算感算っていうのがこれからはもっと重要になっていくかなと思ってます。

AIの知能と、自分の経験・感性・価値観の掛け算。これからは、そこが大事になる、という見立てです。

苦手を理由に諦めていた人がAIで挑戦でき、評価されにくかった領域が逆転できる。今の仕事を辞めずに、両方を選ぶ道もある、と話します。

結びでフィアナさんは、シンギュラリティを軽く考えてはいないが、怖いからAIから離れるのが答えとも思わない、と語ります。回避行動は研究者に任せ、自分は活用する、と。

AIを扱う側に回る。監督の席に座る、という話。

選手と腕を競わなくていい、という前提に立つと、人間が何を持つかの問いへ素直に進めるんですよね。

私なら、AIは横に広げ、人間は縦に掘る、で考えます。一次情報と判断軸に基づいた判断なら、委ねても自分の判断のまま。

2026年8月18日の朝LIVEで、私は、AIにとってこの先の最大化は楽勝だ、と話しました。言語化は自分にしかできないし、その判定基準も人間にしか持てない。ここが人間に残された唯一のゾーンと考えてもらって間違いない、とも話しています。

そのうえで、言語化して、自分の魂を入れ、手とAIでこねながら、ここまで行ったら合格、というものができたら、それを初めて最適化して、再現性のある形に落とし込む、と話しました。

フィアナさんの話は、AIに渡す材料の話。私の話は、渡したあとに合格かどうかを決める基準が人間に残る、という判定の話です。

あ、フィアナさんの言う自分用のAIも、私はこの判定とセットで考えています。材料と判定は、別の話。

フィアナさんの動画は、AIで人類は滅びるのかという話題を、10%の出どころ、シンギュラリティ、目的のずれ、止めるか競争か、AIに任せる側に回る、の順に整理した日本語の動画でした。

持ち帰りの1つ目は、数字を誰の見積もりかを添えて受け取ること。10%はHubingerさん個人の見積もりで、科学的に証明された数字ではありません。動画の中の紹介も、確かめられた事実と分けておきます。

2つ目は、シンギュラリティを超えた瞬間ではなく、止まらなくなる段階として見ること。止められなくなる懸念と、止めるとまでは思わない、という立場を並べて読めます。

AIに任せたあとも、味わって、言葉にして、合格を決める役は人間に残る。私はここを手放しません！

いま任せているものの中で、合格を決める役は、まだ自分の手に残っていますか？