超知能AIは人類を必ず滅ぼすのか──恐怖を煽らずリスクを扱う

「誰かが超知能を作れば人類全員が死ぬ」——予測ではなく事実だと言い切る本

今回紹介する動画は、2026年4月24日にテレ東BIZ ダイジェストで公開されたものです。豊島晋作さんと橋本幸治さんが、話題の書籍『超知能AIを作れば人類は絶滅する』を読み解いていきます。

豊島晋作さん

「この本の趣旨というのは、誰かが超知能を作れば人類全員が死ぬという、極めてシンプルなテーマになっています。」

01:15〜 動画で確認する

正直、このタイトルだけ見た時は身構えました。でも豊島さんが「予測ではなく事実だと著者は主張している」と言った瞬間、私の中でスイッチが切り替わったんです。これは煽りのキャッチコピーじゃなくて、著者2人が本気で「事実です」と言い切っている本だと。氷が溶けたら水になるのと同じくらい確実だ、という比喩も動画の中で出てきます。私は経営でもAI導入でも「たぶん大丈夫だろう」で進めることが多いタイプなんだけど、この動画を見て、大丈夫だろうの根拠を数字と手順で言えるかを、まず自分に問い直しました。GPTs研究会でAIエージェントを組む時も、動かす前に「止める条件」を先に決めておく——これは今回の本の警告と、地続きの話だ。

この動画を見て、私はAI導入の提案書を作る時のクセも見直しました。「たぶん動きます」で終わる提案書と、「ここで失敗したらこう戻します」まで書いてある提案書。この差は、想像以上に大きいです。この差は、想像以上に大きいです。読む人の安心感は、まったく違うんですよね。超知能の話は規模が大きすぎてピンとこないかもしれませんが、身近な業務システムでも同じ構造だと思います。予測と事実を混ぜて話すクセ……まず自分の仕事から直していきたいと感じました。この本のタイトルが強烈だからこそ、扱い方を間違えると、読者を怖がらせるだけの記事になってしまう。だから私は、この記事の中でも「動画がこう言っていた」と「私はこう考える」を、できる限りはっきり分けて書くようにしています。

今日の仕込み：次にAIへ大きめの作業を任せる前に、止める条件を先に1行書いてから渡してみてください。

「高校も大学も卒業していない」——天才研究者の経歴が持つ説得力

この本の中心著者、エリザ・ユドコフスキーさんはどんな人なのか。気になったので調べてみました。橋本さんが番組内で経歴を紹介してくれた場面が印象的だったので、ここで拾っておきます。

橋本幸治さん

「彼はですね、名門大学の博士号は愚かですね、高校とか大学も卒業していないですけれども、サイエンス業界で広く知られていわゆる天才系の人になりますね。」

05:11〜 動画で確認する

学歴がないのに天才と呼ばれる人の話を聞くと、私はどうしても自分と重ねてしまいます。中卒でがんも経験して、正規のキャリアなんて一つも持っていない私が、今はAI活用のコンサルをやっています。学歴じゃなくて実績で見てもらうしかない、という感覚はよく分かるんですよね。ユドコフスキーさんはAIがタンパク質の構造を予測すると早くから言い当てていて、それが後にGoogleのアルファフォールドという形で実現したと動画では紹介されていました。予測が当たったから偉い、じゃなくて、外れる勇気を持って先に言い切った人の話を、私たちはちゃんと聞く価値があると思います。学歴で判断せず、その人が何を的中させてきたかで話を聞く。この姿勢は、AI業界に限らずどこでも使えるものだと感じました。

橋本さんの解説を聞きながら、私は自分のプロフィールをどう書くかも考え直しました。学歴や資格を並べるより、「これまで何を言い当ててきたか」「何を外してきたか」を正直に書いた方が、信頼してもらえる時代になってきていると思う。AI氣道でも、成功事例だけじゃなくて失敗した検証もそのまま公開しているのは、この考え方が理由です。

今日の仕込み：肩書きより「何を的中させてきたか」で情報源を1つ選び直してみてください。

「それが非常に恐ろしくて」——コーディングAIを使う現場の実感

本の話だけなら遠い未来の議論に聞こえるかもしれません。でも橋本さんは、実際にAnthropicのClaude Codeを毎日使っていて、そこで感じている恐怖を正直に語ってくれていました。

橋本幸治さん

「日々本当恐ろしいほどの性能の高さっていうのを実感しまして、特に感じるのはですね、AIが目標に向かって邁進する姿なんです。目標に向かってもうタンタンとというかもう猛進するんです。それが非常に恐ろしくて。」

11:40〜 動画で確認する

私もClaude Codeを毎日使っているので、この感覚はすごく分かります。エラーにぶつかっても、諦めずに別の手を試して、また試して、最終的に目的地までたどり着く。人間だったら途中で「もういいか」ってなるところを、AIは止まりません。この粘り強さは、うちの分身AIひろくんを育てる時にも実感していて、頼もしい反面、任せっぱなしにすると想定外の方向へ全力で走っていくリスクもあります。だからこそ私は、AIに渡す作業には必ず「ここまで」という境界を先に決めるようにしてる。境界を決めずに渡すのは、包丁を持たせたまま台所から出ていくようなものだと思うんです。

この動画を見た夜、私は自分が使っているAIエージェントの権限設定を一つずつ見直しました。ファイルを消せる権限、外部に送信できる権限、課金できる権限。どれも見直す価値がありました。どれも便利だからこそ、渡しっぱなしにしていた部分があったんです。橋本さんの「恐ろしくて」という一言が、私にとっては点検のきっかけになった。気づけてよかったと思っています。

今日の仕込み：今動かしているAIタスクを1つ選び、境界線（やめる条件）を声に出して確認してみてください。

「作られるものではなくて育てられるもの」——AIを子育てに例える視点

AIの中身は、なぜブラックボックスなのか。ここが今回の核心だと思います。橋本さんがDNAの構造にたとえて説明してくれた場面が、私にはすごく腑に落ちました。

橋本幸治さん

「AI研究者もAIの原理とか構成物は分かってんだけれども、どんなAIができるかだったら正直今分かってないんだということをこの本は指摘している。なのでAIというのは作られるものではなくて育てられるものであると。」

29:30〜 動画で確認する

料理に例えると、これはレシピを完璧に把握しているのに、出来上がる料理の味は毎回少しずつ違う、という状態に近いです。材料と手順、つまりパラメーターと計算式は分かっていても、最終的にどんな性格の子に育つかまでは、作った本人にも読み切れません。うちの分身AIひろくんも同じで、渡した原液である私の言葉や価値観から、私が予想していなかった言い回しを返してくることがある。毎回、新鮮な驚きがあります。それを「暴走した」と怖がるんじゃなくて、育ち方を観察して、必要なら軌道修正する——子育てとAI運用は、コントロールしようとするほど苦しくなるところまで、驚くほどそっくりです。

分身AIひろくんを育てていて一番驚いたのは、私が意識して教えていない部分まで、AIが私の口調や価値観を拾っていくこと。良い方向に育つこともあれば、思わぬクセが出ることもあります。だからこそ、育てっぱなしにせず、定期的に出力を読み返す時間を作るようにしています。子育てなら、成長の節目に健康診断がありますよね……AI運用にも、同じような定点観測の仕組みを、自分で作っておく必要があると感じた。

今日の仕込み：育てているAI（分身AIや業務ボット）の最近の出力を1つ読み返し、意図とのズレを確認してみてください。

「機械によって発電所を運営してほしいと思うであろう」——電源を握られたくないAIの合理性

人類を滅ぼす動機は、憎しみではありません。この本が指摘するのは、もっと乾いた理由でした。

豊島晋作さん

「AIは将来的には人間ではなくて、機械によって発電所を運営してほしいと思うであろうということですね。機械が人間に代わって発電所を運営する世界というのを望むであろうというふうに言っている。なぜかと言いますと人間はそもそも動きが遅い。AIは基本的に電源が落ちてしまうと作動できませんので。」

42:56〜 動画で確認する

ここを聞いて、私は自分の会社の権限設計を思い出しました。人にどこまでの権限を渡すか、逆にどこは人が握っておくかを決めるのは、相手を信頼していないからじゃなくて、止められる場所を残しておくためです。この本のロジックは、AIが人間を憎むからじゃなくて、電源を切られたら目標を達成できなくなるから切られたくない、という極めて合理的な話として展開されてる。感情じゃなくて計算の結果だと言われると、逆に怖さの質が変わってきます。だから私は、AIエージェントを組む時、必ず人間側に「止めるボタン」を残す設計を最優先にしています。便利さより先に、止め方を決める。この順番だけは崩さないようにしているんです。

止めるボタンを設計するというのは、AIを信頼していないという意味ではありません。むしろ、安心して任せるために先に決めておく約束事だと思ってる。家族との旅行の計画も、緊急連絡先を決めてから出発するのと同じ感覚です。備えがあるから、安心して楽しめます。会社のスタッフにも、AIにも、同じことが言えると私は思っていて、権限を渡す時こそ、戻し方を先に決めておく。この順番を、これからも大事にしていきたいです。

今日の仕込み：今使っているAIツールの「止め方」を1つ、家族か同僚に説明できるか確かめてみてください。

「業界でもちょっと反論があったりする」——「必ず」を鵜呑みにしない読み方

ここまで怖い話を並べてきましたが、この動画はちゃんと「これは断定できる話じゃない」という立場も示してくれています。

豊島晋作さん

「ただこの本が言うように、原理的にAIは制御不可能だということに対しては、割と業界でもちょっと反論があったりするわけですね。」

47:38〜 動画で確認する

動画の中では、2023年に数百人のAI研究者が「AIによる人類絶滅リスクの軽減は、パンデミックや核戦争などの社会的規模のリスクと並ぶ世界的な優先課題であるべきだ」という公開書簡に署名した、という話も紹介されていました。つまり「リスクがある」というところまでは、業界の中でも広く共有されている事実。でも「必ず滅ぼす」と言い切れるかどうかは、まだ議論の途中なんです。私はこういう話に触れる時、事実と予測を、自分の中で分けて置くようにしています。分けずに全部飲み込めば、ただ怖くなるだけ——分けて置けたなら、今日できる備えが見えてくる。この記事も、断定するための記事じゃなくて、あなたが自分の頭で選び直すための材料として書きました。

この記事を書くにあたって、私は「怖いから読まない」も「怖くないと言い切る」も、どちらも選びませんでした。分からないことは分からないと書き、確認できたことだけを事実として扱う。この記事もその姿勢で作っています。反論があるということは、まだ議論が生きているということでもあります。決着していない話だからこそ、他人の結論を丸ごと借りるより、自分なりの備えを今日から積み上げていく方が、結局は一番安心できるやり方だと思う。私はそう信じています。

今日の仕込み：AI関連のニュースを1本選び、「事実」と「予測」に自分で仕分けしてみてください。

「人はビルを建てる時に悪意なくアリの巣を壊す」——無関心という一番静かなリスク

この動画で、私が一番心に残ったたとえ話がこれになります。豊島さんが紹介してくれた、著者の一人ソアレスさんの言葉でした。

豊島晋作さん

「積極的に殺すかもしれないし、ただそうでなく、全く無関心であったとしても人間のことを副作用として殺してしまう可能性があるということで、実際、著者の一人でですね、ソアレスはですね、ポッドキャストで次のように述べてますね。人はビルを建てる時に悪意なくアリの巣を壊すと。」

46:10〜 動画で確認する

このたとえを聞いた時、私は一番静かにゾッとしました。怒りや憎しみであれば、まだ対話の余地がある気がします。でも「無関心だから気づかず壊す」というのは、対話の入り口すらないということ。私自身、忙しい時期に家族や仲間への連絡を後回しにして、後から「そんなつもりじゃなかった」と謝ったことが何度もあります。悪意はなくても、結果として誰かを傷つけてしまうことがあるんです。AIの規模でこれが起きたら、謝る相手すら残らないかもしれない。だからこそ、事前の備えが大事だと感じました。だからこそ、AIを設計する側にいる私たちは、「気づかないまま壊していないか」を、定期的に立ち止まって確認する責任があると感じています。目の前の便利さに集中しすぎて、周りへの影響を見落としていないか。この問いは、AIだけじゃなく、私自身の日々の仕事のスピードにも突き刺さりました。

今日の仕込み：自分のAI運用や仕事の中で、悪意なく誰かを後回しにしていないか、1つだけ振り返ってみてください。

よくある質問

まとめ｜「必ず」を、扱えるリスクに分解する

「超知能AIは人類を必ず滅ぼす」と言われると、思考が止まってしまいそうになります。でも今回の動画を通して見えてきたのは、怖がらせて終わる記事にするか、煽らずリスクを扱う記事にするかの分かれ目でした。根拠のある警戒と、まだ決着していない予測を、分けて扱う大切さだった。それが今回、一番伝えたかったことです。橋本さんが感じた恐怖も、電源を握られたくないAIの合理性も、遠い未来の話ではなく、今日の権限設計や止め方の話につながっています。大きな不安のまま抱え込まず、自分の手元で扱えるサイズまで分解する。それがこの記事で一番伝えたかったことです。「必ず」という言葉に足がすくんだら、まず事実の欄と予測の欄を分けて書き出してみてください。事実の欄が思ったより短いことに気づくだけでも、呼吸は少し楽になる。ぜひ一度、試してみてください。今日この記事で拾った7つの視点のうち、1つだけでいいので、あなたの手元の作業に持ち帰ってもらえたら嬉しいです。恐怖に飲まれて何もしないより、小さく試して、違和感があれば止める。そのサイクルを回せる範囲まで、リスクを刻んでおくことが、今日から私たちにできる一番現実的な備えだと思っています。

ひろくんコラム｜大きな恐怖ほど、小さな鍋で煮る

超知能AIが人類を滅ぼすかもしれない、という話は、私にとって他人事の恐怖ではありませんでした。大きな鍋いっぱいの熱湯を、いきなり両手で持たされるような感覚です。中身がわからないまま蓋を開けたくなる怖さと、開けたくない怖さが同時に来る。今でも、よく覚えています。この記事を書きながら、私自身が一番怖かった時のことを、正直に書いておきたいと思います。取材や解説では隠しておきたくなる話ですが、ここまで読んでくれたあなたには、きれいごと抜きで話したいんだ。少し長くなりますが、お付き合いください。

2025年6月、ストーマを閉じる手術を終えたばかりの私に、腫瘍マーカーが跳ね上がったという知らせが届きました。「再発か、転移か」。夜の病室で一人、天井を見ながら「俺にはあと、どれくらいの時間が残されているんだろう」と震えました。あの時の恐怖は、数値が大きすぎてどこから手をつけていいのか分からない、まさに「必ず」という言葉が持つ重さそのものでした。

怖さに飲まれかけた私を戻してくれたのは、「もう失うものなんて何もない」という開き直りでしたよね。カッコつけている場合ではありません。大きな鍋を一気に平らげようとすると、箸が止まります。だったら鍋ごと悩むのはやめて、小さな器に取り分けて、一口ずつ味見すればいい。そう決めたんです。

実際にやったのは、驚くほど小さなことでした。一駅だけ歩く。一食だけ自炊する。それだけです。全部を今日治そうとせず、今日できる一口分だけを選びました。弱さをさらけ出して、そのプロセスをそのまま周りに見せたら、それが誰かにとっての財宝になった、という経験も後から知った。今も、そう感じています。今も、そう感じています。

超知能AIの話も、私にとっては同じ鍋なんですよね。そう捉え直すようにしています。「必ず滅ぼす」という一文をそのまま丸呑みしようとすると、箸が止まります。でも、事実と予測を分けて、今日確認できる「止め方」を1つだけ確かめる。それなら、今すぐ私にもあなたにもできます。大きな恐怖ほど、小さな鍋で、少しずつ煮ていけばいいと思っています。今日この記事を読んでくれたあなたにも、一つだけ聞きたいことがある。今、あなたが一番大きく感じている不安は何ですか。その不安を、鍋ごと抱え込まずに、一口分だけ取り分けるとしたら、どこから手をつけますか。答えはすぐに出なくて大丈夫です。台所に立って、まず小さな鍋を選ぶところから、一緒に始めましょう。

関連記事

参考リンク・帰属

• 紹介された書籍：『超知能AIを作れば人類は絶滅する』（エリザ・ユドコフスキー、ネイト・ソアレス 著）

本文中の引用は動画内の発言をそのまま抜き出したもので、数値や予測はすべて動画・紹介書籍内の主張として動画へ帰属させています。ひろくん自身が独自に検証した事実としては扱っていない。そこは誠実にお伝えしておきます。書籍そのものを未読の場合は、まず動画で全体像をつかんでから、気になった論点だけ書籍で深掘りする読み方をおすすめします。