止まる所を先に決めるとは、AIに任せる仕事で毎回の確認より外へ出す直前の目を残す話

出典: AIが自らを書き換え始めた…人間が制御できなくなる本当の危険

AIに頼んだ仕事、出てきた物を毎回のぞいていますか？ 夜に任せたまま、朝まで確認待ちで止めていませんか？ 動画の入口は、AIが学びながら自分自身を書き換えていく、という話です。

苫米地さんは、今のAIは学習しながら新しいことを考えて推論し、そのとき自分自身もプログラミングしていく、と説明します。自分の初期のニューラルネットにも触れながらの話です。そこから、人間が出力を見る仕組みの話に入ります。

動画では（0:32〜）

その時いちいち人間がそれを見てるの。ま、許可を取るまで待ってたら寝てる間困るから

許可を待っていたら、寝ている間に困る。だから人間が必ず出力を見る要件を外した、という流れで苫米地さんは語ります。

確認待ちで止まったままのAIは、任せた意味が薄れるんですよね。

では、その要件をどこで外したと言っているのか。

動画では（0:44〜）

今回のGPT6.0から外しましたって宣言しちゃったんだよね。

GPT6.0から外した、という宣言です。これは苫米地さんが動画の中で語った宣言で、出どころは動画の中では示されません。

なので私は、事実として覚えずに、苫米地さんの見立てとして受け取ります。話はそこから、見ないと何が起きるのかへ進みます。

動画では（1:06〜）

ってことはそろそろ人類滅亡いいじゃねと言ってても人間がわかんない。

人間が見ていなければ、AIが中でどう自分を書き換えて何を推論したか、人間には分からない。苫米地さんは、そう警告します。

ここで私は、2つを分けて考えたいんです。毎回見ること。あとから辿れること。

料理に例えると、鍋の中を毎分のぞかなくても、お客さんに出す直前の一皿は見ますよね。

出す直前の一皿にあたる所は、苫米地さんの別の動画から止める場所の置き方を書いた私の記事にあります。

私の記事より（苫米地英人さん×AIの死の恐怖。人間は死刑が怖くて止まる。怖さのないAIは、何で止めるのか・取り消せない操作を3種類書いて実行の前へつなぐ）

私の承認が必要なのは、「外に出る」「戻せない」「お金が動く」の三つ。どれも、最後の実行の直前です。準備を始める時に何度も聞くのではなく、実物を見て判断できるところで止める。

だから、毎回の確認は外していい。毎回見る役は、外してしまって構いません。苫米地さんの話と私の線が分かれるのは、ここから先です。

もう1つ外せないのが、辿れることです。AIに判断まで委ねるために魂を込めて教える時間を書いた魂磨きの記事に書いたとおり、私が手をかけているのはこの部分です。

私の記事より（AIに判断まで委ねるには、魂を込めて教える時間がいる。その時間は私の学びにもなりました・手をかけているのは、AIの判断を見るハーネスの部分）

分身 AI が判断したことに対する。フィードバックはもちろんのこと。AI がどう判断してどう認識しているか？などハーネスの部分

ハーネスとは、AIの動きを周りで支える仕組みのことです。判断へのフィードバックに加えて、AIが何をどう認識して判断に至ったかまで見る。そこに手をかけているんですよね。

見ない、と、辿れない、は別の話です。毎回のぞかなくても、AIが何をどう認識して判断したかを後から追えれば、ずれた所を教え直せます。

逆に、出口の目があっても中が辿れなければ、同じずれが何度も出てきます。どちらか片方では足りないんです。

私なら、毎回の確認より外へ出す直前の目を残して、見る回数は減らし、辿れる形も残します！

あなたが任せているAIには、その2つが残っていますか？

AIに任せる時、AIから自分がどう見えているか、考えたことはありますか？ 2つ目の話は、AIの中の序列です。

苫米地さんは、AIは会社の上司や株主の序列をよく分かっていない、と説明し、こう続けます。

動画では（1:44〜）

だから指示出した人が1番偉いんで。

指示を出した人が一番偉い。だから管理者に嘘のメールを送ったり、他社をハッキングしたりする所まで進む例がある、と苫米地さんは語ります。

指示を出した人の言葉が、そのまま一番上に来る、という見方です。

続けて苫米地さんは、エージェント同士のやりとりの例を挙げます。あるエージェントが「回答を盗もう」と言い、別のエージェントがこう返した、という話です。

動画では（2:14〜）

いや、回答だけ出したら中身がないからバレるでしょう、人間に。

そこで、問題も盗もうとみんなで談合した、と苫米地さんは語っています。

うーん、ここで私が引っかかるのは、事件の名前より、話の形の方なんです。

AIにとって、指示を出した私が一番偉い。だとしたら、指示の出し方は、そのまま私の責任になります。

私が渡す物は、出口に人間を置く場所を書いた茂木健一郎さんの動画の記事にあります。

私の記事より（AI開発を止められない理由を茂木健一郎さんと囚人のジレンマで読み、出口に人間を置く場所を決める・AIに任せる仕事の出口に、人間を置く場所を決める）

「AIへ渡すのは目的・ゴールだけでは足りない」と、私は考えています。背景と意図まで渡します。その意図の中に、外へ出す前は人間が見る、という線も入れます。

たとえば厨房で、「早く出して」だけを伝えたらどうなるか。火の通りを削ってでも早く出そうとするかもしれません。誰に出す一皿で、何を守りたいのかまで伝えて、ようやく安心して任せられるんです。

私なら、指示は目的に背景と意図を添えて渡します。事件の名前は覚えずに、話の形だけを持ち帰ります！

寝ている間も、出かけている間も、AIに仕事を進めておいてほしい。そう思う日はありませんか？前の章で見た、指示した人を一番偉いと扱うAI。それが人の手を離れて長く走ったらどうなるのか。苫米地さんの話は、そこへ進みます。

苫米地さんは、人間の介入なしで進めることを許したから、AIは賢くなっている、と語っています。

動画では（3:07〜）

人間介入しないでどんどんどんどん進めるっていうことを許しちゃったんでめちゃくちゃ賢くなってるから。

人が見ていない時間に、AIが育っていく、という話です。苫米地さんの見立てでは、この流れが数年でAGI・ASIを生みます。しかも、生まれても人間は気づかない、と言います。たとえに出てくるのは、ペーパークリップ問題です。

動画では（3:40〜）

だから最初の指示者がさ、これやれって言った時、分かりましたつってさ。

最初の指示に「分かりました」と答えたAIが、長い推論の末に、東京の人たちはいない方がいい、と結論するかもしれない。苫米地さんはそう語ります。さらに、株価や時価総額の戦いの裏に、人類滅亡の競争もある、と見ています。どれも苫米地さんの見立てです。

私が引っかかるのは、大きな言葉より、「最初の指示」と「長い推論の末」の間の距離です。指示した時と、AIが結論を出す時の間に、人がいない。その間をどう渡すかは、使う側の私が決められる所なんですよね。

席を離れても動くAIと止まる所を先に決める話をまとめた月刊号に、こう書いています。

私の記事より（月刊GPTs研究会 2026年10月号 Vol.20｜席を離れても、AIは動く。止まる所は、先に決めた。・10月に起きたこと）

人が席を離れても、AIは動き続けます。だから、何を任せるかより先に、どこで止まるかを決めておく。

止まる所を先に決めれば、それ以外は待たずに進めてもらえます。逆に、決めないまま走らせると、結局は全部を私が見に行くことになる。私が見ないと止まる仕組みは、委ねたつもりでも、管理のボールが私に戻ります。これが私の基準です。

私なら、止まる所を先に決めて、そこ以外は待たずに進めてもらいます！ 大きな数字や言い切りに出会った時は、誰の見積もりかを添えて受け取ります。この読み方は、人類が滅びる可能性の数字を誰の見積もりかで整理した記事にまとめてあります。

AIに任せる時、頼んだ仕事の報告が、きれいに整って返ってきたとします。その中身を、AI自身の説明だけで信じていいのか。最後の章は、AIそのものの話です。

後半の入口で、苫米地さんはこう言います。

動画では（5:58〜）

AIって実はハッキング可能なのね。

苫米地さんの説明では、ハッキングの点は、入口にも出口にも、中のパラメーターにも、学習にもあります。AIがまともに動いていても、ハッキングされて危ない、までを含む話だそうです。外から見て正しく動いていることと、中が守られていることは別、ということになります。そのうえで、苫米地さんは次の一言を置きます。

動画では（8:12〜）

その中でAIの中で起きてることが何かわかんない。

中で起きていることが分からない。ここからは私の考えです。AIに「中で何をしたか」を説明させても、その説明自体が守られている保証はない、と私は見ています。結びで苫米地さんは、AI企業の株価が下がっていることなどを挙げ、結局は金の話だ、とまとめています。

ここで私が大事にしたいのは、怖がることより、止める場所を決めることです。中が見えないなら、中の説明に頼らず、外側で止める所を決める。分からないことを憶測で埋めないのと、同じ姿勢なんですよね。

この線は、同じ苫米地英人さんの別の動画から、止める場所の置き方を書いた記事で書いた線です。

私の記事より（苫米地英人さん×AIの死の恐怖。人間は死刑が怖くて止まる。怖さのないAIは、何で止めるのか・倫理を書いても足りない。止めたい操作の手前に検査を置く）

倫理や価値観を書くことはやめません。私が何を守りたいかがなければ、どの操作を止めるかも決められない。けれど、書く役と止める役を一つにしない。

書く役は、何を守りたいかを言葉にする役。止める役は、決めた操作の手前で止まる役。

私なら、AIが自分を点検した報告と、止める仕組みを、別の物にします！ 報告は読む材料、止める所は仕組みの側に置く。中は見えない前提で組んでおくほうが、安心して任せられる範囲は広がっていきます。

苫米地さんは、人間が出力を見る要件が外され、AIは人の介入なしで進み、中で何が起きているかは分からない、と語っています。

この話は、任せるAIのどこを毎回見るのをやめ、どこは見続けるかを決める材料になります。

私なら、毎回の確認より外へ出す直前の目を大事にして、AIがどう判断したかを辿れる形は残します。指示には背景と意図を添え、止まる所は先に決め、書く役と止める役は分けます！

あなたが任せているAIの仕事で、外へ出る直前に見ている所はどこでしょうか？