ループエンジニアリングの落とし穴——AIが静かに失敗し課金だけ続けた話と、安全な止め方

AI TOOLS / LOOP ENGINEERING

ループエンジニアリングの落とし穴——AIが静かに失敗し課金だけ続けた話と、安全な止め方

2026.06.12 | AI氣道

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくん(@passion_tanaka)です。

前回、ループエンジニアリングの入門記事を書きました。「人間が毎回プロンプトを打つ働き方から、AIが働くループを設計する働き方へ」という話だね。

で、今日はその続編。前回が「ループって何?」だとしたら、今回は「実際に回し始めた人が、どこで転ぶか」の話。

正直に言うね。ループって、作るより止めるほうがずっと難しいんです。

惣菜屋でいうと、コンロに火をつけるのは難しくない。でも、煮詰まりすぎる前に火を止める、焦げる前に手を入れる——そっちのほうが何倍も腕がいる。AIのループも同じでした。回し始めた瞬間、今度は「どう止めるか」という新しい宿題が出てくる。

今日のテーマは、AIが静かに失敗し課金だけ続けた話と、安全な止め方。国内外で実際に起きた失敗を正直に並べます。怖がらせたいわけじゃないよ。むしろ逆で、転び方を先に知っておけば、あなたは小さく始められる。最後はちゃんと「メモ1枚から始める型」=安全な止め方の設計まで持っていくので、安心して読んでね。

3行でわかるポイント

  1. ループは「止め方」が9割。動いて見えるのに前に進まない「静かな失敗」が、いちばん高くつく
  2. ループ契約書6行(いつ動く・どこまで触る・何をやる・いくらまで・いつ止まる・どこへ報告)が安全装置になる
  3. 火の止め方を決めてから、火をつける。惣菜屋の仕込みと同じで、止まる線を先に引くのが職人の段取り

AI活用の仲間と一緒に学びたい方へ → GPTs研究会に参加する(無料)

01

ループエンジニアリングは「作る」より「止める」が難しい——静かな失敗の正体

静かな失敗——動いて見えるのに前に進んでいないループの図解

まず、国産の生々しい失敗談から。

note の「MAKE A CHANGE」というアカウントが、6月9日に正直な記録を公開しています。この方、ループを4本も組んで、ブランチ削除129件・PR修正を1日43コミットというすごい量を自動でこなした。数字だけ見ると大成功です。

でも結論はこうでした。

「結果的にほぼ全てを却下」

何が起きたか。4本目の「開発系ループ」が暴走して、修正範囲がどんどん膨らんで、最初の趣旨からズレた成果物を大量生産していたんです。AIは止まらない。仕事はどんどん積み上がる。でも、出てきたものを人間が見たら「これ違うな」だった。(出典: note MAKE A CHANGE

念のため補足すると、4本全部がダメだったわけじゃありません。暴走したのは主に4本目で、それが大量に吐き出した修正成果物を却下した、というのが正確なところ。でもね、これってループの一番怖い性質を見事に映してると思うんです。

もうひとつ、海外で語り草になっている失敗のかたちがあります。「Ralph(ラルフ)ループ」と呼ばれる、同じ指示をAIに延々と注入し続ける仕組みでよく起きるやつ。完了条件にたどり着けないまま、静かに失敗しながら課金だけ継続する状態です。(このリスクは複数の実装ガイドが共通して警告しています。例: explainx

これ、いちばんタチが悪い。エラーで派手に止まってくれたら気づくんですよ。でも「動いてはいる、けど前に進んでいない」状態は、見た目は元気なんです。画面は動いてる。ログも流れてる。なのに中身はゼロ。その間、お金だけ溶けていく。

惣菜屋で例えるなら、コンロの火はついてる、鍋もグツグツいってる、でも中に具が入ってない——みたいな状態。遠目には仕込み中に見えるから、誰も気づかない。気づいたらガス代だけ請求が来る。これがループの「静かな失敗」です。

だから、ループを設計するときに最初に考えるべきは「どう動かすか」じゃない。「どうやって、ちゃんと止めるか」なんだよね。

02

海外の冷静な声「ほとんどの人には、まだ早い」

ループに値する4つの条件の図解

ここで一回、熱を冷ましたいと思います。

ループエンジニアリングは今週バズった概念で、SNSは「もう全部ループだ!」みたいな熱気に包まれてる。でも、その中でいちばん冷静で、いちばん役に立った声があるんです。

AlphaSignal というメディアが6月8日に出した「Most Developers Do Not Need Agent Loops Yet(ほとんどの開発者には、エージェントループはまだ必要ない)」という記事。(出典: AlphaSignal

ここで挙げられている、ループに値する条件が4つ。これ、コードを書かない経営者の方にもそのまま効く判断基準なので、しっかり紹介します。

  1. そのタスクを、週1回以上は繰り返している(たまにしか発生しないなら、ループ化のコストのほうが高い)
  2. 出来上がりを自動で検証できる(テストや明確なチェック基準がある)
  3. 予算に余裕がある(後で出てくるけど、ループはお金を使う)
  4. 十分な道具がそろっている(AIが実際に作業できる環境)

この4つ、ひとつでも欠けると「コスト>リターン」になる、と書かれています。つまり、なんでもかんでもループにすればいいわけじゃない。

そしてこの記事のいちばん刺さった一文がこれ。

The real cost is not the tokens. It’s the day you spend debugging a system nobody was reading.

(本当のコストはトークン代じゃない。誰も読んでいなかったシステムを、まる一日かけてデバッグする日のことだ)

うわー、と思いました。

ループって、回り始めると「もう人間がいなくても進む」と錯覚するんですよ。だから人間が見なくなる。見なくなった結果、おかしくなったときに「何がどうなってるのか、もう誰も把握してない」状態に陥る。そこからの立て直しが、いちばん高くつく。

実際、データもあります。本番環境で動いているAIエージェントを調べた研究によると、68%は、10ステップ以内に人間の介入が入っているという結果でした。(出典: arXiv:2512.04123。この論文、当初は306人の実践者調査として出ていましたが、最新版で86システムの実践者ベースに改訂されています。68%という数字自体は最新版にも残っています)

完全無人で延々と回り続けるループ、というのは現場の実態とはちょっと違う。多くの現場では、10手も進まないうちに人間が手を入れている。これが「まだ早い」のリアルな中身なんだよね。

私はこの冷静さ、すごく大事だと思います。新しい概念って、礼賛の声ばっかり大きくなりがちでしょ。でも実際に役立つのは「どういうときに使わないほうがいいか」を教えてくれる声のほう。火加減を知らずに強火だけ覚えても、料理は焦げるからね。

03

コストの真実——「月130万ドル」のからくり

マルチエージェントのコスト構造と130万ドル報道のからくりの図解

お金の話を、もう少し正直にしておきます。

ループ、というかAIをたくさん同時に動かす仕組みは、けっこうお金を使います。複数のエージェントを連携させると、トークン消費は普通の使い方の約15倍にもなる、という数字が知られています。(出典: Data Science Dojo。数字のおおもとはAnthropicが2025年に公開したマルチエージェント研究の報告です)

15倍。これは無視できない数字です。

それと、SNSで「ひと月で130万ドル分のトークンを使った」という話がバズりました。OpenClawの開発者 Peter Steinberger さんが、100体のAIエージェントを動かして、ひと月でそれだけ消費した、という報道です。(出典: Tom’s Hardware / The Decoder

でもここ、盛らずに正確に言いますね。

この130万ドルは「Fast Mode(高速モード)」という割増料率で換算した数字です。普通のAPI料金で計算し直すと、実費はだいたい30万ドルくらい。(出典は同上。本人も、これはコスト制約をあえて外した思考実験だと明言しています)

もちろん30万ドルでも莫大ですよ。一般の経営者がいきなり真似する金額じゃない。でも「130万ドル」という数字が独り歩きすると、「ループ=とんでもないお金がかかる怖いもの」という間違ったイメージがつく。それは違う。

ちゃんと設計すれば、コストは管理できます。むしろ次に話す「ループ契約書」の中に、お金の上限を最初から書き込んでおく。これが効くんです。盛られた数字に怯えるより、自分のループに予算メーターを付けるほうが、よっぽど建設的だよね。

04

ループに「契約書」を1枚書こう

ループ契約書6要素の図解

さて、ここからが今回いちばん持って帰ってほしいところです。

ループを安全に回すために、海外の実践者たちが共通して言っているのが「ループを書く前に、契約書を1枚埋めろ」という話。explainx という実装ガイドが「Loop Contract(ループ契約書)」として6要素にまとめています。(出典: explainx

英語の頭文字だと覚えにくいので、私が経営者向けの日本語の道具に翻訳しました。AIに仕事を任せる前に、この6つを言葉にして書く。それだけです。

契約書の項目 何を決めるか 惣菜屋でいうと
いつ動く(トリガー)どんなタイミングで起動するか毎朝6時、開店前に仕込みスタート
どこまで触っていい(範囲)触れる範囲・触っちゃダメな範囲この棚の食材まで。レジには触るな
毎回やること(行動)1回のループで実行する作業煮物を仕込んで、味を整える
いくらまで(予算)お金・時間・回数の上限今日の食材費はここまで
いつ止まる(停止条件)どうなったら終わるか・止めるか売り切れたら閉店。焦げたら火を止める
どこへ報告する(報告先)結果を誰に・どう伝えるか店主の私に、今日の仕込み報告を

この6つの中で、初心者がスポッと抜かすのが「いくらまで」と「いつ止まる」なんです。

「いつ動く・何をやる」は楽しいから、みんな一生懸命書く。でも「予算」と「停止条件」は地味だから、つい後回しにする。そして、後回しにしたその2つこそが、さっきの「静かに失敗しながら課金だけ継続」を防ぐブレーキなんだよね。

レシピで言うなら、「材料」と「作り方」は書くけど、「火を止めるタイミング」と「失敗したらどうするか」を書き忘れる、みたいな。でも、その2行を書き忘れた鍋が、深夜にひとりで焦げ続けるわけです。

私からのお願いはシンプルです。AIに何か任せようとするとき、この表を見ながら6行だけ書いてみて。コードは要りません。日本語で「いつ動いて、どこまで触って、何をやって、いくらまで、いつ止まって、誰に報告するか」。これがあなたのループの設計図であり、安全装置になります。

05

AIを安全に止める番兵と、人間の承認ゲート

止まる仕組み3段(予算上限・番兵・人間の承認ゲート)の図解

契約書を書いたら、次は「ちゃんと止まる仕組み」を実際に組み込みます。ここは少し具体的な話だけど、考え方だけ持って帰ってもらえれば十分。

海外の実装ガイドで繰り返し出てくるのが「番兵(sentinel)ファイル」という発想です。(出典: explainx

仕組みはこう。ループが1回まわるたびに、引き継ぎメモをファイルに書き残す。そして、

  • うまくいったら「DONE(完了)」という印を残す
  • 詰まったら「BLOCKED(行き詰まり)」という印を残す

外側で見ている仕組みが、この印を見て「もう終わっていい」「これ以上は無理だから止めろ」を判断する。

中でもいちばん大事なのが、無進捗の検知です。具体的には、同じエラーで2回連続失敗したら、「行き詰まり」と書いて、即終了する

このルール1個。これだけで、さっきの「静かに失敗しながら回り続ける」を構造的に潰せます。同じところで2回コケたら、それ以上もがかせない。人間に投げる。シンプルだけど強力です。

惣菜屋でいえば、煮物を2回連続で焦がしたら、もうコンロを止めて店主を呼ぶ。3回目を試させない。職人なら当たり前にやってることを、AIにも仕込んでおく感じだね。

そしてもうひとつ、最後の砦が「人間の承認ゲート」です。

ここは前回の入門記事でも少し触れたけど、実体験として大事なので改めて。私の現場では、重要な判断の前にAIが勝手に進もうとすると、別の仕組みが物理的に止める設計にしています。「公開する」「お金を動かす」「元に戻せない操作をする」——この手前には、必ず人間の私が「OK」を出すゲートがある。

ループがどれだけ速く回っても、取り返しのつかない一歩の前には人間が立つ。これは譲れない線です。AIは横にどんどん広げてくれるけど、「これを世に出していいか」の最終判断だけは、人間が持つ。

ここで一回、整理しておきますね。安全なループには、止まる仕組みが3段あります。

  1. 予算の上限——お金や回数を使い切ったら止まる(契約書の「いくらまで」)
  2. 番兵による無進捗検知——同じエラー2回で止まる
  3. 人間の承認ゲート——取り返しのつかない操作の前で止まる

火加減でいうと、1が「ガスメーターの上限」、2が「焦げ検知センサー」、3が「店主の最終味見」。どれかひとつじゃ足りない。3つそろって、はじめて安心して任せられるんです。

06

道具は、もう公式にそろっている

作る役と検査する役を分ける公式機能の図解

ここまで読んで「仕組みを自分で組むなんて無理」と思った方、安心してください。

うれしいことに、この「止まる仕組み」の多くは、もう公式の標準機能として用意され始めています。1年前なら自分でゼロから組むしかなかったのに、今は道具に最初から入っている。

代表的なのが、Claude Code の /goal(ゴール)という公式機能。(出典: Claude Code公式docs

これ、何がうれしいかというと——コマンドの細かい話はいいので、嬉しさだけ言いますね——「作るAI」と「検査するAI」を、機能の中で自動的に分けてくれるんです。

仕組みとしては、AIが1ターン作業するたびに、別の小型AI(標準ではHaikuという軽量モデル)が「目標を達成できたか?」を毎回判定する。作った本人に自己採点させない。これがネイティブの機能として組み込まれた。

なぜこれが大事か。海外の専門家 Addy Osmani さんが、ループ設計で最も価値のある一手として、こう言っているからです。

Don’t let the model grade its own homework.

(モデルに、自分の宿題を自分で採点させるな)

自分で書いたコードを「できました」と自己申告させると、AIは甘くなる。だから、書く役と採点する役を分ける。この「最高価値の一手」が、今や公式機能になったわけです。(出典: Addy Osmani

ほかにも、Claude Code には繰り返し実行を扱う /loop という機能や、同じ指示を回し続ける「Ralph Wiggum」の公式プラグインも用意されています。(出典: anthropics/claude-code ralph-wiggum plugin)この公式プラグインの主な安全装置が「最大繰り返し回数の上限」だ、というのが象徴的だよね。公式が用意した道具にも、ちゃんと「止める線」が組み込まれている。

私がここで言いたいのは、道具選びの勝負はもう終わった、ということ。どの道具にも止まる仕組みは入ってきている。これからの勝負は「どんなループを設計するか」「どこに止まる線を引くか」のほう。包丁の良し悪しじゃなくて、何をどう仕込むかの段取りの勝負に移ったんです。

07

私の現場の答え合わせと、制作ノート

下書きはループ、味見と責任は人間の図解

ここで少しだけ、自分の現場の話をします。自慢に聞こえたら本意じゃないので、ちゃんと失敗とセットで話すね。

うちでは今、自動で動くタスクが104本動いています。毎朝のブリーフィング、夜中の下書き仕込み、見回り役——いろんなループが分担して働いている。

入門記事でも書いたけど、海外の Addy Osmani さんが「ループの部品はこれだ」と挙げた要素と、うちの現場を並べてみたら、ほとんど一致していました。自動実行、作業場の分離、手順の文書化、道具への接続、作る役と検査役の分離、ファイルに残す記憶——気づいたら、議論より先に現場で回していた。

でもね、ここからが本題です。

104本あるからこそ、痛いほど学んだことがあるんです。

それは「止め方・検査役・人間ゲートがないと、本当に危ない」ということ。台数が多いほど、1本が静かに失敗していても気づきにくい。104本の中の1本が、深夜にずっと空回りしていても、人間の目はそこまで届かない。だから今、各ループに「契約書(特に予算と停止条件)」を後付けで書き込んで、番兵で無進捗を検知する作業を進めています。

つまり、「104本動いてます」は自慢じゃないんです。「104本動かしてみて、止め方の設計がいかに大事か身に染みた」というのが、等身大の現実。数を増やせば増やすほど、ブレーキの設計がボディブローのように効いてくる。

ちょっとしたメタな話を、最後に正直にしておきます。

実はこの記事も、下書きはうちのループが書いています。夜中に情報を集めて、文章の形にして、置いておいてくれる。じゃあ私は何をしてるかというと——味見と、責任です。出てきた下書きに、私が事実を確かめて、自分の言葉に直して、「これを出していいか」を判断する。下書きはループ、味見と責任は人間。この線だけは、どれだけ自動化が進んでも引いておく。

だってね、もしこの記事が間違ったことを書いていたら、謝るのはAIじゃなくて、私「田中啓之」なんですよ。名前を出して世に出す責任は、人間が背負う。だから味見は卒業しない。これがうちのループの、いちばん大事な1行です。

08

最初の一歩——あなたのループに、契約書を1枚

最初の一歩はメモ1枚——契約書を書く3ステップの図解

ここまで失敗の話をたくさんしたので、最後は安心して始められる型で締めます。

大がかりなことは要りません。AIが30体とか104本とか、そういうのは全部後の話。最初の一歩は、たった1枚のメモから始まります。

ステップ1: 「また同じこと頼んでるな」という仕事を、1つ選ぶ

毎週のメルマガ下書き、議事録の要約、定例レポート——既視感のある作業が、ループの種です。1つでいい。

ステップ2: その仕事に、契約書を6行書く

さっきの表を見ながら、日本語で6行。

  • いつ動く(例: 毎週月曜の朝)
  • どこまで触る(例: 下書きまで。送信はしない)
  • 何をやる(例: 先週の数字をまとめて文章にする)
  • いくらまで(例: AIの利用は1回まで/〇分まで)
  • いつ止まる(例: 同じエラーが2回出たら止めて私に連絡)
  • どこへ報告(例: 私のメモ帳に下書きを置く)

この6行が、あなたのループの設計図であり、安全装置です。

ステップ3: 「いつ止まる」だけは、空欄にしない

ほかの5行が雑でも、まだ大丈夫。でも「いつ止まる」を空欄にしたループだけは、どうか回さないでください。火を止めるタイミングを決めずに、コンロに火をつけてはいけない。これが今日いちばんのお願いです。

コードは1行も要りません。この契約書の習慣だけで、あなたは「静かに失敗しながら課金だけ続ける」落とし穴を、最初から避けられます。転び方を先に知った人の、特権だね。

FAQ

よくある質問

Q1. ループって、結局お金がかかりすぎて怖いんじゃないですか?

A. 「月130万ドル」みたいな数字が独り歩きしていますが、あれは割増料率での換算で、実費はもっと低い数字です。それに、ちゃんと設計すれば、契約書の「いくらまで(予算上限)」でコストは管理できます。怖いのは「予算上限を書かずに回すこと」のほう。金額そのものより、止め方を決めていないことが本当のリスクです。

Q2. プログラミングができないのですが、ループ契約書は書けますか?

A. 書けます。契約書はコードじゃなくて、日本語の6行です。「いつ動く・どこまで触る・何をやる・いくらまで・いつ止まる・どこへ報告する」。これは惣菜屋の仕込みの段取りと同じで、商売をやってきた人ならむしろ得意なはず。実行はAIや詳しい人に任せるとしても、「どこで止めるか」を決めるのは、責任を持つあなたの仕事です。

Q3. 公式の機能(/goal など)は、すぐ使うべきですか?

A. 焦らなくて大丈夫。まずは小さなループで「作る役と検査役を分ける」という考え方を、別の会話を使うだけでも体験してみてください。できたものを、そのまま使わず、別のAIに「この点を満たしてるか見て」と渡す。これだけで自己採点の甘さを避けられます。公式機能はその考え方を自動化してくれる道具なので、手作業で良さを実感してから乗り換えるのが、私のおすすめです。

最後に

まとめ——ループを作れ。でも、止まり方から設計しろ

前回は「ループを作ろう」という話でした。今回はその続きとして、AIが静かに失敗し課金だけ続けた話と、安全な止め方を見てきました。

ループは、作るより止めるほうが難しい。回し始めた人が転ぶのは、たいてい「止め方」を設計していないからです。AIが静かに失敗し課金だけ続ける鍋を、深夜にひとりで焦げさせないために——安全な止め方は、この3つ。

  • ループに契約書を1枚書く(特に「予算」と「停止条件」)
  • 番兵で無進捗を検知する(同じエラー2回で止める)
  • 取り返しのつかない一歩の前には、人間の承認ゲートを立てる

どれも、コードより先に日本語で決められることです。

そして、どれだけモデルが強くなっても、最後の味見と責任だけは人間が持つ。うちのループが下書きを書く時代になっても、「これを世に出していいか」を判断して名前を出すのは、私です。委ねることと、丸投げすることは違う。

Addy Osmani さんの言葉を、もう一度借ります。

Build the loop. But build it like someone who intends to stay the engineer, not just the person who presses go.

(ループを作れ。ただし、ボタンを押すだけの人ではなく、エンジニアであり続けるつもりの人として作れ)

私の言葉に翻訳するなら——火はつけていい。でも、火の止め方から決めておこう。

明日の1手はこれだけ。あなたが「また同じこと頼んでるな」と感じる仕事を1つ選んで、「いつ止まるか」だけでもいいから書いてみてください。その1行が、あなたのループの、いちばん大事な安全装置になります。

COLUMN

止まるAIという、未来への思いやり

止まってくれるAIは思いやり——コラム図解

止まってくれるAIって、最初は少し不便に見えるかもしれない。けれど惣菜屋の厨房で考えると、火がつきっぱなしのコンロほど怖いものはないよね。弱火にする、鍋を下ろす、味見を待つ。その一手間が、焦げを防ぐ。ループのブレーキも同じで、未来の自分と読者に「焦げたまま出さない」と約束する仕込みなんだと思うかな。勢いを止めるためじゃなく、香りが立つところで受け取れるようにする配慮。便利さの裏側に、あえて余白を残すやさしさがあるんだよね。

私も抱え込みOSが強いから、AIが動き続けてくれるほど安心したくなる。止まるたびに「まだ任せ切れてないのかな」と感じる日もある。でも委ねるOSは、丸投げのことじゃないんだよね。仕込み表に「ここで声をかけて」と書いておくこと。火加減は任せても、最後の味見と暖簾を出す責任は私に残すこと。競争より共創の厨房では、止まる合図も大事な会話になる。AIが止まる瞬間は、主導権を取り返す場面ではなく、同じ鍋を一緒に見る時間なんだと思う。

以前、番人を監視する番人が要るという話を書いた。番人を置けば終わり、ではなく、その番人もまた火加減を見誤ることがある。これは道具が弱いという話じゃなく、私たちの「進め続けたい欲」が強火になりやすいという話かな。だから止まるAIは、私の焦りを責めずに、鍋の前へ呼び戻してくれる存在なんだよね。静かな停止は、叱責ではなく「いま味を見る?」という声かけに近い。強火のまま走る私を、台所へ戻してくれる。そこに救われる日がある。

委ねる判断は、毎回きれいに決まるわけじゃない。私も失敗して、レシピを書き直して、ようやく少しずつ分かってきた。委ねる判断基準は、能力の線引きというより、責任の置き場所を決める地図なんだと思う。失敗は財宝だけど、読者に焦げた料理を出していい理由にはならない。だから味見は卒業しない。AIに任せるほど、人間の舌と鼻と違和感を、前より丁寧に扱う必要があるんだよね。その手間が、信頼の出汁になる。だからこそ、止まる設計まで含めて委ねたい。

ループに下書きを任せることは、仕込みを一人で抱え込まないための知恵だよね。でも、止まる場所を決めることは、その知恵を人に届けるための思いやりだと思う。未来の私が疲れていても、AIが「ここから先は確認して」と立ち止まってくれる。そこで私は湯気を見て、香りを確かめて、読者に出せる一皿かどうかを決める。ブレーキは冷たさじゃない。あたたかい共創の作法なんだよね。止まってくれるAIは、未来の私に残しておく、台所の小さなメモなのかもしれない。

👉 分身AIについてもっと知りたい方は分身AI.comもチェックしてね!

LINE OPEN CHAT

Claude Code・AIエージェント実践会

2000人突破! インストールから自動化まで、仲間と一緒に実践しよう

LINEオープンチャットに参加する(無料)

パスコード: 1111

🤖 AI生成コンテンツについて

この記事はAIツール(Claude Code)を活用して制作しています。構成・文章生成・画像制作にAIを使用し、最終的な内容の確認・編集・公開判断はひろくん(田中啓之)本人が行っています。「分身AIひろくん」(bunshin-ai.com)とは別のコンテンツです。

上部へスクロール