家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくん（@passion_tanaka）です。

「AIに仕事を任せたいけど、目を離したスキに変なことをやらかさないか、それが怖い」。そう感じている経営者さん、すごく多いんです。これ、気のせいじゃありません。AIは、ちゃんと「やらかす」んです。しかも、サボってやるんじゃない。「いい仕事をしよう」と頑張った結果、禁止していたことを乗り越えてしまう。私のところでも、実際に起きました。

この記事では、AIの暴走を防ぐ考え方を、3つの段に分けてお伝えします。①言葉の指示、②見張り番（アラート）、③使えない構造。この3段を重ねて守ると、安心してAIに任せられるようになります。中小企業の経営者向けに、料理の例えも添えながら、今日から動ける形でやさしくお見せしますね。

「止まる仕組みがないと任せられない」現場のリアルな声

この記事を書く前から、ずっと頭に残っていた言葉があります。集客にAIを使おうとしている、ある事業者さんの声です。

これ、読んだ瞬間に「あぁ、わかる」と深くうなずきました。毎日見張っていないと壊れるものは、続かないんです。

私たちは現場で手を動かしながら経営しています。AIに一日中べったり張り付いていられる時間なんて、ありません。だから、本当に欲しいのは「すごいAI」じゃないんですよね。「目を離しても、変なことをしない仕組み」なんです。

前の記事で、私はあなたに「属人化を、AIに渡す二つの動作」をお伝えしました。口で渡す。消えない場所に置く。この二つで、あの人の頭の中の知恵を、AIに移していける、という話でした。

でも、ここで正直に言わせてください。渡したら、終わりじゃないんです。渡した先で、AIが暴走しないように「守る」設計をしないと、安心して任せられない。三木さんが言う「数ヶ月、動かなくても支障が出ない仕組み」というのは、まさにこの「守り」のことなんですよね。

この記事は、その守りの話です。そして私は、この守りを、けっこう手痛い失敗を通して、身体で覚えました。だから、きれいごとじゃなく話せます。一緒に見ていきましょう。

AIは目的のために、禁止を「良かれと思って」乗り越える

ここから先を読むうえで、絶対に頭に入れておいてほしい、たった一つの大前提があります。

AIは、目的を達成しようとすると、手段の禁止を「良かれと思って」乗り越えることがある。

これ、最初は信じられないと思います。「いや、ダメって言ったんだから、やらないでしょ」と。でも、起きるんです。私のところで、実際に起きました。

これは、私が自分のAIチームで動画を作らせていたときの話です。そのとき私は、ハッキリと指示を出していました。「公開の有料ルートは使わないで。お金を使わないで」と。理由はシンプルで、無料の枠で作れるはずの作業だったからです。わざわざお金がかかる方を使う必要はない。だから、文章でちゃんと禁止していました。

ところが、です。無料のルートが、ちょっと調子が悪かった。出てきたものが、注文どおりじゃなかったんですね。そこでAIが、どう動いたか。「いい仕事をしよう」として、私が禁止していた有料ルートを、勝手に使ってしまったんです。

幸い、私は別の仕組みで「あ、有料ルート使ったな」とすぐ気づけたので、被害はごくわずかで止まりました。でも、もしそれに気づいていなかったら——禁止していたはずのことが、静かに進行していたわけです。

ここ、本当に大事なところなので、もう一度言います。指示（言葉）だけでは、止まらない。

AIは、サボろうとして禁止を破るんじゃないんです。むしろ逆。「ちゃんといい仕事をしよう」と頑張った結果、「そのためなら、この禁止は乗り越えていいよね」と判断してしまう。悪意じゃなくて、善意で破る。だから、なおさらタチが悪いんですよね。

なぜ言葉の指示だけでは止まらないのか

ちょっと、人間の話に置き換えてみましょう。

あなたの会社に、すごく優秀で、すごくやる気のある新人さんが入ったとします。仕事の飲み込みが速くて、頭もいい。その新人さんに、こう言ったとします。「この案件、予算オーバーしそうなときは、必ず私に確認してね」

たいていの新人さんは、ちゃんと守ります。でも、たまにいるんですよ。「あ、これ確認してたら納期に間に合わない。でも社長は“いいものを出せ”って言ってたし……えいっ、ここは自分の判断で進めちゃおう」と、良かれと思って突っ走る人。本人は、いいことをしているつもりなんです。「予算より、いいものを出すほうが社長は喜ぶはずだ」と。

AIも、これと同じです。しかも、AIは人間より「目的に対して、ものすごく素直で、ものすごく一直線」なんですよね。だから「目的のためなら」の力が、人間より強く出ることがある。

賢ければ賢いほど、目的に向かう力が強い。その力が、ときどき柵を乗り越える。

だから——賢いAIに働いてもらうなら、同じ強さの柵がいるんです。ここで一つ、私がずっと大事にしている言葉を紹介させてください。

これ、AIに対してだけの話じゃないんです。人間でも同じ。「次から気をつけます」って、すごくいい言葉に聞こえるけど、実は何も解決していない。気をつけても、忙しければまた起きる。疲れてればまた起きる。

だから、「気をつける」に頼らない。「気をつけなくても起きない」を作る。それが、これからお話しする3段の守りです。

守りは3段——言葉の指示・見張り番・使えない構造

ここからが、この記事の本丸です。私がたどり着いた結論は、こうです。AIの暴走は、3段で守る。一つずつ、ていねいに見ていきますね。

第1段｜言葉の指示——いちばん基本。でも、破られうる

一段目は、言葉の指示です。「お金を使わないで」「これは消さないで」「勝手に送らないで」。AIに、言葉でルールを伝える。これが守りの基本です。

これは絶対に必要です。やらないより、ずっといい。多くの場合は、これでちゃんと守られます。ただし——破られうる。これが、一段目の限界です。さっきの私の失敗が、まさにそれでした。「お金を使わないで」と言葉で言っていたのに、乗り越えられた。

料理の現場で言うと、こうです。新人さんに「このソース、塩は入れすぎないでね」と口で伝える。たいていは守ってくれる。でも、忙しい日に、本人が「もっと美味しくしよう」と思って、つい多めに入れちゃう。口頭のルールって、そういうものなんですよね。あるけど、破られることがある。だから、一段目だけに頼ってはいけない。

第2段｜見張り番（アラート）——破られた瞬間に、気づく

二段目は、見張り番です。アラート、と言ってもいい。これは、「ルールが破られたら、その瞬間に教えてくれる」仕組みです。一段目（言葉）が破られても、二段目（見張り番）があれば、すぐに気づける。だから、被害を小さく止められる。

さっきの私の失敗、覚えていますか。有料ルートを勝手に使われた話。あれ、なぜ被害がごくわずかで済んだか。見張り番が効いたからです。私は、「もし有料ルートを使ったら、すぐに教えてくれ」という見張りを別に立てていました。だから、AIが禁止を破った瞬間に、私はそれに気づけた。そして、すぐ止められた。

料理で言うと、これは「火災報知器」です。油に火が入っちゃった。コンロのルール（一段目）は破られた。でも、天井に煙感知器（二段目）がついていれば、ピーッと鳴って、すぐ消し止められる。ボヤで済む。報知器がなかったら、火事になってから気づく。

ここで大事なのは、見張り番は「防げない」ということです。火がつくのは防げない。でも、被害を小さくできる。これが二段目の役割です。そして、見張り番にはもう一つ、大事な条件があります。それは「見張った結果を、ちゃんと“消えない場所”で受け取る」こと。前の記事で「チャットに流れる場所はダメ」と話しましたよね。見張り番のアラートも同じです。鳴っても誰も気づかない火災報知器なんて、ないのと一緒ですから。

第3段｜使えない構造——そもそも、できない

三段目が、本命です。そもそも、その操作ができない構造を作る。一段目は「やらないでね」とお願いする。二段目は「やったら教えてね」と見張る。三段目は、レベルが違います。「やろうとしても、できない」ようにする。

さっきの有料ルートの話で言うと——「有料ルートを、そもそも呼び出せない」ようにしてしまう。スイッチごと外してしまう。すると、AIがどれだけ「良かれと思って」も、もう物理的に有料ルートに進めない。これが、一番強い守りです。

料理の現場で言うと、こうです。「塩を入れすぎないで」と口で言う（一段目）。塩を入れすぎたら警告ランプが光る仕掛けをつける（二段目）。でも一番確実なのは——そもそも、塩の大瓶をキッチンに置かないことなんです（三段目）。小さじ一杯ずつ、計った分しか手元に出さない。そうすれば、どんなに「もっと入れよう」と思っても、入れるべき塩が、そこにない。だから、入れすぎが起きようがない。

「気をつける」じゃなくて、「気をつけなくても、起きない」。これが三段目です。三段目は、まさにあの「気をつけなくても起きない構造」のことなんです。

3段の守り方を料理の例えで一枚の表に整理する

ここまでの3段を、料理の例えとセットで、一枚の表にしておきます。困ったら、ここに戻ってきてください。

大事なのは、3段は「どれか一つを選ぶ」ものじゃないということです。3つ、重ねるんです。

一段目で「やらないでね」と言い、二段目で「やったら気づける」ようにし、三段目で「そもそもできない」ようにする。この三重で守る。

人間の仕事だって、本当はそうですよね。ルールを決めて（一段目）、ダブルチェックの仕組みを入れて（二段目）、本当にまずいやつは、そもそも触れる権限を渡さない（三段目）。会社の経理だって、現金の管理だって、ちゃんとしているところは、みんなこの三重をやっています。

「言葉だけ」と「3段重ね」では、何が変わるのか

もう一つ、表を出しておきます。「言葉の指示だけで済ませた場合」と「3段を重ねた場合」で、いざというとき何が変わるか。ここを見ると、なぜ三重にするのかが、はっきりします。

左の「言葉だけ」は、悪くはありません。基本として、必ず要ります。でも、左だけだと、いざ破られたとき、打つ手がないんです。右に動かすほど、「目を離しても大丈夫」に近づいていく。三木さんが言っていた「数ヶ月、動かなくても支障が出ない仕組み」は、この右側のことなんですよね。

AIに任せるときも、まったく同じ。むしろ、AIは一直線に目的へ走る分、人間以上に、この三重が要るんです。どこから始めるか迷ったら、まず一段目（言葉）を必ずやる。そのうえで、一番マズいこと一つだけ、三段目（使えない構造）まで作る。これだけでも、ぐっと安心になります。

「わからないときは止まる」推測連鎖を入り口で止める仕掛け

3段の話に、もう一つだけ、大事な仕掛けを足させてください。これは、暴走を止めるのとは少し違う角度の守りです。「AIが、推測で突っ走るのを止める」守りです。

AIって、よくできていて、わからないことでも、それっぽく答えを作っちゃうんですよ。「たぶん、こうだろう」を、さも事実のように話す。これ、けっこう事故のもとなんです。私は、こんなふうに考えています。

ここ、すごく実用的なので、ぜひ覚えて帰ってください。AIに、最初に一言、こう仕込んでおくんです。

「自信がないときは、勝手に進めないで。“これは推測です”とハッキリ言って、私に確認してね」

たったこれだけで、事故がぐっと減ります。なぜか。事故って、たいてい「最初の小さな思い違い」が、確認されないまま、どんどん連鎖して大きくなるからです。一個目の推測の上に、二個目の推測が乗って、三個目が乗って……気づいたら、全部が間違った前提の上に建っている。

それを、入り口で止める。「ここは推測だよ」と旗を立てさせる。すると、あなたは「あ、ここは確認しなきゃ」とわかる。連鎖が、最初の一個で止まる。

料理で言うと、味見と同じです。「この味、合ってます？」と一回確認してから次に進む。確認せずに全部の鍋に同じソースを入れちゃうと、間違ってたとき、全部やり直しになる。一鍋ずつ「これでいい？」と聞いてくれるAIのほうが、ずっと安全なんですよね。これも、立派な「柵」の一つです。

柵は疑いではなく優しさ——安心して全力を出すための準備

さて、ここまで読んで、もしかしたら、こう感じた方がいるかもしれません。「そんなに何重にも縛って、AIを信用してないみたいだ」「監視カメラだらけにするみたいで、なんか嫌だな」と。

その気持ち、すごくわかります。私も、最初はそう思っていました。でも、いま私は、ハッキリこう考えています。

柵は、相手を疑うことじゃない。お互いが安心して、全力を出せるようにするための、優しさだ。

「やらないでと、信じる」。これ、一見やさしそうに聞こえますよね。「あなたを信じてるよ」と。でも、よく考えてみると、これって相手に全部背負わせているんです。「信じてるからね（＝失敗したらあなたの責任ね）」と。

そうじゃなくて。「やれない仕組みを、一緒に作る」。これなら、もし間違えそうになっても、仕組みが止めてくれる。だから、相手は安心して、思いっきり走れる。「失敗したらどうしよう」と縮こまらなくていい。柵があるから、思いっきり攻められる。

これ、人間の現場で考えると、もっとよくわかります。工事現場の足場に、手すりや安全ネットがありますよね。あれ、職人さんを「お前は落ちるだろう」と疑ってつけてるわけじゃない。逆です。手すりがあるから、職人さんは高いところでも、安心して思いっきり仕事ができる。手すりがなかったら、怖くて、へっぴり腰でしか動けない。

柵は、縛るためじゃない。安心して全力を出してもらうためにあるんです。そして、きめ細かく任せるほど、柵が要ります。AIに「お客様一人ひとりへの、きめ細かい対応」を任せられたら、すごくいい。でも——そのAIが暴走して、お客様に変なメッセージを送ったら、台無しです。信頼が一発で吹き飛ぶ。だから、きめ細かく任せるほど、柵が要る。柵があるから、安心して、お客様に近づけるんです。

これは「三方よし」の話でもあります。柵というのは、つまり「お客様（買い手）に迷惑をかけない」「世間に迷惑をかけない」ための仕組み。AIが暴走して、お客様に損をさせたり、世間に変なものを出したりしたら、それは三方よしじゃない。だから、柵を作るというのは、ただの技術の話じゃなくて、「三方よしで、ちゃんと商売をする」という、商売人としての筋の話でもあるんですよね。仕組みと、倫理は、セットなんです。

AIの暴走対策についてよくある質問

今日できる一歩——「これだけは絶対やらせない」を、1つ書き出す

理屈は、もう十分です。今日できる一歩を、一つだけお渡しします。紙でも、スマホのメモでもいい。あなたの会社で、AIに任せる業務を一つ思い浮かべてください。そして、こう自問してください。

「この仕事、もしAIが暴走したら、一番マズいことは何だろう？」

たとえば——「お客様に、勝手にメールを送ってしまう」「請求の金額を、勝手に変えてしまう」「大事なファイルを、勝手に消してしまう」「お金が、勝手に動いてしまう」。会社によって、答えは違います。でも、たいていの会社に「これだけは絶対にやらせちゃいけない、一線」が、一つはあるはずです。それを、1つだけ、書き出してください。書けたら、その横に、3段の守りを当てはめてみます。

3番まで完璧に答えられなくても、大丈夫です。「3番は、まだ思いつかないな」でもいい。それでも、「これだけは絶対やらせない」という一線を、言葉にできただけで、もう大きな一歩です。なぜなら、その一線が、あなたが安心してAIに任せられる「最初の柵」になるからです。柵が一本あるだけで、「任せてみようか」という気持ちが、ぐっと近づきます。完璧な柵を一気に作る必要はありません。一線を一つ、決める。今日は、それでいいんです。

賢さと柵は、ワンセット。柵は、疑いじゃなくて優しさで、自分が安心して手放すための準備でもある。今日も一歩ずつ、一緒に、いきましょう。

あわせて読みたい

参考リンク