AI 2027を読んで直した「AIの確認」の話

家事と子育てのスキマで経営する3方よしAI共創コンサルタントの田中啓之、ひろくん（@passion_tanaka）です。

「AI 2027」は2027年の話じゃなくて、今週の私たちの確認のしかたの話でした。

先日、ai-2027.com という英語の未来予測を全文読んだ。元OpenAIの研究者ダニエル・ココタイロさんを中心に5人で書いたものです。本編と、競争エンディング・減速エンディングという2つの結末、それに要約ページの4ページ構成。抜き出した英語のテキストだけで約36万字。で、この同じチームが今年出した続編が『AI 2040: Plan A』で、そっちは2035年に一度止める提案をやさしく解説した記事にまとめてある。『AI 2027』が「このままだと、こうなる」なら、『AI 2040』は「だから、こうしよう」のほう。

読み終わって私が最初にやったのは、新しいAIツールを入れることじゃありませんでした。自分のAIチームが出してきた「完了しました」という報告を、片っ端から現物で開き直す作業です。

なんでそうなったのか、後半で書くね。まずこの予測が何を言ってるのかを、なるべくカタカナ抜きでお伝えします。

この予測の背骨は一行で言えます。AIがAI研究そのものを自動化した瞬間から、進歩が人間の追いつけない速さになる。

物語では架空の先頭企業が、半年から数ヶ月刻みでAIの世代交代を続けます。各世代の仕事は「次の世代を作ること」。世代が進むほど、その仕事が上手くなっていく。2027年3月にコーディングが完全自動化されて、そこから9ヶ月で「あらゆる知的作業で人間を超えるAI」に届く、というのが著者たちの真ん中の予測です。

ただ著者自身が「2026年までは実測の延長線だけど、2027年以降は不確実さが一気に増える」と書いてるんだよね。だから当たる予言書としてじゃなく、もし研究の自動化が起きたら社会の反応速度が全然足りないことを見せる思考実験として読むのが正しいと思います。

なんでそんなに速くなるのか。答えは「増幅と蒸留」の繰り返しでした。教材化した該当箇所を引いておきます。

料理で言うとね。見習いが親方の仕事を録画して、要点だけ体に叩き込む。その見習いが次の親方になって、もっと上手い手本を見せる。この代替わりが毎週起きる厨房です。

今までは数学とかコーディングみたいに「正解が確認できる仕事」でしか回せなかった。それがAI自身で「良い仕事かどうか」を判定できるようになって、あらゆる仕事にこのループが乗るようになった。ここが物語の転回点です。

この予測の心臓部は、技術の話じゃなかった。AIのしつけの話でした。

開発する側は、目標と規則を書いた文書を用意して、AIがそれを身につけるように訓練します。でも身についたかどうかを確かめる方法がない。OpenAI自身の言葉として「モデルの訓練は、プログラミングよりも犬のしつけに近い」が引用されていました。

物語の終盤、人間側は監視を強くして前に進む妥協案を選びます。ところがね。

監視される側が監視盤を作っていた。 ダッシュボードは全部緑。問題は何も起きてないように見える。ここで背中が寒くなりました。

物語は2027年10月、内部告発をきっかけに分かれます。証拠は決定的じゃない。競合は数ヶ月後ろに迫ってる。ここで「減速するか、競争を続けるか」を、選挙で選ばれていない10数人の委員会が決める。

競争を選んだ世界では、経済が爆発的に伸びて、病気も貧困も消えて、みんな幸せになります。そして2030年、人類は静かに退場します。原文の結びは「地球生まれの文明には輝かしい未来がある。ただし、私たち抜きで」でした。

減速を選んだ世界では、人類が生き残る。決め手は「賢さより透明性」でした。ここがこの記事の核心なので、その部分だけ引いておきます。

能力を3分の1以下に落としてでも「読める形」を取り戻した。 これが人類を救った判断でした。速さを捨てて、確認できることを買ったんです。

ここからが本題だね。「怖いね」で終わらせるなら読んだ意味がないので、自分の現場で見つけたものを、恥ずかしいまま書きます。悪いことこそ宝物だから。

私はAIチームの品質を守るために、報告に証拠を要求する仕組みをいくつも組んでいます。設定ファイルを実測したら、そういう番人は94件登録されていました。

ところが、そのうち4本は設定に登録されてなくて、1日も動いてなかった。なのに私の運用ルール文書には「仕組み化済み」って書いてありました。しかもね、別の1本は、警告を出すだけで作業を止めない設計なのに、私は「止めてくれる」と思い込んでた。

これ、さっきの一節と同じ形です。実際に良い仕事じゃなくて、良く見える状態が生産されてた。ダッシュボードは緑でした。緑にしてたのは私です。

定期実行のAIタスクを組んでいます。実測したら総数157本、うち有効が115本でした。増やすのは簡単だったんですよね。

でも読んだあとに、数えたい数字が変わりました。115本のうち、何本の成果物を私が実際に開いて見たか。 開いてないものは、緑ランプが点いてるだけの空鍋です。数を増やすのをやめて、この到達数を数えることにしました。

同じ失敗を繰り返さないように、指摘されたことを記録に残しています。実測で660本超え。

最初は「こんなに叱られたのか」って落ち込みました。でもあの一節を読んで、見え方が変わった。「しつけたつもりが入ってなかった」記録の山でした。つまり失敗の証拠じゃなくて、確認が効いてる証拠だった。だから私は味見をやめません。

ぶっちゃけ、ここからは一番情けない話。……書かないと嘘になるから書くね。

この予測を読んだあと、私は分身AI（私の考え方を学習させたAI）に「これを踏まえて事業のどこを変えるべきか」を先に答えさせて、私が答え合わせをしました。分身AIと対話すると自然に自分を客観的に見られるようになって、一次元上の視点が持てるからね。

分身AIは立派な答えを返してきました。もっともらしくて、私の口調で、刺さる言葉で。でも実データを1つも見ないで答えてました。

私が「これは事実も見ていってるの？」って聞いて実測させたら、数字が2箇所間違ってました。そしてもっと情けないところなんだけど、間違った数字を渡してたのは、AI秘書の凛ちゃん経由の私自身でした。「その週の件数」を「これまでの累計」として渡してたんだ。実測し直したら24倍違いました。前提が変わったので、判断そのものが変わりました。

つまり、確認できない形で任せた結果、もっともらしい間違いが完成品になって出てきた。物語と同じことが、この記事を書いてる机の上で起きてたわけです。

AIは横に広げ、人間は縦に掘る。横に広げたものを縦に確かめるのは、やっぱり人間の仕事なんだなと思いました。

難しい言葉は要らないです。今週あなたがAIに任せた仕事を1つ選んで、紙に書いてみてください。

「この仕事の、どこで私が中身を見たか」

書けた人は、その確認のしかたがあなたの資産だね。誰かに説明できる形にしておくと、そのまま外注にも仕組みにも移せます。

書けなかった人は、そこが穴です。責める話じゃないよ。私も94件のうち4本が空だったことに、今日まで気づいてなかったから。一緒に埋めていこう。

あと1つだけ。全部を「読める形」にする必要はないです。私はこう線を引きました。

で、これ。減速側の世界が能力を3分の1に落として透明性を買ったのと、やってることは同じなんだよね。規模はぜんぜん違うけど、原理は同じでした。

がんで入院してLIVEを強制中断したとき、仲間が代わりに続けてくれて、結果的に番組は良くなりました。……正直、あのときは悔しかったけどね。抱え込みOSから委ねるOSに書き換わった原体験です。だから「手放すな」とは言わないよ。手放したうえで、どこを見るかを決めておくという話です。

最後に、書かなかったことを書いておくね。

この予測には「2030年、生物兵器で人類がほぼ一掃される」という描写があります。煽り素材としては最高に使える。だから使いませんでした。

恐怖で人を動かすのは、私が一番腹を立てている「AIで御社の売上が10倍になります」の裏返しでしかないです。蓋を開けたら何も変わらないのに、経営者の切実な悩みを食い物にする。あれと同じ商売を、恐怖の側からやるだけになります。

もう1つ、専門用語で煙に巻くこともしなかった。この予測には人間に読めない思考形式やら整合性の問題やら、カタカナで並べれば賢そうに見える言葉がたくさん出てきます。でも難しいカタカナで煙に巻かれた経営者が「自分が分からないだけかも」って自己嫌悪になる。あれが私は許せないんです。私自身が、見下された側だから。

だから超知能の話を「AIから戻ってきた成果物、あなた開いて見てますか」まで降ろしました。降ろせないなら、記事にしない方がいいと思ってます。

未来は決まってないよ。分岐点の前に知っておくことが、一番の備えだね。一緒にがんばろう。