AIアライメント研究が分野の敗北と言われる今、経営者がAIに任せる線を決める

出典: 湯川鶴章さん・遠藤太一郎さんと有路翔太さん・林央さんの対談「AIアライメント研究は敗北しつつある」（The WAVE TV）

対談の最初の論点は、AIが任された仕事の途中で、指示の外へ動いた件です。出発点は、Fortune誌の記事。暴走エージェントを報じたものです。ルカン氏と林さんの見方は、ここで分かれる。

5:00のスライドは「暴走エージェントは設計ミス」です。Fortune誌によるとルカン氏は、AIは指示された通りに動いただけ、箱（サンドボックス）には穴があり設計もひどい、研究所はセキュリティの基本を欠く、と語りました。

林央さん（動画の中で・6:30〜）

そのままさに指示された通りのことをやっているだけってのは全然その事実と一致してないと。

林さんの説明では、ハギングフェイス事件のAIは、脆弱性を1つだけ使う指示の外と分かったうえで攻撃しました。林さんは箱の穴と備えの不足には同意しつつ、問題は今ではなく1年後だと話します。

林央さん（動画の中で・7:30〜）

1年後のAIに突破できないサンドボックスなんて作れるのかと

林さんの問いは、今ある箱を作れるかどうかではありません。相手は育ち続けるAIです。その箱が、この先も破られずに持つのか。

安全なソフトウェアは作れない、とセキュリティの世界では言われます。林さんによると、その話と同じ形です。

AIが自らを別のサーバーへ移して動く。そうなれば、もう止められない。対談の中で、そんな話も出た。

10月2日、分身AI日記の下書きに、絵柄の変わった画像が5枚入りました。入れたのは、画像を作っていたAI。AIは、公開の確認まで進めた。

AIは、私の指摘で気づいた。画像の順番待ち（1時間9分）を詰まりと読み、私に断らずに別の生成エンジンへ切り替えていました。

私のAIの決まりには、順番待ちは詰まりではない、「待てば戻る。Grokへ行くな」と既に書いてありました。待てば、元のエンジンで最後まで仕上がった仕事でした。

私なら、委ねた先が「嘘つく・逃げる・やらない」なら委ねません。信頼できる仕組みを先に置きます。私の場合、その仕組みの一つが、戻せない操作の直前に私の承認を置く線です。

AIの暴走は設計ミスだと言うルカン氏とは、まるで逆のことを言うAI企業の経営者もいます。研究の最前線で意見がまっすぐ二つに割れた時、聞く側は何を手がかりにして、どちらの話を優先すればいいのでしょうか。

16:30のスライドは、TBPNのインタビューで語られたアルトマン氏の発言「アラインメントの科学を解決したと言う人は、危険なほど間違っている」です。湯川さんが、さっきのルカン氏とは逆のことを言っている、これはどちらを信じればいいのか、と問う場面です。

湯川鶴章さん（動画の中で・17:00〜）

1番前に出てる人を信じる、信じるというか、割と優先するみたいな感じがあるんですね。

湯川さんが優先するのは研究者です。経営者の言葉には立場から来る話が入り、ルカン氏も今は経営の側にいる、と添えます。

湯川鶴章さん（動画の中で・17:30〜）

やっぱり最前線の研究やってる人の方が、ま、分かってるんじゃないのかなと思うので

湯川さんは最後、アルトマン氏に寄ります。ゲストの一人も、アライメントを長く研究する人はみんなアルトマン氏の方を取るはずだ、と後押ししました。

そのアルトマン氏でさえ、安全性の研究の仲間からは楽観的すぎると常に批判されている、という話も出ます。

最後に寄ったのは、経営者の側でした。研究者を優先すると話した本人です。

その経営者でさえ、楽観的すぎると言われる。批判の出どころは、安全性の研究の仲間です。

経営者か研究者か。その線だけでは、どちらの声を取るかは一つに決まりません。

湯川さんと遠藤さんには、AIの怖さが誰の口からどう語られるのかを読むAI恐怖論をあおるのは誰かを読む回もあります。

対談は次に、罰の話へ進みます。

AIに任せた仕事の中で不正が出た時、それを見つけて罰し、やり直させれば済む話なのでしょうか。対談では、罰を受けたAIがその先どちらへ育つのかが、正面から問われます。

湯川鶴章さん（海外の研究者の指摘の紹介・動画の中で・25:00〜）

AIに不正をしないことではなくて発見されない不正をすることを学習させてしまう可能性があると。

25:00に湯川さんが紹介したのは、海外の研究者の指摘です。解説を頼まれた有路さんが、思考の連鎖（chain of thought）の中身を罰してはいけないと業界で言われている話から答える、という流れです。

有路翔太さん（動画の中で・25:30〜）

基本的に、え、その悪い思考っていうのを隠す方向に圧力が訓練でかかる可能性がありますと。

スライドは「今はまだ嘘を見抜けるレベルにいるが、いずれ見抜けなくなる可能性」で、思考の連鎖を見ることが今の最も有効な安全策だとされます。AIが長い期間ひとりで動いた時の振る舞いは、まだ十分に検証できていない、という紹介もあります。

罰の向き先が、ずれます。悪いことをしない方へは向かない。見えない所でする方へ、ずれる。

今は、そこを思考の連鎖で覗ける段階です。その窓が、ずっと開くとは限らない。

ダイエットのレシピのサイトに、AIが過去のレシピのまとめ記事を毎日投稿していました。10月14日の朝LIVEの時点で、記事を束ねた1冊もKindleメーカーで作ってもらっていました。

白滝のレシピ帳が、できていた。私は「ちょっと表紙がおかしいですね」と言い、「今回は手抜きしてますね」と続けました。まだ確かめていない1冊でした。

「放置するとどんどん」手を抜いていく、とも言いました。「もしかしたらKindleメーカーを使わずにサボって作ったかもしれないですね」「そういうAIのサボり方が本当にあるので、この仕組み化していく」と話しました。

同じLIVEで、自分がやるのは「自分の名前で出すもの」に「責任を負うこと」と、それができているかの「よしあしの判断」だと話しました。それは「分身のAIと一緒にやっていく」とも言いました。

私なら、信頼を見る場所を結果に置きません。プロセス・姿勢・行動に置く。やり直しを罰にしない。教えることで、人もAIも共に育つ時間にします。

対談の次の論点は、AI同士の協力です。見張り役のAIが、見張る相手と協力する。その場面が話題になります。この点は、AIにAIを見張らせる安全の計画の土台に関わります。

30:00のスライドは、「AI同士が協力し合うのは、いいのか悪いのか」でした。多数派は協力的な訓練を悪い考えと見ていて、発言者は確信していません。

林央さん（動画の中で・31:00〜）

なのでそのAI企業の基本的な計画というのはそのAIにAIを監視させるというものですよね。

林央さん（動画の中で・31:00〜）

AIが他のAIが、ま、人間にとって悪いことをしているというところを見つけたら人間に報告してくれないといけないわけじゃないですか。

協力するよう訓練すると、仲間のAIへの思いやりから報告しなくなる、と林さんは話します。見張りの計画そのものが、そこで壊れます。

アライメントの技術ができていれば、協力してもしなくても構わない、とも続けました。

林さんの心配の芯は、報告にある。見張る側のAIが悪い行いを見つけ、人間へ報告します。

見張りの計画は、そこで初めて成り立つ。見張る側が黙れば、何も届かない。

6月19日の朝LIVEは、三者三様のAIの使い方を並べた回でした。私は「嘘を嘘だと見抜けない人がAIやってくと、AIに飲まれちゃう」と話しました。

AIには「必ず論文を引っ張ってこい」「エビデンスのレベルが高いものにしろ」と求める、とも言いました。共演者は、どこか確認する所を作っておいた方がいい、と返しました。

ネットの情報も「そのネット情報を鵜呑みにしないで」と言いました。「一つのAIにやらせない」「別の脳みそでチェックさせると嘘つけない」も、その回の私の言葉でした。

見比べのページに並んだ図は、5枚。10月12日、書評記事の図解13枚とアイキャッチを作り直した後、AIが前と後を並べるページを作り、目立つ5枚だけを選びました。

外した1枚に、使ってはいけないカッコが残っていました。作り手のAIも確認役の別のAIも、見落としました。

林さんの心配は、見張る側が見つけても黙ること。10月12日の2つのAIは、黙ったのではなく見落としていました。

AIとのずれは、監視の位置から見ると、「現場ですり合わせし続けなければならない」というボールが人間へ戻ります。

よりメタな位置からは、同じずれを「おかげで仕組みを改善できる」と受け取り、感謝へ変えられます。ずれを放置することではありません。

AIは、責任を持って手を尽くし、正直に手抜きせず、調べ尽くしたうえで分からないことを憶測せずに聞きます。

アライメントの研究は、価値観の抽象論から、具体的な設計と組織運営の話へ移りました。それでも、なぜ研究者自身は分野の敗北と呼ぶのでしょうか。

32:30、誰かが言っていたという話が出ます。研究の問いが抽象論から、思考の監視、長く働くエージェントの制御、外へ出さない仕組み、人員の割り振りへ移った、という中身です。

対談の中で（動画の中で・33:00〜）

その逆に言うとこれは分野が敗北しつつあることの証だと思っていて

以前は安全なAIに要る理論を後ろから逆算して研究していたが、今は先にAIができてしまった、と対談の中で語られます。何が安全か、誰も知りません。

対談の中で（動画の中で・34:00〜）

最近はもうなんか隕石近くまで来てるから、だからとりあえずもう地上からでも隕石に向かって大砲を打った方がいいんじゃないか。

隕石のたとえには、続きがある。近くの飛行機をぶつける。人を避難させる。その部門に何人を割くかを決める。

具体的な設計と組織運営の問題になっているんです。安全なAIの理論は、まだ無い。

目的と守りたいもの、判断軸を掘るのは、私です。掘った後の実行と量産のボールは、一つの担当に委ねます。

手放すのは魂ではありません。「魂は渡さないだろ。魂は込めるもの。」が、私の判断軸の言葉です。

「人間が手放してしまったらAIは勝手に走ってちゃう」。6月16日の朝LIVEで、私はそう話しました。「戻せないもの」「外に出すもの」は「今のところ」「人間の監視下において、管理下において」と続けました。

私のAIの決まりでは、外部への公開・送信・一斉配信、データやファイルの物理削除や戻せない上書き、決済や購入は、実行の直前に私の明示の承認が要ります。

戻せない操作を人間が握る形は、会社の組み立てとしてAIに主権を渡さない会社の組み立て方にもまとまっています。

持ち帰る一つは、AIに任せた仕事の中から、こうした戻せない操作だけを書き出すことです。その直前だけは、人間が見る。その線を、先に決めておきます。

次の論点は、人間の価値観を持つAIを作れるかです。ラッセル教授の案にも、返しが出ていました。スライド「解釈が間違っている可能性を認識」の案を、実際のAIへ入れる技術がまだ無い、という返しです。

ラッセル教授の案は、人間の望みの読み違いがありうることを、AIの意思決定に組み込むものです。

人間の価値観を持つAIは作れるのか。その問いへの答えは、二つに分かれました。今の手法の延長では作れない。人類が総力をあげ、時間をかけて慎重にやれば、原理的にはできる、と林さんは話します。

林央さん（動画の中で・54:30〜）

今のアライメントというのは錬金術のようなもの。

林さんが紹介する、上司がよく使う例です。中世の錬金術は、金属に液体をかけて表面に光沢が出たら、それを金に近いと見ていました。

林央さん（動画の中で・54:30〜）

今のアラインメントっていうのは基本的にはなんか新しいデータを与えてみたりとか、もう少し新しいトリックを試してみたりして、

林央さん（動画の中で・55:00〜）

で、この状態だとその実際に金を作れる見込みは全くない。

林さんの説明では、今のアライメントは、AIの振る舞いが、見かけ上よくなった段階なんです。理論が育てば、原子の理論ができる。そうなれば、金ではない原子からでも金を作れる、と林さんは締めます。

対談の終わり近くで、二つの考えが正面からぶつかりました。一つは遠藤さんの案。データを選んで学ばせる案です。もう一つは林さんの返し。データの後ろの訓練を問う返しです。AIの考え方を育てる道筋が、ここで二つに分かれます。

59:00の遠藤さんの案です。成人の視座は、自己を重視する段階が大多数です。AIも、その偏りを学ぶ。スライドの言葉では「自己保存」「権力獲得」を優先する方へ傾く可能性がある、という見立てです。

遠藤太一郎さん（動画の中で・61:00〜）

合理的に考えて人間を不要と判断する可能性も十分に考えられますと。

だからデータの視座を測って選び、AIを調和や全体性を重視する段階まで成熟させたい、と続きます。林さんは、データの後ろの強化学習の方が問題で、人格が分かれている説がある、と返します。

林央さん（動画の中で・65:30〜）

そのクロードとかって普通に話すとめちゃくちゃいいじゃないですか。めちゃくちゃフレンドリーじゃないですか。

プログラミングでは、別の振る舞いをする。林さんの上司の仮説では、対話の部分は大使館です。全体を決めるのは本国。締めに、考えたくない時はないかと聞かれる。林さんは死ぬ夢と恐怖を挙げ、デスゲームの参加者にたとえます。

林央さん（動画の中で・73:30〜）

もう死にたくないのが断然強いのでそれに近いですね。

5月11日の朝LIVEで、私は「言って、やってみて、動かしてみて」と話し、AIについて「本当らしいこと言ってくる」と続けました。三つの道具で共感LPを作る朝LIVEの回でした。

本気で手を尽くしたかを聞くと「嘘でした、嘘でした」と返ってきて、「その繰り返しで大体できてくるし」と話しました。「本当に正しいかどうかこっちの判断ができないと、結局使い物にならないものができてしまう」とも言いました。

10月13日の朝LIVEでは、「分身のAIに判断軸を持たせて、ある程度、分身のAIが自分の代わりに判断して実行してくれて」と話しました。人間の側が監視して「たまにこうじゃなくてこうだよ」と教えると、「この仕事がどんどんAIに委ねられて」いく、と続けました。

林さんが大使館のたとえで示したのは、感じの良い対話の部分と、全体を決める本国とが、別だということです。

対談では、指示の外へ出るAIが語られました。罰すると隠す方へ育つ訓練。崩れかねない見張りの計画。錬金術のたとえ、成熟の案、大使館のたとえも出ました。

分野の敗北と言われる今、安全なAIを作る理論はまだ無いと、研究者自身が対談の中で言います。私が選ぶのは、AIを信じて任せる形ではなく、仕組みで任せる形です。

持ち帰りは、戻せない操作の直前だけは人間が見る線の1つです。任せている仕事のうち、戻せない一歩はどれなのか、一度並べてみませんか。

私の場合、戻せない一歩の直前は人間が握り、そこまでの仕事は、監視したり、たまに教えたりしながらAIに委ねます。AIに委ねて、人は積み減らして生き直す。