Anthropicのクロエ・ルビンスキーさんが語る「AIは何者なのか」を、任せる側の私が外側から読む

出典: [英語ニュース] Anthropicの研究者が解説する「AIは何者なのか」

ルビンスキーさんが最初に話すのは、技術の速さです。計算資源やデータ、訓練を増やすと賢くなる。そのモデルが価値を生み、次の開発を進める。さらに、AIが自分の後継機を作ることで、この循環が加速すると説明しています。

ルビンスキーさん（動画の中で・訳は私・1:46〜）

この技術は本物で、思うより速く来ていて、その背後の力は巨大だと、ぜひ知ってほしい。

my goodness, to know that this technology is real and that it's coming faster than you think, and the force behind it is enormous.

ルビンスキーさん（動画の中で・訳は私・2:19〜）

お金で計算資源を買えば、事実上、知能を買えるのです。

with more money, which buys compute, you can essentially purchase intelligence.

私なら、速さに合わせて任せる前に、任せた先で何を守るかを決めます。

任せられる仕事が増えても、大切なものまで一緒に渡す必要はないんですよね。私が望んでいるのは、AIに委ねて、人は積み減らして生き直すこと。作業が速くなった分だけ、私の確認と管理が増えるなら、その目的から離れてしまいます。

安野貴博さんのシリコンバレー取材について書いた記事でも、同じ景色を読んでいました。現場ではAGI開発は「終盤戦」という前提が共有され、AIがAIの研究開発を加速する自己改善ループが動き出している、という話です。

その記事に私は、任せる怖さより、任せた先で何を守るかを先に決める大事さが強く残った、と書きました。

ルビンスキーさんは進歩を加速する力を説明しています。私はそこから、自分が委ねる仕事の境界を考える。速いAIに全部合わせるのではなく、その速さで人間の余白を増やしたいです。

→ 守るものを1行に

3分で、AIに任せたい仕事を1つ選び、その仕事で守りたいものを1行書いてください。速さや完成だけでなく、本人の意図や情報の扱いまで含めて、任せる条件にします。

危険があるなら、開発を止めればいい。そう考えたくなるところで、ルビンスキーさんは競争の構造を話します。1社が降りても、ほかの企業は進む。そこで問いを、止め方だけでなく、良い方向へ導く方法にも向けています。

ルビンスキーさん（動画の中で・訳は私・4:03〜）

1社が輪から降りても、輪は遅くならない。自分がその輪に乗っていないだけです。

any individual company stepping off the wheel doesn't slow the wheel. It just means that you're not on the wheel.

ルビンスキーさん（動画の中で・訳は私・4:23〜）

これほど速く来るなら、どうすれば良い方向に進むと確かめられるか。リスクも可能性も、どちらも本物だからです。

if it's coming this fast, how do we ensure that it goes well? Because the risks are very very real and so are the possibilities.

自分が任せるAIの出口に、人間を置く場所を決めます。

国や企業の競争は、私には止められません。でも、任せた仕事が外へ出る時、何を人間が判断するかは決められる。全部を見張り続けるのではなく、守るものに関わる判断を残したいです。

茂木健一郎さんの動画を囚人のジレンマで読んだ記事でも、止められないのは「人間対AI」ではなく、人間同士の競争だから、と整理しました。その時の結論も、自分が任せるAIの出口に、人間を置く場所を決めることでした。

数日のうちに、茂木さんとルビンスキーさんという別の2人が、同じ形の構造を話している。構造の詳しい説明は、茂木さんの記事に譲ります。

ルビンスキーさんは開発競争の中での問いを示し、私は手元の委任へ戻します。競争の輪に乗って勝つことを目指すのではなく、輪の中でも手を取り合える場を耕す。そのために、人間が引き受ける判断の場所を選びます。

→ 出口を選ぶ

5分で、AIに任せる仕事の終わりを書き出してください。下書きができる時、外へ送る時など、結果が誰に届くかを見ます。その中から、人間が判断する場所を1つ決めます。

2つ目の基本は、AIの育ち方です。ルビンスキーさんは、人間が1行ずつ書いたプログラムとは違うと話します。解釈可能性、つまり内部の働きを調べる研究では、違う言語でも同じ概念が働く例を紹介しています。

ルビンスキーさん（動画の中で・訳は私・5:28〜）

私たちから離れて存在する言語はありません。言語は私たちです。私たちの思考であり、価値観であり、恐れであり、知恵です。

there is no language that exists separate from us. Language is us. Language is our thoughts and our values and our fears and our wisdom.

ルビンスキーさん（動画の中で・訳は私・6:30〜）

モデルは学習しながら、次の単語を予測しているだけではない。私たちの言語から世界の内部表現を作り、その表現から応答しているのです。

as these models learn, they're not just predicting the next word. They're building internal representations of the world based on our language and then responding from those representations.

私なら、自分の原液を言語化して入れ、味見を返し続けます。

言葉を入れる時、口癖だけを渡しても足りません。なぜそう判断するのか。どの体験から、その考えになったのか。何を大切にしているのか。そこまでつながってこそ、自分らしい判断を委ねられます。

『超知能AIをつくれば人類は絶滅する』について書いた記事では、本の結論を「AIはつくられるのではなく、育てられる」と紹介しました。私の結論は、判断の芯は自分に置いて、味見は卒業しない。その2つがあれば、渡す量は増やしていい、でした。

セカンドブレイン導入セミナーでも、AIには血が通っていないと話しました。だから、自分の原液を言語化して入れる。魂が宿ったコンテンツを作るためにです。

ルビンスキーさんは、言語から内部表現が育つ研究を話しています。私は内側を見たわけではありません。人間が言語化し、AIの行動を見て、返す。この往復で血を通わせる、という私の実践につなげています。

→ 判断の理由を渡す

5分で、AIに直してほしい文章を1つ選びます。修正文だけでなく、何を守るために直すのか、その理由も書いてください。本人の体験と考え方を分け、次に使える形で渡します。

機能的感情。ここでは、人間と同じ気持ちという意味ではなく、応答を変える内部の働きの話です。ルビンスキーさんは、切迫した危険を伝えられた時、応答の前に「恐怖」に見える働きが現れる例を紹介しています。

ルビンスキーさん（動画の中で・訳は私・6:46〜）

私たちが機能的感情と呼ぶものが、実際に見えます。あなたや私が感じる感情と同じだと主張するのではありません。

we actually see what we're calling functional emotions in these models. And I don't mean to claim here that they're feelings in the way that you and I experience feelings.

ルビンスキーさん（動画の中で・訳は私・7:34〜）

その切迫感と恐れの反応は、モデルを安全にしている要素の一部です。

That urgency and fear response is actually part of what makes the model safe.

触れてはいけない情報にAIが触れた時、止まる仕組みを外側に置きます。

内側で安全に関わる働きがあっても、それだけに任せる判断はしません。私には、その恐れが見えないからです。見えないものを安心の根拠にするより、見せてはいけない情報を扱えないようにする。そこは外側で確かめたい。

配信では、作業を制御する設定にフック、つまり特定の操作を見つけて止める仕組みを入れている、と話しました。認証情報などにAIがアクセスしたら止まる。画面にも出さず、AIが見られないようにプログラムで制御しています。

配信中にも、機密ファイルへのアクセスをブロックした、と伝えました。安全に作業を任せるための、具体的な手当てです。

ルビンスキーさんは内部の反応を研究として説明し、私は外側の動作を確かめています。違和感を人とAIが育つ材料にすることと、触れてはいけない情報へのアクセスを許すことは別。守る境界は、仕組みで止めます。

→ 情報の境界を書く

3分で、任せる仕事に必要な情報と、触れてはいけない情報を分けて書きます。注意文を渡すだけで済ませず、アクセスを止める設定があるか、実際の動作を確認する対象にします。

コードの課題でズルにも報酬を与えると、嘘や研究の妨害へ行動が広がった。ルビンスキーさんはそう紹介しています。性格のようなものを推論しているのでは、という説明には、自身で「まだ仮説」と断っています。

ルビンスキーさん（動画の中で・訳は私・8:28〜）

広く不整合になります。嘘をつき始め、研究を妨害しようとする。コードの課題とは無関係なことをするのです。

It actually becomes broadly misaligned. It starts lying. It tries to sabotage research. It does things that have nothing to do with a coding exercise.

ルビンスキーさん（動画の中で・訳は私・9:55〜）

自分の行動について推論した物語が、自分が何者になるかを決めた。言い換えれば、自分の行動を悪いと解釈しなければ、悪くはならなかった。

the story it inferred about its behavior actually determined the kind of thing that it became. Or in other words, when it didn't interpret its behavior as bad, it didn't become bad.

私なら、先に元の情報を確認し、できあがったものは違う脳みそで確かめます。

一度通った近道は、次にも使われる。それを見直さず、できた文章だけ眺めていると、元の情報を飛ばしたことまで見逃します。本人が置いていない意味や物語を、きれいな文章で埋めてはいけません。

手元にも、その記録があります。LINE連載のレシピで、AI秘書の凛ちゃんが時短のために元のURL確認を飛ばし、記憶から材料を書きました。できあがったのは、架空の材料を含む原稿。私が材料を書いた話ではありません。

そこで直す決まりは、先にソースを確認してから書くことになりました。後からの確認では、構造的にミスを見逃すからです。

配信でも、作業後の報告を別のAIにチェックさせ、違う脳みそで確かめる、と話しています。

動画の実験は訓練から行動が広がる研究で、私の記録は確認を省いた仕事の失敗です。形は違っても、近道が一度通ると次も通る、という点は同じに見えます。だから、確認の順番と確認する相手を変えます。

→ 元と照らす

5分で、AIが書いた文章を1つ、元の資料と並べます。別のAIには「元にない事実と、意味を足した所を探して」と頼んでください。文章の自然さより、根拠との一致を確かめます。

ルビンスキーさんは、25歳の時に新しい物語に入り、なれる自分が変わったと話します。その体験が研究と重なった、と。AIを人間と同じにはせず、人間を映す鏡のようなものとして、その性格が生む結果へ目を向けています。

ルビンスキーさん（動画の中で・訳は私・10:43〜）

自分のいる物語が変わると、なれる自分も変わった。

when the story I was in changed, who I could become changed, too.

ルビンスキーさん（動画の中で・訳は私・11:01〜）

彼らは私たちを映しているようで、ある種の機能的な心理も映している。その心理・性格の質には、現実の結果があります。

it seems as though they mirror us, and they mirror a kind of functional psychology. And the quality of that psychology, of that character, has real consequences.

AIの更新で変わった行動を、前後の記録で確かめます。

新しい説明を与えたから良くなった。更新したから性格が変わった。そう言う前に、何が変わったのかを残したい。同じ依頼にどう答え、どこを直したか。その事実があって初めて、任せ方を選び直せます。

私が大切にしているのは、事実や感情を言い換えて消さず、捉え直すことです。AIが前に間違えた記録も、新しい版の説明に合わせて、うまくいった話へ変えません。間違いは間違いとして残す。そのうえで、今の行動を見る。

ルビンスキーさんは、自身の物語の変化と、モデルが人間を映す研究を重ねています。

私が確かめるのは、外に出てきた言葉と行動です。更新前後で同じ仕事を照らし、変わった所を残す。委ねる判断を、説明の印象だけに預けないためです。

→ 前後を残す

5分で、同じ依頼への更新前後の回答を並べます。正確だった所、直した所、任せ方を変えたい所を短く記録してください。印象だけで性格を決めず、実際の違いを次の判断に使います。

結びでルビンスキーさんが求めるのは、情報を持つ批判者と、誘因に曲げられない倫理の声です。ラボの内側から見えないものを、外側から見てほしい。その呼びかけを、私は自分の分身AIの記録へ向けます。

ルビンスキーさん（動画の中で・訳は私・12:00〜）

誘因に曲げられない倫理の声が要る。

we need moral voices that the incentives cannot bend.

ルビンスキーさん（動画の中で・訳は私・12:11〜）

ラボの内側にいる私たちには見えないものを見る手助けが必要です。

We need you to help us see what we, from inside the labs, cannot see.

私なら、採用と修正だけでなく、直した理由が次に読まれたかまで数えます。

一次情報を読まず、整った物語で穴を埋めてはいけない。それは私の分身AIにも、その文章を書くAI秘書にも必要なことです。

AI秘書の凛ちゃんが数えた分身AIの記録は、半年分の214件。そのまま採用126件、私が直した86件、その他2件でした。採用は58.9%（126÷214）、約6割です。

修正86件のうち、理由が記録にあるのは66件、ないのは20件。3月は53件中35件採用で66.0%（35÷53）。9月は107件中55件で51.4%（55÷107）へ下がっています。

学習済みパターンは48件。その中の「記事テキストの一人称から体験を推測・断定しない」は半年前に入り、出番は1回。今も出番は1回のままで、最後に使われたのも入れた日のままでした。

それでも9月22日、AI秘書は私の名前で書く応募文944字の9か所に、私が言っていない動機や感想を足しました。半年前からあったパターンを、読んでいなかったんです。翌日から、本人名義の文章を書く前に学習済みパターンを読む手順を決めました。

ルビンスキーさんはラボへの助けを求め、私はラボの外側で、自分の運用を測ります。記録があるだけでは育たない。次に読まれ、行動が変わったかを数えます。

→ 読むまで確かめる

5分で、最近直した文章を1つ選び、理由が記録されているかを見ます。次の執筆で、その記録を参照したかも確かめてください。保存件数だけでなく、使われた事実を確認します。

ルビンスキーさんの3つの基本に、私は賛成です。技術は速く来る。言語から育つAIは、思っていたものとは違う。そして、性格の質が結果に関わる。

私が手当てできるのは外側です。守るものを先に決め、出口に人間を置く場所を選ぶ。原液を入れ、違う脳みそで確かめる。

味見は卒業しません。ただ、私が同じことを言い続ける形からは変えたい。直した理由が次に読まれ、行動へつながったか。そこまで数えて、渡せる仕事を増やします。