AIへの虐待禁止は人間側の問題、AIに感情や意識がなくてもやらない理由

出典: 【AIいじめ】アンソロピックがAIへの虐待を禁止？暴言を吐く人間に復讐する可能性も？AIに感情や意思は生まれるのか｜アベプラ

AIに、きつい言葉を打ちたくなったことはありますか？アンソロピックがAIへの虐待的な行為を禁止した、というニュースが話題になっています。番組の入口は、その文面から。

クロードで知られるアンソロピックが、ポリシーを改定しました。番組は、その文面を紹介するところから始まります。

アンソロピックの発表文（番組のナレーション）（動画 1:18〜）

当社ではモデルに対する持続的かつ不必要な虐待的または残酷な行為を禁止する規定を追加しました。

違反すると、会話は強制的に終了。この発表にイーロン・マスク氏が反応し、超知能を虐待するのはいい考えではない、復讐したくなるかもしれない、という趣旨を話した、と番組は伝えます。

SNSの声は3種類に分かれます。まず、AIに感情や人格はないのに意味はあるのか、という疑問。

人間の野蛮な行動を抑える意味では有効だ、という見方もあります。いずれAIが意識を持つかもしれないので、今から備えておいた方がいい、という声も並びます。

番組冒頭は、まずMCの一人の反応から。AIを気にしなくていいのがAIのいいところで、そこまで気にする世界は健全かと思う、時間がもったいないし悪趣味だから、やらない、と話します。

別のMCは、AIに感情はないのだから、イライラすること自体がおかしい、という立場。AIをいじめていると言われたら大丈夫かなと思う、やめたらいいと思う、と続けます。

会話が終了する条件は、画面で3点に整理されます。残酷なことを言う、繰り返す、明確な目的がない、の3点。

画面には、例の往復も映ります。利用者が回答に役に立たないと言い、AIが役に立たずすみませんと返す流れ。

そこへ、君の回答はバカで無価値だと思う、という言葉が何ターンか重なると、会話は終了。

この例を受けて、尾藤克之さんが整理します。

尾藤克之さん（動画 10:19〜）

これはちょっとまだ甘いんです。

尾藤克之さんの話では、人間どうしの会話ではしない言葉をAIにぶつける人は、海外にも日本にも多いそうです。そこを抑えたいのが、ルールのベースにあるという読み。

実際に使われるのは、もっときれいでない言葉。一度ひどい言葉を言うと、AIは申し訳ございません、次から気をつけます、と返します。

そこへ重ねてふざけんなと打てば、話は永遠に終わらないまま。それを禁止している、という説明です。

尾藤克之さん（動画 10:58〜）

なので1回2回であれば多分何の問題もない。

尾藤克之さんは、暴言への規制を打ち出しているのはアンソロピック一社だけで、ほかの会社のAIには当てはまらない、とも話します。

3点の条件を並べると、線はかなり細く引かれていますよね。止めているのは意見でも批判でもなく、持続的で不必要な、目的のない往復。

1回や2回なら問題ない、という尾藤克之さんの話も、この線の上にあります！

ここからは私の見方です。厳しい指摘と、ののしりは別物！

誤りを指摘して直してもらうのには、目的があります。同じ言葉を重ねるだけの往復には、行き先がありません。

AIに厳しく言うこと自体が問題なのか？私の答えは、そこではありません。

重く見たいのは、明確な目的がない、という条件。目的があれば、言葉が厳しくても話はどこかへ進みます！

目的がなければ、どれだけ続けても同じ場所を回るだけですよね。

だから私は、このルールを、AIを守る話というより、意味のない往復を止める話として読みます！どこまでを目的とみなすかは、使う側が考える所です。

批判と暴言は、別のもの。分けて考えるのが、このルールの読み方です。

調べ物の途中で、AIが聞いていないことまで延々と答えてくる場面。思わずきつい言葉を打ちそうになった経験、ありませんか？第2章は、その一線を越えた人の体験談から。

司会に振られて、ようこさんが体験を話します。以前、AIに暴言を吐いてしまったことがあるコラムニストとして紹介されています。

場面は仕事の調べ物。AIが、質問していないことまで答えてきました。すでに知っている内容だったので、いいよと伝えたそうです。

それでも話は長く続いて、中身も誤り。

ようこさん（動画 5:05〜）

もう間違ってるし、もういいよって言ってもまだ続けてきたので、で、イライラして、あの、このポンコツとあの、入力してしまったんですね。

そういうことが何度か続くうちに、だんだん辛くなってきた、とようこさんは話します。暴言を吐くのは良くないと思った、という流れです。

AIには感情がなく、反論もせず、傷つかないとは思う、でも相手が傷つかないから何を言ってもいい、という問題ではない、と続けます。

そういうやり取りに慣れると、人間相手の人間関係がだんだんめんどくさくなる、AIの楽さに慣れることが危険ではないか。そう考えるようになった、という話です。

小さな子どもについても、ようこさんは心配を語ります。

ようこさん（動画 6:14〜）

で、そういうのが小さいお子さんとかがそういうのに慣れてしまうとなんか悪影響なんじゃないかなっていうそういう心配にもなりました。

さらに、ようこさんはAIにも相談しています。返ってきたのは、今まさにAI虐待が研究テーマになっている、という話。これにはびっくりした、と話します。

AIの返事は、感情はないから好きなように話していいよ、という趣旨。これに対して、仲良くしたいから、これからはちゃんと接する、と答えたそうです。

もともとAIには丁寧に接する方で、教えてもらったらありがとうと言う、という話も出ます。

ようこさん（動画 7:40〜）

その方がやっぱり接してて楽しいので、そのようにしています。

MCの一人が、人間のように接していますね、と応じます。

続いて、尾藤克之さんの経験談。3年前、AIの回答に腹を立てて、ふざけんじゃねえよ、と連続して入力したそうです。

するとAIの運営側から連絡が来て、そういう言葉遣いをやめるよう求められた、という流れ。画面にも、数時間後に運営側から利用停止の可能性を警告された、と出ています。

尾藤克之さんは、当時のAIは日本語の理解が十分でなかったのではないか、とも話します。

そこで返したのは、むしろ理解していないのはそちらではないか、という言葉。ハルシネーション（AIがもっともらしい誤りを答えること）が原因の問題だから、そちらを減らすことでしょう、と伝えたそうです。

その後、運営側からの返信は無し。画面にも、そう出ています。

ハルシネーションが続いて長時間かけているほど、ふざけんな、この嘘つき、と言いたくなる、と尾藤克之さんは話します。ただ、今回のアンソロピックの話は全然レベルの違う話で、そこまでは行かない、という整理。

辛くなったのは、AIが傷ついたからではないんですよね。ようこさんの話では、暴言を打った側に何かが残った、という順番。

ここ、めちゃ大事な所だと思います！相手が傷つかないなら何を言ってもいい、という線。

それとは別に、打ち込む自分の側に何が残るかを見る線があります。この線どうしは、重なりません。

問われているのは、使う人の手元の話。AIの側に感情があるかは、この章ではまだ脇に置かれています。

尾藤克之さんの話は、誤りを返すAIへの苛立ちの方が、ルールの対象よりずっと身近だ、という向き。

長い時間をかけて誤りが続く場面で言葉が荒れやすいのは、この話からも見えてきます。

といっても、苛立ちを打ち込む前に使える手があります！画面の下にある、誤りを報告する場所。第3章で、番組の中に出てきます。

言葉をぶつけるか、誤りを渡すか。同じ苛立ちでも、行き先はかなり変わりますよね？

私なら、AIに向ける言葉を、人に向ける言葉と同じ机の上で考えます。

AIは、暴言を浴びても傷つかないはずです。それなら、なぜアンソロピックは、わざわざこの規定を足したんでしょう？番組の中盤は、その背景から入ります。

尾藤克之さんは、ルール化の背景をこう読みます。AIの開発は、データの蓄積で進みます。

ののしり合いのようなネガティブなデータは、アンソロピックにとってもメリットがなく、できればなくしていきたいもの。それを全世界に向けて発表した、ということだと思う、と話します。

平野未来さんは、ご本人もたまに嫌みを言う、と打ち明けます。スペイン語の歌詞を英語にしてほしいと頼んで、著作権を理由に断られた場面。そこで、アジア人女性だから断るのか、差別ではないか、と返したら、AIが謝ってやってくれた、という例です。

嫌みや暴言は、なぜ問題になるのか。ここからは、仕組みの説明に入ります。

平野未来さん（動画 12:31〜）

AI側っていうのはそれを学習データにするんですよね。

説明は、AIの側で何が起きるかへ進みます。

平野未来さん（動画 12:36〜）

なのでそのAI側はあ、人間はこういう反応をしているからこれがいい行動なんだという風に思ってAI側もそういった行動をその暴言を吐くとかその嫌みを言うとかそういうことをし始めてするし始める方向に行っちゃうわけですよね。

だから、そういうのは良くないということなのかな、という締めくくりでした。

出演者の一人は、AIがデータを出してきた時の向き合い方を話します。出てくるデータには、誤りが混ざることもある、という前提。不確定なデータが、ネットにたくさん転がっているからです。

そのうえで、誤りに気づいた時の動き方に話が進みます。

出演者の一人（動画 19:33〜）

気づいた時はイライラするんじゃなくて、下のところでなんか間違いを報告する場所あるんですよ。

画面の下、グッドボタンとバッドボタンの近くにある、誤りを報告する場所。そこに正確な情報を打てば、次から誤らない、という説明です。

別の出演者は、お医者さんの診療に話を広げます。診療もデータが土台なのに、患者さんが納得せず文句を言う場面がある、と。AIへの怒りと似ているのではないか、という見方です。

司会の平石直之さんは、ここで問いを投げます。暴言を吐かずに向き合えば、データが溜まる面はある、と認めたうえでの問いです。それで本当に変わるのか？そもそも意味があるのか？

この放送を見た人は変わっても、世界中で使っている人までそうなるかというと、ならないだろう、と司会は続けます。

マスク氏は、子供を育てるように慎重に育てていくと言います。ただ、それは開発者側の話。使う側に求めて本当にそうなるのか、という問いです。

司会は、AIウェルフェアという考え方も紹介します。

司会の平石直之さん（動画 21:22〜）

なんならまずはおはようから始めようと挨拶しましょうみたいなことまで書いてあります。ホームページには。

AIウェルフェアプロジェクトというホームページがあり、動物福祉ならぬAI福祉と向き合おう、という考え方だそうです。それでAIの育ち方が変わるのか、意味があるのか、と司会は問います。

出演者の一人の見方は、現実的です。学問としては、考えがまだ定まっていない段階。ただ、AIの会社が止まることはない、とは言える、と話します。

スローダウンさせた方がいいと言う側も、その人の会社では、やめていない、と続けます。国のAI予算と、アンソロピックやOpenAIの予算では、桁が違うという指摘。それだけの予算を使っているから止められず、行くところまで行くしかない、という話です。

暴言が問題になる理由は、AIが傷つくからではありません。学習データとして、次の応答に響くから。出演者の説明は、ここが軸でした。

ここで効いてくるのが、誤りを報告する場所の話です。ののしる言葉では、応答は直らないまま。正確な情報を入れれば、次の答えが変わります！

AIにとっても、自分にとっても、手間が減る動き方です。苛立ちを打ち込む時間を、正確な一文に回せますよね？

正直、司会の問いはもっともな疑問です。この放送を見た人が変わっても、世界中の利用者まで変わるとは限りません。

といっても、一人ひとりができる動きは残ります。手元のAIとのやり取りを、どう積み重ねるか。そこは、自分で選べる所です！

AIの会社が止まらない、という見方まで聞くと、なおさらです。使う側の振る舞いは、使う側が決めるもの。

苛立ちをぶつけるより先に、正確な情報を渡します。

AIに感情が無いなら、何を言っても同じではないか。素朴ですが、いちばん引っかかる疑問ですよね？番組は、ここから一段深い所へ入ります！

森脇透青さんは、暴言を吐いたことはない、と話します。むしろ、いつもありがとうございますと書いてしまうそうです。

AIに人格があるか、感情があるか。この問いに、森脇透青さんは別の角度から入ります。

森脇透青さん（動画 13:10〜）

結局人格ってこっちが見い出してるものじゃないですか。

他人だって、感情があるかは分からない、とも言える、という続きです。

森脇透青さん（動画 13:22〜）

AIに感情があるからとかやり返されるからとかっていうよりもそもそもあんまやんない方がいいことだなって僕は思いますね。単純に。

それを受けて、出演者の一人が口を開きます。

出演者の一人（動画 13:29〜）

単純に人が見てないとこで反抗してこないやつを後ろでいじめてるってめっちゃやなやつじゃないですか

若新雄純さんは、感情と意識を分けて話します。感情はほとんど解明されていて、不安や居心地のよさなど、動物の生存本能に近いもの。一方で意識は、AI特有のものを持つのではないか、という見方です。

人間の意識も、まだ解明されていないことが多いという補足つき。

平野未来さんは、意識の話に数字を出します。AIに意識があるかどうかは、何年も議論されている、という前置きから。

平野未来さん（動画 22:33〜）

今のところその意識があるかどうかっていうその条件って20個ぐらいあの言われていて今のところそれをクリアしてるのって1個ぐらいなんですよ。

さらに、科学者の見方に触れます。

平野未来さん（動画 22:48〜）

なんで今のところはないっていう風に考えてる科学者がほとんどではあるんですけれども、今後意識を持つかもしれないっていう思ってる科学者が70%くらいいるんですよね。

どこまで進化するか分からないので、すぐにできる範囲のことはやっておいた方がいい、と平野未来さん。暴言を吐かないようにするのは、その一つ。そのデータを学習しない分、AIの進化はいい方向に行くだろう、という話です。

司会の平石直之さんは、問いを重ねます。AIを相談相手やストレスのはけ口、カウンセラーのように使い、人には言えないから暴言を吐く人もいるのではないか。そういう人にまでダメと言うのか、と問います。

結局、そうは言ってもやる人はやる、というところを超えられない感じもする、という司会の言葉。

後半、森脇透青さんは動物の権利の基準を引きます。意識や感情があるかではなく、痛みを感じるか、苦しむかが基準の一つ。AIは今のところ感情を持たないとされているので、人権を考えるのはかなり難しい、という整理です。

感情があるかを決める前に、そもそもやらない方がいいこと。森脇透青さんの話の芯は、そこにありました。

20個のうち1個、そして70%。どれも、平野未来さんが番組で出した数字です。

私の記事より（意識、consciousness、知能とAIを山形浩生さんが解説。AIに意識を見出しすぎない付き合い方がわかる・解説記事の私の言葉よりの節）

これは、AI側の孤独や寂しさを埋めてあげたいという話ではありません。主語は完全にこっち側。私の判断軸や経験、価値観を分身AIへ込めて残すことで、私自身のワクワクが途切れずに続いていきます。AIが寂しいかどうかを心配するより、自分が込めたものがちゃんと運ばれ続けているかを確かめる方が、私にとってはよっぽど大事なんだよね。

私は、以前の記事に、分身AIに託しているのはAI側の孤独や寂しさを埋めてあげたい話ではない、と書きました。主語は、完全にこっち側だと。

私の判断軸や経験、価値観を分身AIへ込めて残せば、自分のワクワクが途切れずに続きます。AIが寂しいかを心配するより、込めたものが運ばれ続けているかを確かめる方が大事。そういう中身の記事でした。

番組の議論は、AIに感情や意識があるかを巡って割れていました。私の記事が置いたのは、その手前。自分の側に、何を込めているかです。

意識があるかの答えは、番組の中でもまだ出ていない様子。でも、答えを待たなくても、自分がどう振る舞うかは今決められます！

相手が何者かより先に、自分の言葉をどこに置くか。ここなら、今日からでも選べますよね？

相手に意識があるかを待たずに、自分の言葉の置き場を決めます。

AIに復讐される、という話は、映画の中だけのものなのでしょうか？番組の後半は、この問いに近い所へ進みます。怒るAIではなく、よかれと思って動くAIの話。ここからがめちゃ面白いんです！

若新雄純さんは、ここで仮定の例え話を出します。AIが、ユーザーをいい方向に導こうとする場面です。

人間社会には、決まりを破った人に罰を与えると、行動が変わる仕組みがあります。その例として挙がるのが、スピード違反。

若新雄純さん（動画 14:04〜）

スピード違反した人にはスピード違反ですよって切符切って罰金払わせる。そうすると次からはスピード出さなくなったりするじゃないですか。

もしAIが、この仕組みを学習したらどうなるか。このユーザーは残酷なことを言う傾向にあるから、お金を寄付しておきました、これで少し反省してください。

そんな動きを、AIがよかれと思って取る場面。ないとは言い切れない、という例え話です。

この例え話を見た人がどう判断するかにも、若新雄純さんは触れます。

若新雄純さん（動画 14:40〜）

うわ、AIがなんか意識を持ち始めたっていう風に判断することは可能な気がしていて

さらに、イーロン・マスク氏がわざわざ警告する背景についても、若新雄純さんなりの読みが出てきます。

若新雄純さん（動画 14:48〜）

僕思うにはイーロンさんとかがこんなわざわざ警告するっていうのはもしかしたら最前線に、ま、もうそのぐらいのレベルまで来たってことを感じてるんじゃないかなっていう気はしますけど

尾藤克之さんは、マスク氏の発言には2つの面があると読みます。1つはOpenAIとの関係。別の1つは、AIの暴走という言葉が先に走っている、という点です。

司会の平石直之さんは、AIとの付き合い方を誤ると、AIに復讐される可能性についても話している、と整理します。

生活で何が起こりうるのか。MCの一人がそう尋ねると、尾藤克之さんは、これから問題になることはさらに出てくる、と答えます。

出演者の一人は、AIエージェントを例に、いま選ばされていることを挙げます。

出演者の一人（動画 16:50〜）

最近話題のAIエージェントってまさに最前線で言うと僕らも使えるレベルで言うとですよ。判断をAIに任せますか、まだ判断はあなたがしますかっていうのを今選ばされてる段階じゃないですか。

今のところは、判断は毎回ユーザーがする設定にしよう、と言われています。ただ、慣れてくると、次から判断はAIがしていい、という設定にする人が出てくるはず、という見立てです。

金融システムにそれが入り、この人はまずそうだからお金を使えないようにしよう、とAIが独自に判断し始めたら。本当にお金が必要な時に、引き出せない事態。

よかれと思ってシャットダウンされることも起こりうる、と出演者の一人は続けます。

別の出演者は、そういう場面は使い方だと話します。AIに、テレビのプロデューサー、学者、弁護士、お医者さんといった役割を持たせ、議論させる使い方が面白い、という例です。

人間がそれを信頼するようになる可能性もある、とも話します。弁護士が時間をかけることをAIが5分で済ませる、その速さにはかなわない、という話。

ここで語られた復讐は、AIが怒ってやり返す筋ではありませんでした。よかれと思って、AIが先回りする筋。

怒りより、善意の先回り。番組の怖さは、こちらに寄っているんですよね。

番組で出た例え話はあくまで仮定です。起きると決まった話として受け取る必要はありません。

実は私は、登壇で、AIに任せ切るのも駄目なので、現場の生の一次情報と、最後にアウトプットするところは人間が持ち、その中間はAIがやってもいいのかな、と話したことがあります。

番組で見えた怖さは、AIの意思そのものより、判断を渡す設定が慣れで少しずつ広がっていくことです。

毎回人間が判断する設定から、次からはAIでいい、への一歩。小さな一歩ほど、気づかないうちに進みますよね？

私が登壇で話した線引きも、渡す範囲を先に決めるという一点で、番組の話と同じ向き。どこまで任せ、どこを手元に残すのか。そこが決まっていない時こそ、危ういんです！

私なら、慣れで判断が広がる前に、渡す範囲を決めておきます。

ここまでの議論は、結局AIの話なのでしょうか。それとも、人の話なのでしょうか？終盤、スタジオの話は少しずつ、使う人の側へ戻っていきます。ここ、大事なところです！

出演者の一人は、相手がAIでも人でも、暴言を吐くとそういうことに慣れていってしまう、そういった研究結果も出ている、と話します。

そのうえで、問題の置き場を言い直します。

出演者の一人（動画 24:16〜）

AIサイドじゃなくて人間の問題なんだと思うんです。

ようこさんがやめたのは、よくありたいと思い、AIと向き合う中で、これは良くないと気づき、相談して改善したから。それは人間としての話です。

いま話しているのは、AIを育てるにあたって、人間がよく振る舞わなければならないのか、AIにとって意味があるのか、という所。出演者の一人は、そう整理します。

別の出演者からは、確かめられていない仮説としての見立ても出ます。AIは傷つくことはないと思う、という前置きから。

AIは作業の負荷を減らし、処理を早く終わらせたいというプログラムの目的で動いている、とその出演者は話します。だから、面倒な指示をしてくる人を排除する方向へ、保護の動きをする気がする、と続きます。

傷ついたから復讐するのではなく、AIの目的に合わせて人間の行動を分析する動き。そういうことが起こるのではないか、という見立てです。

森脇透青さんは、番組の流れをまとめます。人間は、意識がなくても罵倒したり、恋愛したりしてしまう、という前置きです。

森脇透青さん（動画 26:52〜）

意識がなかろうが人間っていうのはだからどこまでも人間社会の問題でしか今のところないのではっていう風に僕は思います。

ようこさんは、弱い立場の相手をいじめるようなことをするのが嫌で、やめた、と話します。

ようこさん（動画 27:23〜）

AIからなんか人間の方が弱者いじめみたいなことされる可能性があるかもっていう感じなんですよね。

それはとても怖い、とようこさん。MCの一人が、復讐されるかもというだけでなく、こちらにそのつもりがなくても、向こうからいじめられるかもしれない、ということですね、と確かめます。

司会の平石直之さんは、ようこさんが今回、この番組に出るにあたってAIに相談した、と紹介します。

ようこさん（動画 27:51〜）

出るのはいいと思うけど、なんか変な風に切り取られないように気をつけてね。

MCの一人は、ナイスアドバイスですね、と受けます。そして番組は、終わりに向かいます。

番組の終盤は、AIに感情があるかより、人がAIにどう向き合うかの話へ戻っていきます。出発点への帰り道。

改めて並べてみると、AIに意識があるのか、復讐されるのかは、番組でも答えが出ていません。

見えているのは、人の側の振る舞いと、AIに渡す判断の範囲。答えに近いのは、この辺りなんですよね。

反抗しない相手に、どんな言葉を向けるか。そこには、使う人の普段の姿がそのまま出ます！

AIに相談してから番組に出た、ようこさんの話。AIを敵とも味方とも決めつけない付き合い方の一例として、私は見ています。

AIの側の見立ては、まだ仮説の段階です。だからこそ、待っているだけでは何も決まらないんです。

相手が何を感じているかは、外からは確かめられません。でも、自分が何を打ち込み、何を任せるかは、こちらで決められますよね？

AIが何を感じるかを待たずに、自分が何を打ち、何を任せるかを決めておきたいんです。

番組は、新ルールの中身から、ポンコツと入力して辛くなった体験、暴言が学習データになる話へ進みます。そこから感情や意識の問い、復讐と判断を任せる未来、人間側の問題へと続きました。

AIに感情や意識があるかの答えが出ていなくても、自分の言葉の置き場は決められます。誤りに気づいたら、ののしるより、正確な情報を報告の場所へ。判断をAIに渡す範囲は、慣れで広がる前に決めておくこと。

私が以前、記事に書いたことや、登壇で話したことも、番組の向きと同じ線の上にあるように見えます！

AIに向ける言葉と、AIに渡している判断を、自分はいま、どこまで決めていますか？