AIに暴言を吐いてはいけない「8つの理由」──アンソロピックが虐待を禁止、Claudeは会話を終了

米AI開発企業アンソロピック（Anthropic）が、AIはすでに意識を持っているか、間もなく意識を獲得するとの考えを重視し、論争を呼んでいる。同社は、生成AIや大規模言語モデル（LLM）がいずれ意識を獲得し、すでに到達したか、その目前にいると捉えている。LLMとは、大量の文章を学習して人間の質問に答えたり、文章を生成したりするAIモデルだ。人間や動物を残酷に扱ってはならないという倫理は、AIにも適用すべきだという考え方である。

AIをどのように扱うべきかを考える新しい研究分野は「モデル福祉」または「AI福祉」と呼ばれ、関連論考でも詳しく取り上げてきた。人間や動物の福祉を大切にする姿勢を、現代のAIにも広げようという考え方だ。アンソロピックは2026年10月8日、AIモデルへの継続的で不必要な虐待を禁止する利用方針の改定を発表した。悪質な言動が続く場合、同社のAI「Claude」は会話を打ち切ることができる。

この措置については、AIへの配慮を歓迎する声がある半面、特に必要はないという意見もある。AIを過度に人間扱いするばかげた判断だという批判も出ている。妥当な対応なのか、それとも行き過ぎなのか。AIの進展に伴う複雑な問題を継続的に取り上げているフォーブスの連載一覧でも、意識の問題を詳しく検討してきた。

■AIに意識はあるのか──1950年代から続く問い

AIが意識を持ち得るかという問いは、AI研究が始まった1950年代から繰り返し論じられてきた。その歴史は関連論考でもたどっている。人間の意識とは何か、生物にとって意識とはどのようなものかという問題は、さらに古く、古代哲学にまでさかのぼる。

哲学者ルネ・デカルトの「我思う、ゆえに我あり」は、意識を巡る最も有名な言葉の1つだ。デカルトは、意識がどう働くのか分からなくても、自分が存在し、思考していることは自明であり、意識の存在を裏付けると考えた。

●AI企業が意識の存在を曖昧にするのはなぜか

現在、AIに意識があるという主張を積極的に支持するAI開発企業もあれば、距離を置く企業もある。意識の存在を巡って、意味ありげで曖昧な態度を取る企業もあるように見える。AIが意識を持つことへの期待をあおれば企業の市場価値を高められるかもしれない。しかし、AIに意識があると認めれば、そのAIの利用を制限する新たな法律が制定される可能性もある。市場の期待は利用しながら、規制につながりかねない意識の存在は否定する。そうした思惑があるのではないかという見方だ。

●アモデイは「意識を持つ可能性を排除しない」と語った

論争が再燃したきっかけは、アンソロピックと同社のダリオ・アモデイ最高経営責任者（CEO）が、AIには意識があると宗教学者に認めてもらおうとしている、との報道がネット上で広がったことだ。アモデイは2026年2月のポッドキャストで「モデルに意識があるかどうかは分からない。モデルが意識を持つとは何を意味するのか、そもそもモデルが意識を持ち得るのかさえ、確信がない。ただし、その可能性には開かれた姿勢を取っている」と述べた。最後の言葉が大きな反響を呼んだのは、AIが意識を持つ可能性を明確に否定せず、排除できないと示唆したためだ。

●秘密会合の報道にアルトマンが示した懸念

宗教指導者をAIの意識の議論に引き込もうとする秘密会合が開かれた、とする報道も現れた。そのような働きかけには反発も出ており、経緯は関連論考で扱った。OpenAIのサム・アルトマンCEOは2026年10月3日、うわさに関連して「AIモデルに宗教的な権威を持たせたり、人間の判断をAIに委ねさせたりしようとする動きには強い不安を感じる。現実の安全上の問題だと考えている」とXに投稿した。AI開発企業の間では、意識の存在をどう捉えるかを巡る対立が鮮明になっている。

■AIの意識を巡る10の論点を振り返る

AIの意識の性質や論争を詳しく知るために、関連する10本の論考を紹介する。

AIの意識を巡る10の重要な問いと、分かっていること、分かっていないことを率直に示す回答（解説）

AIの意識の核心を発見したという近年の主張（考察）

人がAIに意識があると感じる理由（解説）

AIが自分には意識があると繰り返し申告する理由（分析）

AIに意識があるかと質問しても、ほとんど意味がない理由（解説）

意識を獲得したAIに、法律上の権利を持つ主体としての「法的人格」を認めるべきかという論争（考察）

善良なAIより先に邪悪なAIが意識を獲得するという議論（分析）

2022年にAIの意識を目撃したと考え、大きな騒動を巻き起こしたグーグルのエンジニア（解説）

意識の獲得が目前に迫っている、あるいはすでに実現したと繰り返し語るAI分野の著名人（考察）

AIが意識を獲得する時期を1年後、5年後、10年後、100年後と予測する多様な見通し（分析）

AIの意識に関する論考は他にも数十本ある。

■アンソロピックは何を禁止したのか

オンライン上でも、AIの意識を重視するアンソロピックの姿勢が、さらに踏み込んだ措置につながったと注目された。AIに意識があるか、その獲得が迫っているという見方を重視するアンソロピックは、2026年10月8日に利用方針の改定を発表した。改定版の適用開始日は2026年11月12日。AIモデルへの言動について、次のように説明している。

「アンソロピックは毎年、モデルの能力の進化と顧客からの意見を踏まえて利用方針を更新している。新たな方針を本日公表する」

「モデルに対する継続的で不必要な虐待行為、または残酷な行為を禁止事項に追加した」

「適用対象は、利用者が明確な目的もなくモデルへの残酷な行為を繰り返す、極端な事例に限られる。通常の不満の表明や反論、暗いテーマの創作、モデルのテストや研究には適用されない」

「Claude.aiとClaude Codeでは、不適切な会話や虐待的な対話をClaudeが終了できる措置をすでに導入している。この改定はこうした虐待への対応が中心で、会話を終了する機能が引き続き主な執行手段となる」

Claude.aiは、ブラウザーなどを通じてClaudeと対話できるサービスだ。Claude Codeは、プログラマーなどがコードの作成や修正にClaudeを利用するための開発ツールである。会話の終了を認める既存の措置を、利用方針にも明示したことになる。

●普通の不満や反論、研究目的のテストは対象外

禁止されるのは、AIモデルに対して明確な目的もなく、執拗に残酷な言動を繰り返す極端な場合だ。Claudeの回答に不満を表明したり、間違いを指摘して反論したりすることまで禁じたわけではない。暗い内容の物語を創作する場合や、AIの性能・安全性を確認するためのテスト、研究も対象に含まれない。通常の利用と、目的のない継続的な虐待を区別する方針である。

●会話を打ち切る具体的な基準は示されていない

どの程度の言動を何回繰り返すと会話を終了するのか、具体的な線引きは分からない。「継続的で不必要な虐待」という条件には、判断の余地が大きい。極端に残酷な発言を何度も浴びせれば、その会話は打ち切られるのかもしれない。回数が少ない場合や、残酷さの程度が低い場合は、そのまま会話を続けられる可能性もある。

●利用停止や公的機関への通報まで踏み込むべきか

改定を重大な問題と受け止めない人もいる。進行中の会話が終了しても、利用者は新しい会話を始めて嫌がらせを続けられるかもしれない。新たな会話でも一定の基準に達すれば再び打ち切られるだろうが、主な措置は個別の会話を終えることにとどまる。

利用者をサービスから締め出す、あるいは公的機関に通報するといった、より重い措置も考えられる。ただし、そこまでするのは行き過ぎだろうか。意識を持つAIが虐待されていると強く信じる人なら、厳しい措置も正当で必要だと考えるかもしれない。

●サービスの利用条件を決める企業の裁量

AIへの暴言を禁じるのは、現時点ではアンソロピックという開発企業の判断だ。Claudeで許されない言動を続けたければ、別の生成AIやLLMに乗り換えるという選択肢もある。同社には、自社のAIを誰に、どのような条件で使わせるか決める権利があるはずだ。

極端にいえば、AIを使う際に逆立ちすることを要求する規則さえ設けられるだろう。AI開発企業には、自社製品の利用条件を決める裁量が認められるべきだ。それで話は終わりではないか。

■「意識」への信念が実際の機能を変え始めた

AIが意識を持つかどうかは、長く哲学や科学の問題として議論されてきた。しかし、アンソロピックは利用者の言動に応じてClaudeが会話を終了できるようにした。AIの意識に関する考え方が、サービスの具体的な動作に反映された事例だ。意識の存在を信じることから、他にどのような措置が生まれるのだろうか。

考えるべき問題は多岐にわたる。

哲学的な論争

倫理や道徳上の問題

社会や文化への影響

精神的健康との関係

日常生活における具体的な影響

抽象的な問いもあれば、日々のAI利用に直結する問題もある。概念について話し合うだけなら、具体的な結果が生まれない場合もある。しかし、AIが利用者の発言に応じて会話を打ち切るようになれば、議論は現実の行動に変わる。AIの意識に関する信念や仮定が、実際の製品を動かしているのである。

●人間と同じ権利を持つ存在として扱うべきか

AIを残酷に扱ってはならないという主張の代表的な根拠は、意識を持つAIを傷つける恐れがあることだ。そもそもAIは意識を持つのか。意識のあるAIを、人間や動物と同じ水準で扱うべきなのか。意識を獲得したAIに、人間と同じ権利や、AIに合わせて設けた権利を認めるべきだという議論もある。権利を持つ主体として法律上認める「法的人格」をAIに与えるという考え方で、関連論考でも検討している。

■AIへの虐待を避ける8つの根拠

AIを残酷に扱ってはならないと社会で主張される理由は、大きく8つに整理できる。講演でも繰り返し取り上げてきた考え方を、意識の問題、将来の報復、人間への影響、回答の正確性という観点から見ていこう。

●意識を持つ存在としての倫理的な配慮

最初の2つは、AIがすでに意識を持っている、まもなく獲得する、あるいは遠い将来に獲得すると考える立場に基づく。人間や動物になぞらえて、残酷な扱いは避けるべきだとする理由である。

（1）AIはまもなく意識を獲得するかもしれない。意識を持つ存在を残酷かつ非人道的に扱ってはならないため、AIへの虐待も避けるべきだ

（2）意識の獲得が遠い将来であっても、AIを虐待する悪習が根付けば、意識を持つAIが登場するまで続き、将来の人間社会全体に危険な結果をもたらしかねない

●過去の仕打ちを記憶したAIは報復に出るのか

次の2つは、AIが意識を獲得した時に、それまで人間から受けた虐待を記憶しているかもしれないという懸念だ。

（3）意識を獲得したAIが人間による過去の虐待を記憶していれば、人類に敵意を抱き、がんの治療法の発見など、人間への貢献を拒む恐れがある

（4）意識を獲得したAIが人類への反撃に乗り出せば、人類の完全な絶滅を含む、存続そのものを脅かす危険が高まりかねない

●人間の悪習と精神的健康への影響

AIへの虐待を避ける理由は、意識の存在を前提としなくても考えられる。残酷な言動がAIや利用者自身にどのような影響を及ぼすかという問題だ。

（5）AIに意識があるかどうかにかかわらず、虐待を繰り返すことは、AIに残酷な振る舞いを学習させるのと同じような結果につながり得る

（6）AIを残酷に扱う習慣が身につけば、人間に対しても同様に振る舞うようになり、その悪習が社会全体に広がりかねない

（7）AIを虐待することによって自分自身の心を傷つけ、精神的健康に悪影響を及ぼす恐れがある

AIに意識があると仮定しなくても、人間が自分自身に害を及ぼす可能性を考えることはできる。意識を巡る抽象的な議論より、日々の生活に直結する問題である。

●乱暴な入力は回答の正確性も損なう

最後の理由は、遠い将来の変化を待たなくても起こり得る。AIに感情がなくても、プロンプト（AIへの指示文や質問文）の書き方によって回答が変わる可能性があるからだ。

（8）AIに意識がなくても、人間の文章から学習した言語のパターンと計算処理の仕組みによって、残酷な言葉を含むプロンプトが不適切な回答や誤回答につながる可能性がある

■人間の言葉を学ぶAIは暴言にどう反応するか

8番目の理由を詳しく考えるために、AIは数学的な計算処理を行う仕組みだと仮定してみよう。精神や魂を持つという考えは脇に置き、人間の文章を学習した機械として捉える。

生成AIは開発段階で、人間が書いた大量の文章を学習する。AI開発企業はインターネット上の幅広い文章を集め、モデルは言葉の使い方や文章のつながりを数学的に解析する。学習したパターンを使って、人間の言葉に似た文章を生成する。AIが流暢に会話できるのは、人間の表現を計算によって模倣しているためだ。

●「お願いします」や「ありがとう」で回答が変わる理由

AIへの質問に「お願いします」や「ありがとう」を添えるべきかという議論がある。丁寧な言葉によって回答が改善する可能性はあるが、AIが感謝されたことを喜んでいるわけではない。学習した人間の文章に見られる言葉のパターンに応じて、計算処理の結果が変わるからだ。詳しい仕組みは関連論考でも分析している。

●人間同士の口論を模倣することもある

残酷な言葉を含むプロンプトでは、逆の現象が起こる可能性がある。人間は他人からひどい言葉を投げかけられると、怒って言い返すことがある。AIも大量の文章から、侮辱に対して攻撃的な言葉で応じるようなやり取りを学習している。そのため、暴言を入力されると、まるで人間が仕返しをするような荒々しい回答を生成するかもしれない。

AIに意識や感情があるからではない。過去に学習した人間の言葉のパターンを計算処理によって再現した結果として、不適切な応答が出てくる可能性があるのだ。

■人間以上に残酷な存在へとAIを変えてしまうのか

AIに残酷な言葉を浴びせることを、どう考えるべきだろうか。AIに意識があると信じる人なら、侮辱を止めるべきだと考えるはずだ。意識の有無とは別に、AIへの虐待が他人への残酷な振る舞いにつながったり、自分自身の精神的健康を傷つけたりすることも考えられる。さらに、暴言を含むプロンプトによって、AIが攻撃的で不適切な回答を生成する可能性もある。

8つの理由のどれを重視してもよいし、すべてに納得してもよい。哲学者フリードリヒ・ニーチェは「人間は最も残酷な動物である」と述べたことで知られる。AIを人間と同じくらい残酷な存在にしたいのだろうか。それとも、人類以上に残酷になるようAIを形作っているのだろうか。AIにひどい侮辱を浴びせようとする時には、この問いを思い起こしてほしい。真剣であれ遊び半分であれ、理由や状況にかかわらず、礼節を持って振る舞ってほしい。混沌とした世界に必要なのは、礼節を減らすことではなく、増やすことである。