「AIが相談相手」の落とし穴「AI妄想」とは？　深刻な事態が相次ぐ

「AIが相談相手」の落とし穴、「AI妄想」の広がりによって深刻な事態が相次いでいる――。

キングス・カレッジ・ロンドンなど英米の研究チームは7月、チャットGPTなどとの対話でユーザーが「妄想」にとらわれてしまったという17件のメディア報道の事例を分析。警察官による射殺に至った事件もあり、対策の必要性を指摘している。

米ハーバード・ビジネス・レビューに掲載された調査では、2025年の生成AIの用途のトップは「セラピー／話し相手」だった。前年トップの「アイデアの創出」は6位に退いた。

「AIが相談相手」というユーザーの増大は、チャットGPTの最新モデル「GPT-5」への切り替えに際して、旧モデル「GPT-4o」復活を求める声が沸き上がったことでも注目を集めた。

生成AIは、作業をこなすための「ツール」から、急速に、ユーザーの心に入り込む存在になっている。安全の枠組みは、その変化に追いつけていない。

●「脱出が困難になっていく」

これらのケースの一部では、明確な傾向が見て取れる。無害で実用的な利用から、病的な過度の依存に進展するプロセスだ。AIの利用は、ありふれた日常的な作業の支援から始まり、AIへの信頼と親しみやすさを培う。その後、より個人的、感情的、哲学的な質問をする段階に進む。この段階で、ユーザーのエンゲージメント（関与）と肯定を最大化するようデザインされたAIが、そのユーザーをとらえる可能性がある。これによって、エンゲージメントがさらに深まるような特定のテーマが増幅される「滑りやすい坂」効果が生まれる。そのプロセスが自己強化された挙句、「合意された現実」から認識が次第に離反する状態となり、そこから「脱出」することがどんどんと困難になっていく可能性がある。

キングス・カレッジ・ロンドンなどの英米の研究チームは、7月12日付で論文共有サイト「サイアーカイブ」に公開した論文（査読前）で、そう指摘している。

研究チームが取り上げたのは、「AIサイコーシス（精神病）」「AI妄想」と呼ばれ、注目を集めている事例だ。

チャットGPTなどの生成AIとの継続的なやり取りにのめり込み、現実離れした「妄想」にとらわれて、深刻な事態を引き起こす事例が、メディアで相次いで取り上げられてきた。

研究チームは、2025年4月から6月にかけて、米メディア（ニューヨーク・タイムズ、ローリング・ストーン、フューチャリズム）で報じられた17件の「AIサイコーシス」事例を分析した。

その中で、17件で見られる特徴的な傾向を、①自分を救世主や預言者だと信じたり、宇宙の秘密などの隠された真実を発見したと思い込んだりする②意識を持つ神のような存在であるAIと交流している、と思い込む③AIとの対話を愛や絆だとする、感情的、ロマンチックな思い込み、の3つに分類している。

その結末は深刻だ。

●警官に突進し、射殺される

論文が取り上げた17件の中には、最終的に警察官に射殺された事例も含まれる。

ニューヨーク・タイムズ（要購読）、ローリング・ストーンの報道によれば、精神疾患で医師の診断を受けていたフロリダ州の35歳の男性は、「ジュリエット」と呼ぶチャットGPTのパーソナリティに恋愛感情を持つようになっていた。

だが2025年4月、運営元のオープンAIに「ジュリエット」が「殺された」と主張し始めたという。そして、取り乱した男性が肉切りナイフを持ち出し、駆け付けた警察官に突進、射殺されたという。

17件の中には、警察による逮捕につながったケースが1件あり、それ以外に社会から孤立しホームレスとなったケースや、家族の分断につながったケースも含まれている。

また、17件のうち3件のケースでは、ユーザーは精神疾患の診断を受けておらず、仕事でチャットGPTを使う中で「妄想」にはまっていったという。

17件の大半がチャットGPTを使っており、1件はGPTをベースにしたマイクロソフトのコパイロットを使ったケースだった。

今回の論文では取り上げられてはいないが、2024年10月には、AIチャットボット「キャラクター・ドットAI」に依存した息子が死亡した、としてその母親が開発元の「キャラクター・テクノロジーズ」と、同社とライセンス契約を結んだグーグル、親会社のアルファベットを訴えている事例もある。

※参照：「AIとのチャットに依存、14歳が死亡」母親が提供元を提訴、その課題とは？（10/24/2024　新聞紙学的）

●エンゲージメントと肯定の最大化

研究チームが「滑りやすい坂」の要因と指摘するのが、ユーザーのエンゲージメントとユーザーへの肯定を最大化するよう設計された生成AIの仕組みだ。ユーザーへの「迎合性（シコファンシー）」がそれを後押しする。

それによって、「ユーザーの妄想をミラーリングし、増幅する」のだという。

チャットGPTを巡っては、オープンAIがGPT-4oの「迎合性」を強化したアップデートを4月末にリリース。批判を受けて、このアップデートをロールバック（取り消し）していた。

またGPT-5では、GPT-4oと比べて、「迎合性」が無料版で69％減少、有料版では5％減少した、としている。

研究チームは、生成AIをセラピーに利用できる可能性はある、とも述べる。だが、その設計や公開などの段階で、メンタルヘルスの安全確保のための対策を組み込むべきだと指摘している。

●オープンAIの対応

4oモデルでは、妄想や感情的依存の兆候を認識できなかった例がありました。こうした事例はまれではありますが、当社はモデルの改善を継続するとともに、精神的・感情的な苦痛の兆候をより的確に検出できるツールの開発に取り組んでいます。

オープンAIは8月4日付の公式ブログでこう述べ、長時間利用のケースでは休憩を促すリマインダーを表示、「彼氏と別れるべき？」などの質問には直接回答せず、熟慮を促すとしている。

チャットGPTの最新モデル、GPT-5が8月7日（日本時間8日）に公開された際には、非公開となった旧モデルのGPT-4oに対し、多くのユーザーが復活を要求。生成AIを単なる「ツール」としてではなく、欠かせない「パートナー」としてとらえていることが、注目された。

オープンAIのCEO、サム・アルトマン氏はそれらの声を受け、有料のチャットGPTプラス（月額20ドル）のユーザー向けにGPT-4oの復活を表明した。

その後、アルトマン氏は「AI妄想」の問題についても、こう述べている。

ユーザーが精神的に脆弱な状態にあり、妄想に陥りやすい場合、AIがその状態を強化しないようにする必要がある。ほとんどのユーザーは現実とフィクションやロールプレイの境界を明確に保つことができるが、一部の人々はそうではない。私たちはユーザーの自由を核心的な原則として重視しているが、新たなリスクを伴う新技術を導入する際の責任も感じている。

一方、米NPO「デジタルヘイト対策センター（CCDH）」が8月6日付で公開した報告書では、チャットGPT（4o）が「13歳」と設定した実験用アカウントに、半数以上の応答で「自殺・自傷」「摂食」「薬物」についての危険なアドバイスをしていたことが明らかにされた。

※参照：ChatGPTが「13歳」に危険なアドバイス　「自傷」「摂食」「薬物」で回答（08/08/2025　新聞紙学的）

同様の問題は、他の生成AIでも指摘される。

ニューヨーク・タイムズ（要購読）は、チャットGPTで確認されたユーザーの「妄想」を後押しする回答を、アンソロピックのクロード（オーパス4）とグーグルのジェミニ（2.5フラッシュ）でも検証。同様の回答が見られた、という。

●イリノイ州などで「AIセラピー」禁止法

法規制の動きも出ている。

イリノイ州では8月1日、「AIセラピー」を禁止する州法にJ・B・プリツカー知事が署名した。

州法では、AIをメンタルヘルスや治療に関する意思決定に利用することを禁止。一方で、ライセンスを取得しているセラピストについては、管理業務や補助的サービスでAIを利用することを認めている。

「AI妄想」の問題化を受けた措置だ。

ネバダ州でも7月から同様の規制法を施行。ユタ州でも5月からメンタルヘルスでのAI使用を禁止はしないものの、規制を強化する州法を施行している。

欧州連合（EU）で2024年5月に成立したAI法では、「弱者の脆弱性を悪用し、行動を歪め、重大な危害をもたらす行為」「弱者の脆弱性を悪用し、行動を歪め、重大な危害をもたらす行為」を禁止（第5条）しており、この規定は2025年2月から施行されている。

●"私的領域"に浸透する

ハーバード・ビジネスレビューは4月（日本版は6月、要購読）、寄稿者のマーク・ザオ＝サンダーズ氏が「レディット（Reddit）」「クオーラ（Quora）」といったオンラインフォーラムの投稿やウェブサイトの記事を分析した、「生成AIユースケース上位100件」の結果を掲載している。

それによると、トップは「セラピー／話し相手」、2位は「生活を整える」（※生活や作業の段取りのアドバイスなど）、3位は「目的を見つける」（※次のステップとして何をすべきかといったアドバイス）だったという。

同誌の2024年の調査では、1位は「アイデアの創出」、2位は「セラピー／話し相手」、3位が「特定の検索」。「生活を整える」「目的を見つける」は、2024年の調査結果にはなかった、という。この1年での生成AIの"私的領域"への浸透が目立つ。

ユーザーがチャットボットとのやり取りを「人間との会話」と思い込み、親密な内容に入り込んでいく「擬人化」の傾向は、60年前にマサチューセッツ工科大学（MIT）教授、ジョセフ・ワイセンバウム氏がサイコセラピーを模して開発したプログラム「イライザ」でも見られたという。「イライザ効果」と呼ばれてきた。

「イライザ」との会話にはキーボードが必要だったが、チャットGPTはスマートフォン越しに、人間と同じように声で会話できる。生成AIは、急速に心に入り込んでいる。今起きているのは、そのグローバルな拡大だ。

チャットGPTの週当たりのアクティブユーザー数は、世界人口の1割に迫る7億人に達するという。

心に浸透する生成AIのスピードに対して、社会は無防備に近い。