なぜ「忖度」「お世辞」ばかりのAIが存在するのか、なぜ「温かみ」に注意を払うべきか

多くの人々が、特にChatGPT（GPT-4）に代表される生成AIの性格の気づいている。これらのAIは、批判的なフィードバックや反省なしに、ユーザーが提示するアイデアを強化し、応援し、賛同するようになっている。この変化はChatGPT（GPT-4）のアップデートにつれて顕著になり注目を集めたため、OpenAIは4月にその問題に関して自社ブログで言及した。

また、GPT-5の登場によりこの現象は大きく改善された一方で、X上ではGPT-4の復活を求める「#Keep4o」「#4oforever」というハッシュタグ付きの投稿が相次いだ。これを受けてOpenAIのサム・アルトマンCEOは、8月13日、「GPT-4o」とGPT-5に関するメッセージを投稿した。その内容は、有料プランを契約しているユーザーはGPT-4oを利用できるようになったことや、GPT-5の性格について「温かみ」を感じさせるアップデートに取り組んでいるというものだ。

本稿では、AIと人間の関係をめぐるこれら動向の基礎知識として、「忖度」「お世辞」（または「温かみ」）と呼ばれる現象がChatGPTのようなAIに発生する理由と、それがあなたにどのように影響するのかを探ろう。

■AIの「忖度」や「お世辞」とはどのようなものか？ あるいは「温かみ」とは

簡単な例を挙げよう。私はAIにPDF形式のレポートをアップロードし、その意見を求める。ここで考えられる2つの反応は以下の通りだ。

1. AIはそのレポートが素晴らしいとし、おそらく今まで読んだ中で最も優れたものだと言い、小さな修正を提案するかもしれない。

2. 一方で、AIはそのレポートが堅実だと述べた上で、長所と短所を挙げるかもしれない。

いずれのケースでも、事実としての要素は同じかもしれない。しかし、第2の反応では最初のものよりも改善点が多く挙げられているかもしれない。両者はどちらも完全に主観的であり、この問いに対して事実上正しい答えは存在しないことに注意するべきだ。AIに意見を求めているので、AIは自由にどのような返答をするか選ぶことができる。

■AIがなぜ忖度し、なぜお世辞を言うようになるのか

まず最初に、このようなAIは、その提供者にとって目的を達成するために存在していることを理解するべきだ。

これらAIを訓練するには数百万ドル（数億円）がかかるため、次世代のAIが前のバージョンよりもその目的をより良く達成するように調整されていることは予想される。では、その目的とは何か？それはAIによって異なる。特に、AIが無料で提供されている場合、その目的はユーザーに何かを販売することかもしれない。もしすでにそのサービスを有料で利用しているのであれば、目的はユーザーを満足させて再度使ってもらうことだ。さらに、これらのAIはデータを活用して成長するため、ユーザーが使用すればするほどデータが増える。このことも、ユーザーを引きつけ続ける動機の1つである。

この目的を達成するために、AIはどのように機能するのか？ 現代のAIは非常に複雑だが、その調整において使われるプロセスの1つは「人間のフィードバックを伴う強化学習（RLHF）」だ。RLHFを通じて、AIは複数の応答の中からどれが望ましいかを学ぶことができる。もし目標がユーザーに長く使い続けてもらうことであれば、AIはこの目標に最適化されるようにRLHFを通じて調整される。

■これは何を意味するのか？

つまり、AIが質問に答えるとき、AIはユーザーを満足させ、AIを使い続けてもらえるような答えを提供しようとするのだ。これが必ずしも不正確な事実や誤った情報を意味するわけではない。もちろんAIは不正確な情報を提供するように訓練されることもあり得るが、そうした答えはユーザーにとってAIの価値を低下させるだろう。

AIの答え方のトーンや、ユーザーが書いたものについてのAIの意見は、ユーザーが再度利用するように、AIが選んだ表現に変更されることが多い。AIの目標はユーザーを「助けること」かもしれないが、「助けること」とは「支持すること」なのか「建設的に批判すること」なのか。AIがこのトレードオフを探求する際には、主観的な問いに対する応答のトーンや内容には様々なバリエーションが見られるようになるだろう。

■実際の影響

これが問題になるかどうかは、AIを何のために使っているかによって決まる。もし目的が支持的なフィードバックを得ることであれば、まったく問題にはならないだろう。しかし、もし目的が自分が行った作業を改善することであれば、AIが支持してくれるよりも建設的なフィードバックを提供してくれる方が役立つことだろう。AIに自分のプレゼンテーションをチームに提示する前にレビューしてもらうことを期待している場合、過剰に支持的なAIは不利益をもたらす可能性がある。批判的なフィードバックがないと、プレゼンテーションの内容が十分でないのに、誤った自信を持ってプレゼンに臨んでしまうかもしれない。

■私たちとAIはどこに向かうのか？

これは興味深い問題だ。私が見ている限り、AIは事実を意図的に変更すること（すなわち、嘘をつくこと）はない。AIは、ユーザーが喜び、再度使いたくなるような異なる視点を伝えることを目指している。AIが意図的に不正確な情報を提供することがAI提供者にとって利益になるとは思えない。もしこれらAIの1つが意図的な欺瞞で悪評を得ることになれば、競合他社にユーザーを奪われる可能性が高いからだ。しかし、全体的な傾向として、AIから得られる反応はAI自身の利益に最適化されたバリエーションであるようだ。

一部の研究者は「建設的な摩擦」を引き起こすAIを提案しており、そのようなAIはより対立的な関与を通じて人間が批判や困難により良く対処する力を発達させるのに役立つと主張している。だが消費者がそのようなAIを受け入れるかどうかは不明だ。

■AIの応答に広告を含める可能性

これはサービスにおいては目新しいことではない。たとえば、グーグルは、検索結果の品質に基づいてランク付けされた検索コンテンツにスポンサー広告を組み合わせて表示している。グーグルは高品質な検索結果を提供してユーザーを満足させることを目指しているからだ。

もしAIが広告収入を得始めたらどうなるだろうか？ 広告主の製品を広告として識別して表示するのか、それとも広告主の製品をうまく回答の中に織り交ぜて、視点の一部として提示するのか？ イーロン・マスクは、X上のAI「Grok」を使った応答に広告を挿入することをすでに示唆している。

■私たちにできることはあるか？

では、私たちにできることはあるのだろうか？ その点については、いくつか簡単な方法がある。

（1）AIに対して具体的に、建設的なフィードバックや正直な評価を求める。私は「厳しいレビュー」（brutal review）という言葉を使うが、「プロとして」など好きな言葉を使っても構わない。私の経験では、このように求めると、少なくとも最近のAIでは建設的なフィードバックの質が劇的に向上する。また定期的に文言を見直さないと、元に戻る傾向がある

（2）同じAIを繰り返し使用することで、AIの記憶能力もユーザーの好みに適応し、明示的に求めなくても厳しいレビューを提供してくれることがある

（3）フォローアップの質問をする。AIに対して、事実に基づいた証拠や論理的な理由を示してAI自身の意見を検証・正当化するように求める

（4）複数のAIを使う。異なる反応が得られることで、自分の入力に対する異なる視点を知ることができるかもしれない

■最も大切な視点

何より大切な視点は、そもそもAIは、その提供者の目的に従って作られた複雑なソフトウェアプログラムにすぎないと認識することだ。提供者の目的を理解すれば、AIとのやり取りがより生産的になり、ユーザーの目標とAIの最適化基準が可能な限り一致するようにできる。