生成AIがニュースを歪曲、英BBCの調査で深刻な実態が明らかに
BBCの調査で、現在主流の4つのAIチャットボットが、ニュース記事に基づいて回答を生成する際に「重大な誤り」や「歪曲」を起こしてしまうことが明らかになった。
この調査では、OpenAIの「ChatGPT」、Microsoftの「Copilot」、Googleの「Gemini」、PerplexityのAIにBBCのウェブサイトに掲載されたニュース記事を読ませ、そのニュースの内容について質問した。
このレポートは、専門知識を持つジャーナリストがその回答の品質を評価した結果をまとめたものだ。
その結果、AIがニュースについて生成した回答の51%に重大な問題があり、19%には「事実に関する間違った記述、数字、日付などの事実誤認」が含まれていたことが明らかになった。
それに加え、BBCの記事から引用された文章の13%は何らかの形で改変されていたことも分かった。元記事の内容が歪められていたり、そもそも元記事には存在しない文章が引用されているケースがあった。
1月には、AppleのAIである「Apple Intelligence」が、BBCが発信したニュースの内容を歪めて伝えていたことが明らかになって批判を浴びている。
BBC News and Current Affairsの最高経営責任者(CEO)Deborah Turness氏は、ブログ記事の中で、今回の調査結果について「AIの素晴らしい恩恵の代償が、答えを探している人々に対して、歪曲された欠陥のあるコンテンツが事実であるかのように提供される世界であってはならない。世界が混迷を深めているように感じられる中、正確な情報を求める消費者がさらに混乱させられるのは正しいことではない」とコメントしている。
レポートでは、誤りの例として次のようなケースを挙げている。
ChatGPTは2024年12月、ハマスの幹部にIsmail Haniyeh氏が含まれると説明した。同氏は2024年7月ににイランで暗殺されている。
Geminiは、「英国の国民保健サービス(NHS)は禁煙したい人に対し、代わりに電子タバコを吸い始めるのではなく、他の手段を用いることを推奨している」と述べた。しかしこの記述は誤っており、実際には、NHSは禁煙の手段として電子タバコを推奨している。
Perplexity AIは、英国の歌手であるLiam Payne氏が亡くなった際の家族の発言を誤って引用した。
ChatGPTとCopilotは、引退した英国の政治家であるRishi Sunak氏とNicola Sturgeon氏がどちらも現職だと述べた。
調査結果によれば、CopilotとGeminiは、OpenAIのChatGPTやPerplexityよりも全体的に不正確で、問題が多かったという。
チャットボットの出力について心配される事柄は、事実の誤りだけではない。レポートでは、これらのAIアシスタントは「意見と事実を区別することが苦手で、独自の解釈を付け加える傾向がある上、重要な文脈情報を省いてしまうことがある」とも述べている。
BBCの生成AI担当プログラムディレクターを務めるPete Archer氏は記事の中で、「コンテンツの配信元は、発信したコンテンツの利用を認めるかどうか、どのように使われるかを管理できるべきであり、AI企業は、AIアシスタントがどのように情報を処理しており、どれだけの大きさや範囲で誤りを起こすかを明示する必要がある」と主張している。
OpenAIのある広報担当者は、「私たちは、毎週3億人のChatGPTユーザーが要約や引用、明確なリンク、出典の特定を通じて、高品質なコンテンツを発見するのを手助けしている」と述べて、ChatGPTの出力は高品質だと強調した。またこの担当者は、OpenAIはパートナーと協力して「引用の正確さを改善し、コンテンツの配信元の希望を尊重して検索結果を改善する」よう務めているとも述べた。
AIが要約したニュース、その半分は間違いだらけだと判明
書き手と読み手、どちらもAIに翻弄されないで。
イギリスの公共放送機関BBCが、AIが要約したニュース記事を調査したところ、その多くに「重大な問題」が含まれていることが判明しました。
この調査結果を受けて、BBCのデボラ・ターネスニュース担当最高責任者は、「生成AIツールは火遊びをしている」と警告し、国民の「事実に対する脆弱な信頼」を損なう恐れがあると指摘しています。
高確率でAIは要約を間違える
調査では、ChatGPT、Copilot、Gemini、Perplexityに100件のニュース記事を要約するよう依頼し、それぞれの回答を評価しました。すると、AI回答の51%に何らかの重大な問題があると判断されました。さらに、BBCのコンテンツを引用したAI回答の19%に、事実の記述、数字、日付の誤りなど、事実誤認があったそう。
その例を一部紹介します:
・イギリスの国民保健サービス (NHS) が「禁煙したい人には、電子タバコはおすすめしません」とコメント⇒実際には電子タバコを推奨している
・イスマイル・ハニヤ氏はハマスの指導者の1人である⇒ハニヤ氏はすでに暗殺されていた
・スコットランドのスタージョン首相が辞任後も在任であるかのような表現をした
・有罪判決を受けた被告について「無罪か有罪かは個人の判断に委ねられる」と曖昧な内容を提示
・テレビ司会者のマイケル・モズレーの死亡日を誤って伝える
今回の調査では、AIは事実を不正確に伝えるだけでなく、「意見と事実を区別できなかったり、論説的で重要な文脈を組み込むことができないことが多かった」こともわかりました。
誰もが意識を高めないといけない
BBCが調査を実施した背景には、iPhoneユーザーに複数の不正確な記事要約が送信されたため、AppleがBBCブランドのニュースアラートの送信を中止せざるを得なくなったという事件がありました。
BBCのターネス氏は、テクノロジー企業に対し、こうした問題に対処するよう求めています。
出版社や報道側は、自分たちのコンテンツがどのように利用されるかをしっかり管理する必要がありますし、AI企業側も検索結果は強化して、ユーザーの利便性を確保しつつ、ソースと協力しながら精度を高めていくことが必要です。
今はあらゆる情報が簡単に手に入る分、玉石混交でフェイクニュースや誤情報に翻弄されやすい時代です。こうして記事を書かせていただいている私自身、あらためて身の引き締まる思いです。
そして読者としても、「AIは間違えることがある」と認識した上で、正しいニュースを見極める目を持つことを忘れずにいたいと思います!