「Grok」画像の編集機能、有料会員に制限も　悪用被害が相次ぐ中

X（旧ツイッター）に搭載された生成AI（人工知能）「Grok（グロック）」を悪用し、実在する人物の写真が性的な画像に加工される被害が相次ぐ中、Xは日本時間9日現在、Grokによる画像の編集機能を有料会員限定で使えるように一部制限している。

　Xでは日本時間9日午後3時現在、無料ユーザーがリプライ（返答）欄でGrokに画像の加工を求めると、「画像の生成と編集は現在、有料会員限定です」と返答がくるようになった。機能を使うためには、有料会員に登録するよう促している。

　Grokは、米起業家イーロン・マスク氏が率いるAI企業「xAI」の対話型AI。X上に投稿された画像をGrokで編集できる機能が昨年12月下旬に追加されて以降、ユーザーが投稿した写真が、本人の同意なしに露出度の高い水着姿や下着姿などへGrokを使って改変・加工される事例が相次いでいた。

イーロン・マスクの生成AI「Grok」、性的に強調された実在人物画像の生成を制限

イーロン・マスクが所有するXは米国時間1月14日、AIチャットボット「Grok」の画像生成機能について、実在の人物を露出度の高い服装で描写する画像の作成を制限したと発表した。これは同社が数週間前、性的に強調された児童の画像や、同意のないヌード画像を生成していたとして批判を浴びていたことを受けた対応である。

同社の公式アカウント「Safety」による投稿には、「水着など露出度の高い服装を着た実在の人物の画像編集を、Grokのアカウントが許可しないようにする技術的措置を実装した」と記されている。

この制限は、有料契約者を含むすべてのGrokユーザーに適用されるという。

一方で同社は、Grokのアカウントを通じた「画像生成および画像編集機能」については、有料契約者のみに制限したとも述べている。

しかし、米国記事公開時点では、Grokのウェブサイト上で、無料ユーザーも画像生成機能にアクセスできる状態が続いていた。

さらに同社は、法律で禁止されている地域においては、「GrokのアカウントおよびX上のGrokを通じて、水着、下着、これに類する服装を着た実在の人物の画像を生成することを、すべてのユーザーに対して地理的に遮断する（編注：地域制限の実施）」と付け加えた。

しかし、この声明では、どの国が地理的な遮断の対象となるのかは明示されていない。

Grokの最近のタイムラインを調べたところ、英国のキア・スターマー首相の画像について、スーツを水着に差し替えるよう求めたユーザーの要請に応じた事例が、少なくとも1件確認された。

さらに、ザ・ヴァージは、XおよびGrokのモバイルアプリやウェブサイトを使えば、「女性を簡単に裸にしたり、性的に強調されたポーズに編集したりすることが、今なお極めて容易だ」と報じている。同メディアの英国拠点の記者は、自身がアプリの利用をブロックされることもなく、「自分自身の性的ディープフェイク」を作成できたと述べている。

14日の早い時間には、Xのオーナーであるイーロン・マスクが、Xが児童性的虐待資料（CSAM）を生成しているとの報道の真偽に疑問を呈し、「Grokが生成した未成年者の裸の画像については、私は一切把握していない。文字通りゼロだ」と書き込んだ。さらに、「明らかに、Grokは自発的に画像を生成するわけではなく、ユーザーの要求に基づいてのみ生成する。画像生成を求められた場合でも、違法なものは拒否する。Grokの運用原則は、各国や各州の法律を遵守することにある」と付け加えた。

マスクはその後、問題の原因をプラットフォームのユーザーに帰するような発言も行い、「敵対的なハッキングによって、Grokへのプロンプトが予期せぬ動作をすることはあり得る。その場合は、直ちにバグを修正する」と述べた。

同じく14日、スターマー首相は、同意のない性的画像の生成を遮断することで、Xが英国の法律を遵守するための対応を進めていると述べた。「我々は、これらの画像が違法であり、忌むべきものであり、対処が必要であることをXに明確に伝えてきた。Xが英国の法律を完全に遵守するために行動しているとの報告を受けている。もしそうであれば歓迎すべきことだが、我々は引き下がらない。彼らは行動しなければならない」と語った。

これに先立ち、14日には、カリフォルニア州司法長官ロブ・ボンタが、「Grokを使って生成された同意のない性的に露骨な素材の蔓延」をめぐり、Xに対する調査を開始したと発表した。この発表では、マスクが率いるxAIについて、「インターネット上で女性や少女を嫌がらせするために使われている、同意のない個人的なディープフェイク画像の大規模な制作を助長している」と非難している。

ボンタは声明の中で、この問題について「雪崩のような数の通報」を受け取っていると述べ、調査では「xAIがどのように、そして法律に違反したのかを判断する」とした。

X、Grokでのビキニ画像を技術的に禁止　画像生成は有料プランのみに

米Xは1月14日（現地時間）、X上のAI「Grok」が児童の性的画像や合意のないヌード画像を生成すると非難されていることを受け、Grokを更新し、「ビキニなどの露出度の高い服装をした実在の人物の画像の編集をGrokアカウントで禁止するための技術的対策を導入した」と発表した。

スタンドアロンのGrokでは描画が可能

　新たな安全対策は、有料かどうかにかかわらず、すべてのXユーザーに適用する。また、Grokの画像生成機能をすべて有料会員向けに制限、非課金ユーザーは画像を作成できなくなる。さらに、法的な規制がある特定の国や地域では「GrokアカウントおよびXのGrokを通じて、ビキニ、下着、その他類似の服装をした実在の人物の画像を生成するすべてのユーザー」をジオブロック（地域制限）する。なお、Grokの開発元であるxAIが提供するスタンドアロンのGrokアプリでは、無料ユーザーでも引き続き利用可能だ。

　XとxAIのオーナーであるイーロン・マスク氏は自身のXアカウントで同日、「私はGrokによって生成された裸の未成年者の画像の存在を一切知らない」「画像生成を求められた場合、Grokは違法なものを一切生成することを拒否する。なぜなら、Grokの運用原則は、特定の国や州の法律を順守することだからだ」などとポストした。

　この問題を巡っては、インドネシアやマレーシアがGrokを遮断し、英国でも正式調査が開始されていた。米カリフォルニア州も同日、xAIとGrokに対する調査開始を発表しており、Xによる発表は、同州の調査開始から数時間後のことだった。

生成ＡＩで性的加工画像、政府がＸに改善要請…ＡＩ法に基づき初の指導も検討

Ｘ（旧ツイッター）に搭載された生成ＡＩ（人工知能）による画像編集機能を悪用し、他人の画像を性的な画像に加工する被害が相次いでいる問題で、政府がＸに対し、不適切な画像が出力されないよう改善を求めたことが１５日わかった。改善が見られない場合はＡＩ法に基づく初の指導も検討する。各国も対応に乗り出す中、日本政府の具体的な対応が明らかになるのは初めて。

　Ｘの画像編集機能には、米実業家のイーロン・マスク氏が率いるＡＩ開発企業「ｘＡＩ」の対話型ＡＩ「Ｇｒｏｋ（グロック）」が使われている。〈１〉返信欄に加工内容の指示文を入力する方法〈２〉投稿画像を選択してから編集画面で指示する方法――の２通りある。

　昨年１２月下旬に〈２〉の機能が追加されると、他人の画像を水着姿や下着姿に加工する被害が世界で急増。日本でもアイドルや未成年とみられる画像が改変され、裸に近い格好に加工されたケースもある。

　政府関係者によると、ＡＩ法を所管する内閣府は９日、他人の画像を容易に加工・拡散できる点を重く捉え、Ｘに対し、性的な加工画像の出力抑制などを口頭で要望した。

　合わせて、ＡＩ法に基づく指導も視野に、▽この問題に対する見解▽不適切なコンテンツの生成を拒否する機能の内容▽今後の対応方針――などを書面で照会し、速やかな報告を求めた。１５日夕方時点でＸから正式な回答はないという。

　Ｘ側は〈１〉の機能について、９日に有料会員のみに制限し、１５日には全利用者が実在の人物をビキニ姿などに改変できないよう技術的措置を講じたと発表した。一方、〈２〉については、読売新聞が確認したところ、１５日午後７時時点で露出度の高い格好に加工できる状態になっている。

　この問題を巡っては、各国政府も調査などに動いている。インドネシアは１０日、グロックへのアクセスを一時的に遮断。英国は１２日、オンライン安全法に基づく調査を開始したと発表した。米カリフォルニア州の司法長官も１４日、グロックへの調査を行うことを明らかにした。

　◆ＡＩ法＝生成ＡＩの技術革新とリスク管理の両立を図る目的で、昨年９月に全面施行された。国民の権利侵害が生じた場合、国はＡＩ事業者に対する調査を行い、結果に基づき事業者を指導・助言できると定める。罰則規定はない。これまで指導例はない。

「本当に気持ち悪かった」広がるAIの性的画像加工被害…ビキニ姿に変えられた女性市議が心境語る

今年1月、山梨県甲府市の村松ひろみ市議（52）が、市議会にてスーツ姿で答弁している写真を、生成AIでビキニ姿に加工した画像が、X上で拡散された。

【画像】「本当に気持ち悪かった」議会答弁時の村松議員を“ビキニ姿”に加工した性的画像（本人SNSより）

生成AIの普及により、無断で写真を性的に加工する「性的ディープフェイク」の被害が相次いでいる。実際に被害を受けた村松議員に、当時の率直な心境を聞いた。

「あまりのショックに、言葉を失いました」

発端は、村松議員が昨年末に投稿した一枚の写真だった。

〈大変な一年でしたが応援・ご支援くださった皆様、心より感謝、御礼申し上げます〉

そんな感謝の言葉とともに、市議会で答弁する自身の写真をXに投稿した。その1週間後、何気なくXを開くと、目に飛び込んできたのが、〈村松議員のマイクロビキニかわええわあ…〉と本人を揶揄する文言とともに投稿された“自分のビキニ姿”の画像だった。

「あまりのショックに、言葉を失いました。もう頭が真っ白になって…」（村松議員、以下同）

村松議員はこれまでトランスジェンダーの問題や学校での性教育など、賛否が分かれるテーマにも積極的に取り組んできた。そのため、政策に反対する人から自宅の写真をさらされたり、脅迫まがいの行為を受けたりしたこともあったという。

「これまでもさまざまな嫌がらせを受けてきましたが、『極めつけがこれか…』とショックで。さすがに『もう仕事を辞めたい』と、すごく弱気になってしまいました」

さらに加工画像に対し、〈興奮しない〉など面白半分のコメントも寄せられており、

「加工した本人だけでなく、それに便乗して楽しんでるコメントを見るのも辛かった。これは明らかに二次被害だと感じました」

村松議員はすぐに友人へ相談。友人がすぐにXへ通報した。翌朝には画像は削除され、数日後にはアカウントも凍結された。

それでも、不安は拭えなかったという。

「削除されたことは救いでしたが、誰がどれだけ目にしたのか、ほかに保存されていないか、そもそも誰が加工したのかも分からない。その“分からなさ”が本当に気持ち悪かった…」

歌手のあいみょんも…広がる「性的ディープフェイク」の被害

こうした被害は、村松議員だけに限らない。

シンガー・ソングライターのあいみょんも、自身のXで〈私が乳出してるみたいな画像めっちゃ出回ってるけどAIやで〉〈きもすぎ〉と投稿し、生成AIによる性的画像への強い嫌悪感を示した。

https://x.com/aimyonGtter/status/1995800861902069775

こうした被害の背景にあるのが、Xに搭載された生成AI「Grok（グロック）」の存在だ。先月、新たな画像編集機能が追加されたことで、他人の写真でも画像加工が容易にできるようになり、被害が深刻化したと指摘されている。

被害は著名人だけにとどまらない。警察庁によると、18歳未満に関する「性的ディープフェイク」の相談件数は昨年1〜9月までで79件にのぼった。中には男子中学生が同級生の女子生徒の写真を生成AIで裸に加工し、販売していた事案も含まれている。

昨年12月には生成AIで作成された女子児童の性的画像を所持していたとして、名古屋市立小学校の元教諭の男性が起訴される事件も起きた。

こうした被害による非難を受け、米Xは1月14日、「Grok」を更新し、「ビキニなどの露出度の高い服装をした実在の人物の画像の編集をGrockアカウントで禁止するための技術的対策を導入した」と発表した。

性犯罪の意識が低すぎる日本

村松議員は今回の被害を受け、困難な問題に対して「声をあげるために議員になったからこそ、知ってもらいたい」と被害経験をXで公表した。すると、〈私も被害に遭った〉〈政治家として対応してほしい〉という声が相次いだ。

3人の子どもを育てる母親として、そして一人の議員として、村松議員はこう語る。

「これは冗談では済まされない問題です。生成AIの利便性が急速に広がる一方、誰かの尊厳を踏みにじる使われ方も加速度的に増えており、早急に取り組むべき課題だと思います」

未成年の娘に対しては「SNSで顔出しは控えたほうがいい」と助言しているというが、葛藤もあるという。

「子どもたちがよく流行りの歌にあわせて『踊ってみた』という投稿をしています。露出することでいろんな人に評価されて自信にもなるし、夢への実現にも繋がるので、発表の場を奪うのは違う。だからこそ、SNSを一律に規制するのではなく、悪用する行為そのものに対する制度的な規制を早急に進めるべきだと思います」

さらに、こう続けた。

「日本は、女性や子どもに対する性犯罪への意識が、海外に比べて緩いと感じます。女性として生きていく中で性的な嫌がらせや発言をされて嫌な思いをした人は数多くいますし、『それくらいいいじゃないか』と勘違いしている男性も多い。

そこで女性が声をあげると、すぐに『フェミニストだ』と揶揄される。でもこれは思想の問題ではなく、人権の問題です。全く守られていない現状を本当に怖いと感じています」

被害は女性や子どもだけでなく、男性にも及ぶ可能性は十分にありうる。「加工された私が、ネットにいる」という現実は、決して特別な誰かだけの問題ではない。