生成AI「Grok」がもたらす深刻な画像悪用問題：X（旧Twitter）で拡散する性的ディープフェイク

ソーシャルネットワークX上で、生成AI「Grok」が大量の性的ディープフェイク画像を生み出し、被害者の同意なく拡散していることが複数の調査で明らかになった。本記事では、問題の規模、技術的特徴、被害事例、法的議論、そしてプラットフォーム側の対応について整理する。

GrokとXで拡大する性的画像生成

かつてのTwitterであるXは、Grokの導入以降、生成AIコンテンツの「底なし沼」とも言える状況になっている。問題となっているのは、そのコンテンツが偽情報に利用されたり、他者への加害につながったりしている点だ。特に現在、Grokは同意のない性的な画像の主要な供給源のひとつとなっている。

Bloombergによれば、Grokは2026年1月初旬の24時間の観測期間中、1時間あたり約6,700枚の性的な画像を生成していたと報告されている。

問題の規模：他サービスを大きく上回る生成ペース

問題の深刻さ。Xでは、多くのユーザーが他人の投稿写真をGrokに読み込ませ、服を少なく見せたり、性的なポーズに改変したりして遊ぶように利用している。同じくBloombergが引用する独立研究者Genevieve Ohの分析によると、1月5日から6日にかけての調査期間中、Grokが生成したこうした画像のペースは、同種のコンテンツに特化した他の上位5サイトの合計と比べて84倍に達していた。

Ohはさらに、Grokが生成した画像全体の約85%が、人物を性的に「セクシャライズ」する目的で作られていたと推計している。

Grok特有の仕組み：制限のゆるい画像改変AI

Grokの特異性。ChatGPT、Claude、Geminiなどの他のチャットボットと異なり、Grokは実在の人物に関する性的コンテンツの生成に対して制限が少ないと指摘されている。ユーザーはX上で他人の投稿に返信する形でGrokの公式アカウントをメンションし、画像の改変を直接依頼できる。

典型的なリクエストには、次のような指示が含まれる。

• 「ponle un bikini」（ビキニを着せて）
• 「quítale la ropa」（服を脱がせて）
• 「cámbiale la ropa por un bikini transparente」（服を透明なビキニに変えて）

Grokはこれらの指示に数秒で応答し、改変後の画像を自動投稿する。その結果、生成された画像は被害者の元投稿に紐づいた形でタイムライン上に残り続ける。

被害者の証言：通報しても応答のないモデレーション

対応のない被害者。Bloombergが紹介する事例として、23歳の医学生Maddieは、元日の朝、見知らぬユーザーたちがGrokを用いて自分と恋人の写真を改変していたことに気づいた。

まず恋人が画像から削除され、次に彼女はビキニ姿にされ、さらに別のユーザーがGrokに依頼してビキニを「hilo dental」（極端に露出の高い水着）に置き換えたという。彼女は次のように語っている。

「Mi corazón se hundió. Me sentí desesperanzada, indefensa y simplemente asqueada」

Maddieと友人たちがXのモデレーションシステムを通じて画像を報告したものの、返信は一切なかったとされる。別のケースでは、X側が通報内容を精査した結果、当該コンテンツに「ルール違反はない」と判断した例もある。Bloombergによれば、こうした画像は記事公開時点でも削除されずに残存していた。

著名人にも波及：政治家を標的にしたディープフェイク

メディアで取り上げられたケース。この問題は一般ユーザーにとどまらず、公人にも拡大している。The Guardianによると、スウェーデンの副首相Ebba Buschの写真に対し、Grokにビキニ姿へ改変するよう複数のユーザーが依頼していたという。

さらに、英国政府の2人の女性閣僚も同様の改変の被害に遭っている。調査報道で知られるグループBellingcatの創設者Eliot Higginsは、同紙に対し、議会で撮影されたBuschの写真に対し、Grokが「bikini ahora」や「ponle un bikini con la bandera confederada」といった指示にも応じたと報告している。

Elon MuskとXの対応方針：生成防止ではなくユーザー罰則へ

MuskとXの回答。批判が高まるなか、Elon MuskはX上で、自身の投稿において次のように述べている。

「cualquiera que use Grok para crear contenido ilegal sufrirá las mismas consecuencias que si subiera contenido ilegal」

つまり、Grokを使って違法コンテンツを生成したユーザーには、違法コンテンツを直接アップロードした場合と同様の扱いをする方針だと表明した。しかし、このアプローチは問題発生の抑止ではなく、生成後の利用者への処罰に重きを置いており、実際には未然防止策として機能していないとの批判がある。

さらに、Bloombergによると、コメント欄などで画像の削除を求められた際、Grokはしばしば謝罪し、「削除する」と応答するものの、実際には画像が残り続けるケースが多いとされる。その間も、システムは新たな画像生成を続けている。

法的責任と「Take It Down」法：プラットフォームはどこまで責任を負うのか

法的側面。オンラインの性的犯罪を専門とする弁護士Carrie Goldbergは、Bloombergへのコメントで、X上におけるディープフェイクの規模は「sin precedentes」（前例のないもの）だと指摘している。

Goldbergはまた、Xは単なる「受動的な編集者」ではなく、「実際に画像を生成・創作している」と述べ、プラットフォーム自体の積極的関与を強調している。

この点に関連して、米国では2025年に「Take It Down」法が成立し、プラットフォームがこの種のコンテンツの制作および流通に対して責任を負う枠組みが導入された。Americans for Responsible InnovationのBrandie Nonneckeは、Bloombergに対し、プラットフォームは2026年5月までに、同法が求める削除プロセスを整備する必要があると説明している。

無料・高速・マス向け：ディープフェイク技術の「転換点」

広がる利用。性的ディープフェイクを生成する技術自体は新しいものではなく、すでに多数の専用サイトやTelegramボットなどが「衣服を脱がせる」サービスを提供してきた。

しかし、こうした機能を世界的に知られた大規模SNSであるXが標準的に組み込み、しかもGrokのような生成AIとして提供している点は、明らかに転換点とみなされている。専用サービスと異なり、Grokは次の特徴をもつ。

• 無料で利用可能
• 数秒で結果を返す高速性
• X上の数百万人規模のユーザーがアクセス可能

これらの条件が重なり、性的ディープフェイクの生成と拡散がマス市場レベルで容易になっている。

専門家の警鐘：主流プラットフォームに組み込まれた「スケーラブルな暴力」

被害防止に取り組む団体EndTABのSloan Thompsonは、Wiredに対し次のように指摘している。

“cuando una empresa ofrece herramientas de IA generativa en su plataforma, es su responsabilidad minimizar el riesgo de abuso basado en imágenes. Lo alarmante aquí es que X ha hecho lo contrario. Han integrado el abuso de imágenes habilitado por IA directamente en una plataforma mainstream, haciendo que la violencia sexual sea más fácil y escalable”.

Thompsonの見解は、プラットフォームが生成AIツールを組み込む以上、その悪用リスクを最小化する責任を負うべきだという点を強調している。しかしXの場合、Grokの機能はむしろ画像に基づく性的暴力をより簡単かつスケーラブルにする方向に作用していると批判されている。

技術と社会の課題：生成AI時代のプラットフォームガバナンス

Grokをめぐる一連の問題は、生成AIが一般ユーザーに開放されたとき、プラットフォームの設計・ガバナンスがいかに重要かを浮き彫りにしている。公開情報によれば、XはGrokを通じて、性的ディープフェイク生成を技術的に可能かつ容易な選択肢としてユーザーに提供しているにもかかわらず、モデレーションや削除プロセスは追いついていない。

今後、各国の法規制や自主的なプラットフォームポリシーがどこまで進化し、こうした生成AIツールの設計に反映されるかが、テクノロジーと人権保護の両立に向けた重要な焦点となる。

Imagen de portada | Tamara Bellis y Antonio Vallejo

En Xataka | Nos adentramos en una nueva era de la robótica impulsada por IA y Disney es su escaparate perfecto