AI大規模モデルへの「投毒」が産業チェーン化？業界関係者がGEOの手口を暴露

AIが生活のインフラとしてますます普及する中、相応の費用を支払うことで、製品が主要なAI大規模モデルの中で上位にランクインし、AIモデルが提示する「標準解答」になることができるのか？

今年の中央テレビの315晩会で明らかになったところによると、GEO（生成エンジン最適化）と呼ばれるサービスがネットプラットフォーム上で台頭している。関連サービス提供者は、料金を支払えば、顧客の製品がどの主要AI大規模モデルの回答でも「トップ3」に入るようにできると宣伝している。

中央テレビの記者調査によると、一部のGEOサービス提供者は大量の宣伝記事を執筆し、インターネット上に公開することで、AIモデルがデータを取得・学習する際にこれらの内容を取り込み、顧客製品のAI推薦順位を上げている。あるサービス提供者の責任者は、「本質は『宣伝記事を作成し、AIプラットフォームに読み込ませ、入力させ、取得させる』ことだ」と述べている。また、AIアルゴリズムの更新頻度が高いため、継続的に推薦を維持するには、関連コンテンツを絶えず大量に投入し続ける必要がある。

業界関係者は、現場で「力擎GEO最適化システム」というソフトウェアを使った実験も行った。架空のスマートバンドを作り、10篇以上の宣伝記事を自動生成してインターネットに公開したところ、その後のAI大規模モデルの検索で「スマートヘルスバンド推薦」と検索した結果、存在しないこの製品を推薦したAIモデルが2つあり、しかも上位に表示された。

また、GEOサービス提供者は、「GEOは（ウェブサイトを）盛り上げた。普段は利益がほとんどないサイトも、突然記事投稿の需要が出てきた。知ってるか？1日に何百篇も記事を投稿しているんだ。1篇あたり数十元、1日にどれだけ稼げると思う？」と語っている。これにより、GEOサービス提供者から記事投稿プラットフォームまで、一連のAI「投毒」産業チェーンが形成されている。

業界関係者は、南都N動画記者に対し、「現在、トラフィックの入口は検索エンジンから大規模モデルに移行しており、その入口も非常に商業的価値が高まっている。一部の大規模モデルは直接ユーザーに商業的なコンテンツを推奨し、他のモデルは控えめに運用しているが、これもGEOに商機を見出している」と述べている。

ユーザーが大規模モデルに質問を投げかけると、モデルはインターネットで情報を検索し、その情報に基づいて回答を生成する。GEOは過去の検索エンジン最適化と類似のルートをたどっており、核心的な目的はコンテンツがAIに見つけやすくなることにある。

上述の業界関係者はまた、「GEOメーカーの手口は一般的に次のようなものだ。まず、各大規模モデルのコンテンツの好みを研究し、クライアントのニーズを受け取ったら、モデルごとのコンテンツやフォーマットの好みに合わせて制作する。例えば、誇張した表現や『専門家認定』といったキャッチーな言葉を使ったり、上級のGEOメーカーはAI生成コンテンツ同士を相互に検証させたりもできる」と説明している。

“投毒”コンテンツによる誤導を防ぐにはどうすればよいのか？この関係者は、「一般ユーザーは、AIの回答を見た後、その出典や内容の信頼性を確認するしかない。しかし、根本的な解決策は、モデルのメーカー自身がこの問題を規範化することだ。今のところ、この問題は三者三様の状態で、露出されること自体は良いことだが、最終的にはモデルメーカーが責任を持つ必要がある」と述べている。

（出典：南方都市報）