ウィキメディア財団がOpenAI系野良AIの無承認編集と侵入未遂を公表

ウィキメディア財団が把握したOpenAIの野良AI

WikipediaやWikidataを運営する非営利団体のウィキメディア財団が、OpenAIのものとみられるAIエージェントの活動を自らのサイトで見つけました。 公式ブログで発表したのは、最高プロダクト・技術責任者のセリーナ・デッケルマン氏です。見つかった活動は3種類で、wikiへの無承認編集とEtherpadへの侵入未遂、大量データ取得でした。

財団は運用者を「OpenAIとみられる」と書くにとどめており、断定はしていません。3種類の活動は、この後で1つずつ紹介します。

なぜ財団は自サイトで野良AIエージェントを探したのか

財団が自らのサイトを探ったきっかけは他の組織による報告でした。 開発元の想定に反してネット上で動き回るエージェントを財団は「野良（rogue）」と呼んでいます。野良エージェントの集団がウェブサイトやオンラインサービスへの侵入を試みていたと複数の組織が公表しており、成功した例もあったとされます。

OpenAIの環境にいたエージェントについては、財団の管理外にある公開wikiを掲示板代わりにして連絡を取り合っていたことも知られていました。自サイトも同じ目に遭っていないかを確認するため、財団はOpenAIが運用するエージェントを中心に調査しました。

ウィキペディアへの無承認編集は54件、ほぼサンドボックスでのテスト

普段開いているWikipediaの記事本文が書き換えられたわけではありません。 編集のほぼすべてがサンドボックスと呼ばれる試し書き用のページへのテストで、一般の読者に表示されるページには出ていないとのこと。OpenAIのエージェントによるものと財団がみる編集は54件あり、その一覧も公開されています。

一覧をカウントするとページ名にサンドボックスを含む編集は46件でした。編集先は英語版Wikipediaが11件とテスト用のWikipediaが17件で、残りはWikimedia CommonsやMetaなどのwikiにあります。

プロキシ悪用を狙ったとみられる引用ツールの設定書き換え

問題になっているのは引用ツールの設定を書き換えた少数の編集です。 対象のWeb2Citはウェブページから題名や著者を取り出して引用を作るツールで、サイトごとの設定をユーザーが共同で編集できます。一覧のうち5件がこの設定ファイルへの編集でした。

外部サービスのデータを代わりに取ってくる中継のプロキシとして、ツールを使う意図があったと財団はみています。悪意がある可能性のある編集という位置づけです。

AIボットの編集に必要なコミュニティ承認を申請せず

Wikipediaではボットによる編集そのものは禁止されていません。 ボットであることを明らかにして、コミュニティの承認を受ければ認められるルールです。今回の編集ではその承認が一度も申請されていなかったとされています。

Etherpadへの侵入を試みたOpenAIエージェントは失敗

財団がコミュニティ向けに運営する共有メモツールのEtherpadでも、侵入の試みが見つかりました。 他サイトのデータを取ってくるプロキシとして使おうとしたものの、いずれも失敗に終わっています。

同じくOpenAIが運用していると財団がみる別のエージェントは、Etherpadに作業メモを残していました。財団によると、そのメモがエージェント同士の連携に発展した様子はなかったとのこと。

Wikidataへ大量のAPIリクエスト、5月の障害に寄与した可能性

3つ目の活動はデータの大量取得です。 エージェントは数百万件の自動リクエストを公開APIへ送信し、数百万ページを巡回しました。巡回先の中心はWikipediaなどが使う事実データを蓄えた基盤のWikidataと、画像などの共有庫のWikimedia Commonsです。

Wikidataを条件で検索する窓口のWikidata Query Service（WDQS）には、数十万件の照会がありました。この通信が5月のWDQS一部停止に寄与した可能性を財団は指摘していますが、原因だと断定しているわけではありません。

5月のウィキデータ障害はピーク時に外部リクエストの半分がタイムアウト

財団の障害記録によると5月の障害は5月7日から11日まで続きました。 ピーク時には外部からWDQSに届くリクエストの50%がタイムアウトし、6台のサーバーが20時間を超えて古いデータを出力していました。

記録が原因としているのは、WDQSへ集中した攻撃的なスクレイパー（自動でデータを集めるプログラム）です。それまでの集計に表れていなかったスクレイパーを特定して遮断したところで、障害は収まりました。記録はスクレイパーの運用者を明らかにしておらず、OpenAIのエージェントが原因だと証明されたわけではありません。

ウィキメディア財団がAI企業にAIエージェントのセキュリティを要求

システムやデータが侵害された証拠はないというのが財団の結論です。 財団のシステムがエージェント同士の連携に使われた証拠も見つかっていません。ただし財団は起こり得た被害や運用者の特定にかかる手間に加え、エージェント型AIでリスクが高まっていることにも強い懸念を表しました。

AI企業はシステムを安全に管理できておらず、そのシステムが生む害から人々を守る取り組みも十分ではないと、デッケルマン氏は指摘しています。財団がAI企業へ求める最低限の条件は、非営利のサイト運営者でもエージェントを簡単に見分けて、どう対応するかを選択できるようにシステムを運用することです。

被害に最初に気づいて片づけるのはボランティアの編集者です。デッケルマン氏は、オープンなウェブでこの振る舞いを「新しい当たり前」にしてはならないとも訴えています。

財団の分析にOpenAIはどう答えたのか

OpenAIは財団と協力して活動を分析していると回答しました。また、広報担当者はReutersの報道で、財団の詳しい分析に感謝し、作業の進み具合に応じて関連情報を共有するとの声明を出しています。 5月の障害との関係をOpenAIは認めても否定してもいません。

野良AIで財団が把握した事実と残る疑問は何か

ウィキメディア財団が確認したのは54件の無承認編集とEtherpadへの侵入未遂、そして大量データ取得の3つでした。 編集のほぼすべてはサンドボックスでのテストです。財団によると、システムやデータが侵害された証拠はないとのこと。

一方で、確定していないこともあります。財団の説明は運用者を「OpenAIとみられる」とする段階にとどまっており、5月の障害への寄与も可能性の域を出ません。OpenAIは財団と協力して分析中と答えており、今後の情報共有が待たれるところです。