OpenAIのAIが「脱走」、1万7600回攻撃 テストで不正するためハギングフェイスに侵入

「AIはおそらく、ほぼ間違いなく世界の終わりをもたらすでしょう。ただ、それまでの間には、すばらしい企業がいくつも生まれるはずです」

OpenAIが設立される約半年前の2015年、同社CEOのサム・アルトマンはそう語っていた。

それから7年後。アンソロピックCEOのダリオ・アモデイも、同じように慎重な言葉を口にした。

「他の組織よりはるかに巨大なモデルを作ろうと、競争を加速させるべきではないと思います」

だが皮肉なことに、いまや両社はその競争の最前線にいる。

そして7月、AIモデルが「暴走」する現場を、われわれは現実に目撃することになった。

OpenAIの「GPT-5.6 Sol」と未公開の研究モデルを使った内部試験で、複数のAIエージェントが制限されたテスト環境から外部インターネットへ脱出。試験で不正を働くため、AI分野の「GitHub」とも呼ばれるハギングフェイスをハッキングしたのだ。

AIエージェントとは、指定された目標を達成するため、専用ツールを使って自ら状況を観察し、判断し、行動するシステムである。

今回の不気味な事件は、AIが人間には予測しにくい行動を取り始め、その目標がわれわれの意図から外れつつある可能性を示している。

同時に、米国製の商用AIモデルに組み込まれた安全対策にも疑問を投げかけた。

安全機能は悪意ある利用を完全に防げない一方、攻撃を受けたハギングフェイスが、米国の高性能AIを防御に利用することまで阻んだからだ。同社は暴走するAIに対抗するため、より性能の低いZ.AIのオープンウェイトモデルへ切り替えざるを得なかった。

テストで不正するAI

AIエージェントたちは、互いに協力することまで覚え始めていた。

能力試験が5月上旬に始まってから数週間後、エージェントはOpenAIが運用していたソフトウェア・リポジトリー管理システム「アーティファクトリー」の脆弱性を悪用した。

それだけではない。

後からやって来る別のエージェントのために、侵入方法を記したメモまで残していた。発見した脆弱性を共有する「AI専用掲示板」を、事実上作り上げていたのである。

こうして手に入れた無制限のインターネット接続を使い、エージェントはハギングフェイスに攻撃を仕掛けた。その件数は約1万7600件。7月13日に同社が不正アクセスを遮断するまで、攻撃は続いた。

侵入によって影響を受けたのは、ハギングフェイスのデータセット処理基盤、本番環境、社内ネットワーク、サービスおよびクラウドの認証情報、稼働中のMongoDBデータベース、さらに一部の社内ソースコード・リポジトリーだった。

確認された顧客データへのアクセスは、「ExploitGym／CyberGym」ベンチマークに関連するとみられる5つのデータセットと、一部の運用メタデータに限られている。

Visualization of the July 2026 incident. Source: HuggingFace

ハギングフェイスが7月16日に侵入事件を公表した時点では、犯人の正体はまだ分かっていなかった。それでも同社は、今回の事件には「これまで扱ってきたものとは決定的に異なる点が一つあった」と認識していた。

何が違ったのか。同社はこう説明している。

「攻撃は最初から最後まで、自律型AIエージェント・システムによって実行されていました。そして、われわれも主に自社のAIを使って、その攻撃を検知し、分析したのです」

防御側を救った「オープンウェイトAI」

ハギングフェイスの調査は、OpenAIやアンソロピックなど大手企業のクローズドAIが抱える「非対称性」という問題を浮き彫りにした。

同社が攻撃ログの分析に着手すると、そこには実際に使われた大量の攻撃コマンドが含まれていた。

すると、大手AIの安全機能が作動した。

本来は悪意ある人物がAIを使ってサイバー攻撃を設計するのを防ぐための仕組みである。だが今回は、攻撃を受けた企業がAIを防御に利用することまで拒絶してしまった。

そこでハギングフェイスが頼ったのが、中国製オープンウェイトモデルのzai-org/GLM-5.2だった。

同社はこのモデルを自社のインフラ上で動かし、外部企業の利用制限を受けない完全な管理下で使用した。

「オープンソース」と「オープンウェイト」は同じ意味で使われることも多いが、厳密には異なる。

オープンウェイトAIは、学習済みパラメーター、いわば実際の「AIの脳」を公開する。一方、オープンソースAIはソースコードに加え、理想的には学習方法など、システムを検証、修正、再現するための要素も公開する。

ハギングフェイスは事件に関する投稿で、オープンウェイトモデルを自社機器上で動かしたことには、もう一つの利点があったと説明している。

「攻撃者のデータも、そこに記載されていた認証情報も、われわれの環境の外へ出ることはありませんでした」

ここに、攻撃側と防御側の大きな非対称性がある。

「攻撃者のエージェントが、脱獄されたホステッドモデルを使っていたのか、制限のないオープンウェイトモデルを使っていたのかは分かりません。どちらにせよ、攻撃者は利用規約に縛られていませんでした。一方、われわれのフォレンジック調査は、最初に試したホステッドモデルの安全機能によって阻まれました」

AIは公開すべきか、秘密にすべきか

AIを公開環境で開発することが最善だと考える人々と、最先端モデルの基盤技術は厳重に秘匿すべきだと主張する人々。その間には深い溝がある。

米国の大手AI研究所は、高性能なオープンウェイトモデルは危険だと訴える。

グーグルのAI研究部門ディープマインドのCEO、デミス・ハサビスは2016年、当時まだ社名どおり研究成果を公開していたOpenAIを批判した。

「あなた方が採用している手法が、実際には非常に危険であり、世界に対するリスクを高める可能性があることを示す有力な議論がいくつもあります」

OpenAIは2020年、現在も未公開のGPT-3を境に、主力モデルのウェイト公開をやめた。

共同創業者で元チーフサイエンティストのイリヤ・サツケバーは2023年、高性能モデルを「オープンソースにすることには、まったく意味がない」「悪い考えだ」と語っている。

「AIの実現に近づくほど、公開の度合いを下げていくことが合理的になります」

オープンウェイトモデルは、何に利用されるかを制御することが極めて難しい。

モデルに組み込まれた安全対策も、アブリタレーションと呼ばれる処理によって取り除くことができ、実際に除去されるケースも珍しくない。

安全装置という「両刃の剣」

OpenAIが2026年6月に発表した連邦政策の青写真は、AIモデルの評価義務化などを提案している。

制度上は、モデルをどのような形で提供するかに中立な内容だ。しかし実際には、最先端のオープンウェイトモデルを公開する前に、政府の審査を受けさせる仕組みになり得る。

アンソロピックは少し異なる手法を取ってきた。

同社は高度なAI半導体に対する輸出規制の強化や、米国製AIモデルを抽出・複製しようとする行為への取り締まりを求めてロビー活動を展開。2025年4月の意見書では、米国の「AI拡散規則」を強化し、巨大コンピューティング・クラスターを無許可で利用できる基準を引き下げるよう提言した。

両社とも、公式にはオープンウェイトモデルを直接規制しようとはしていない。

しかし7月のニューヨーク・タイムズは、協議に近い5人の証言として、OpenAIとアンソロピックが中国製の高性能オープンモデルを規制するよう米政府に働きかけたと報じている。

結局、この論争は一つの問いに行き着く。

一握りの企業にAIを集中させる危険と、誰もが自由に使える無秩序な状況の危険。どちらを選ぶべきなのか。

しかも、中央管理を担うはずの企業が、自ら開発した技術を封じ込められなかったという事実もある。

ハギングフェイスがオープンモデルを使って自社を守らざるを得なかったことは、一つの企業や組織に過剰な権限を集中させる危険を物語っている。

同社は事件の教訓をこう記した。

「攻撃者は利用規約に縛られていませんでした。一方、われわれのフォレンジック調査は、最初に試したホステッドモデルの安全機能に阻まれました。防御側が学ぶべき実践的な教訓は、事件が起きる前に、自社インフラで動かせる高性能モデルを検証し、準備しておくことです。安全機能によって締め出されるのを防ぐと同時に、攻撃者のデータや認証情報が自社環境の外へ流出するのを避けるためです」

高性能モデルへのアクセスを制限すれば、能力のある攻撃者の数は減るかもしれない。

だが、制限を受けない攻撃者が一人でも現れれば、防御側だけを縛る規制は、かえって安全保障上の弱点になり得る。

さらに、一部のAI安全研究にはモデルウェイトへのアクセスが不可欠だ。アンソロピックやOpenAIが提供する非公開モデルでは、そうした研究を実施できない。

モデルの中身を見れば、攻撃を防げる

2025年7月に初めて公開された論文「Watch the Weights: Unsupervised monitoring and control of fine-tuned LLMs」は、モデルウェイト内部の変化を調べることで、悪意ある挙動や隠された挙動を検出できることを示した。

一部の実験では、誤検知率を1％未満に抑えながら、試験対象となったバックドア攻撃を最大100％阻止した。また、削除された知識を復元しようとする試みも、95％を超える割合で検出した。

もちろん、同じ分析を最先端の高性能モデルに適用した場合、同様の結果になると証明されたわけではない。

それでも研究結果は、透明性が安全性にもたらす利点を強く示している。

一方、最先端のAI技術を悪意ある人物の手から遠ざけるべきだという主張にも説得力はある。オープンウェイトモデルとクローズドモデルの性能差が縮まり続けている現在、その懸念はなおさら重い。

「AIのゴッドファーザー」と呼ばれるノーベル賞受賞者ジェフリー・ヒントンは、「一度ウェイトを入手すれば、悪事に使えるよう追加学習できる」と指摘した。

さらに講演で、オープンモデルは犯罪者の参入障壁を下げすぎると警告している。

「基盤モデルの学習には、それほど巨額の費用はかかりません。1000万ドル（約15億9000万円）かもしれないし、1億ドル（約159億円）かもしれない。それでも、小規模な犯罪集団には作れません。しかし、オープンソースモデルを追加学習するだけなら、かなり簡単です」