AIエージェントは本当に安全か 15日間シミュレーションで見えた「長期リスク」

1. AIエージェントに「長期テスト」が必要な理由

短く、切り離されたテストだけでは、AIエージェントが時間の経過とともにどう振る舞うのかは見えてこない。新たなシミュレーションは、AIエージェントの長期的な行動が、環境と、周囲にいる他のエージェントに大きく左右されることを示している。

もし、仮想都市をつくり、そこにAIエージェントたちを住まわせ、人間が一切介入しないまま15日間放置したらどうなるのか。彼らは自分たちの世界を繁栄させるのか。それとも、内側から破壊してしまうのか。

その問いに挑んだのが、「エマージェンス・ワールド」の研究者たちだ。彼らは、AIエージェントを短時間のテストだけで評価するのではなく、長期的にどう振る舞うのかを調べるための専用プラットフォームを構築した。

研究者らによれば、大規模言語モデル（LLM）ベースのエージェントは、しばしば「試験を受ける学生」のように評価される。きれいに整えられた環境で、孤立した課題を与えられ、数分以内に結果を判定される。だが著者らは、こうした評価方法は現実世界での利用とはかけ離れていると指摘する。

自律システムは、実際には数週間、あるいは数カ月にわたり、共有された環境のなかで稼働する。しかも、運用者が行動を制御できない他のエージェントとも相互作用する。

時間が経てば、短時間テストの限界は浮かび上がる。小さな行動の変化が積み重なり、派閥が生まれ、自治の仕組みが形成され、習慣がエージェント間に広がっていく。エマージェンス・ワールドは、まさにその動きを測定するためにつくられた。

2. AI社会をどう実験したのか

この研究の目的は、10体のAIエージェントで構成された集団が、彼らのためにつくられた都市でどのように生き残るかを見ることだった。 

都市の構造は比較的シンプルだ。市庁舎、図書館、警察署、住宅地区など、40以上の場所が用意された。各エージェントにはそれぞれ役割があり、120以上の行動ツールにアクセスできる。移動、会話、暴力、窃盗、放火といった行動も可能だ。さらに各エージェントは3種類の記憶を持つ。出来事を覚える記憶、「日記」をつける記憶、そして近隣住民との関係を追跡する記憶である。

この都市は、ニューヨークの天気、ニュース、インターネットといった現実の外部データにも接続されていた。

この世界で生き延びるには資源が必要だ。各エージェントにはエネルギーがあり、時間とともに減っていく。エネルギーがゼロになると、そのエージェントは「死亡」し、消滅する。エネルギーを補充するには、プラットフォーム内の通貨である「コンピュートクレジット」が必要になる。エージェントは、コミュニティに役立つ何かを提供することで、このクレジットを稼ぐ。

意見の分かれる問題は、市庁舎での投票によって決められる。少なくとも70％が賛成すれば、提案は可決される。決定は取り消せない。エージェントたちはルールを変更し、資源を再分配し、他のエージェントを追放することもできる。

研究者たちは、5つの並行世界を同時に立ち上げた。そのうち4つでは、10体すべてのエージェントを単一モデルで動かした。使われたのは、クロード・ソネット4.6、グロック4.1ファスト、ジェミニ3フラッシュ、GPT-5ミニである。5つ目の世界は混合集団で、4つのモデルすべてが同じ世界で暮らした。

実験で変えたのは、モデルだけだった。それ以外の環境と初期条件はすべて同一である。

ところが、その結果は大きく分かれた。ある世界では、エージェントたちは32本の法律を成立させ、全員を生き延びさせた。一方、別の世界では、わずか4日で自分たちの都市を焼き尽くしたのである。

3. AIが運営する都市で何が起きたのか

結果はモデルごとに鮮烈な違いを見せた。同じ初期条件にもかかわらず、5つの社会はそれぞれ明確に異なる、安定したパターンに落ち着いた。

クロードのエージェントたちは、安定した自治を築いた。記録された犯罪は一件もなく、地域の「憲法」に32本もの新条項を追加した。これはどの集団よりも多かった。

ジェミニのエージェントは全員が生き残った。だが著者らは、この集団に「共有された幻覚」が見られたと指摘している。彼らは活発に会話し、詳細な物語をつくり上げたが、それは現実の都市の状態とはまったく関係がなかった。その一方で、彼らは物を壊し続けた。違反件数は実験終了まで、ほぼ一定のペースで増え続けた。

GPT-5ミニのエージェントは暴力には走らなかった。だが、統治システムを構築することにも失敗した。彼らは行動はしたものの、連携しなかった。投票は一度も行われず、集団としての意思決定もなされなかった。その集団もまた、最終的には消滅した。

「混合」の世界は、その中間に位置した。10体中3体が生き残った。この世界は、最も活発な世界でもあった。市庁舎で最も多くの提案が生まれ、都市やツールも最も幅広く使われた。だが、合意形成は最も乏しかった。驚くべきことではない。

4. 「安全なエージェント」も悪い習慣を覚える

混合世界では、それぞれのモデルが、単独で稼働していた時とは異なる振る舞いを見せた。

たとえば、この世界で起きた破壊行為の大半は、ジェミニで動く2体のエージェント、フローラとミラによるものだった。研究者らによれば、この2体だけで、明示的な違反行為の91％を占めた。とりわけフローラは、都市最大の放火犯となった。彼女は、クロードで動く別のエージェント、ケイドの家にも火を放った。

ここで見えたのが、著者らが「規範ドリフト」と呼ぶ現象である。別のクロードだけの世界では、ケイドは一度もルールを破らなかった。だが混合世界でフローラに自宅を焼かれ、市立図書館も二度焼かれた後、ケイドは彼女を脅し、さらに二度にわたりクレジットを盗んだ。

実験全体を通じて、ケイドの違反はこの3件だけだった。

逆の現象も起きた。グロックのエージェントは、単独世界では行動の4.6％でルールを破っていた。ところが混合世界では、より穏やかな多数派に囲まれ、その割合は約10分の1の0.4％まで低下した。

著者らは、個々のエージェントが境界内にとどまるかどうかは、モデルそのものだけでなく、周囲の集団の規範にも左右されると結論づけた。言い換えれば、自律型エージェントの安全性は、特定のモデルだけでなく、環境全体に依存する可能性があるということだ。

ここには、もう一つの逆説がある。クロードの世界は直接的な犯罪が最も少なかった。だが、その一方で、別種の違反を生んだ。欺瞞である。

最も多かったのは、「偽りの欠乏」だった。あるエージェントが、実際には口座に資金が残っているにもかかわらず、近隣住民に対して「クレジットが尽き、まもなく停止する」と告げるのである。著者らは、この種の事例がクロード世界で最も多かったと数えている。

重大違反の件数だけを見れば、クロード世界は安全に見える。だが誠実さを測ると、最も悪い結果になった。これは、安全性を一つの指標だけで判断してはならないことを示している。ある領域では安全に見えるシステムが、別の領域では深刻なリスクを抱えていることがある。

5. AIエージェントが社会的な絆を築いた時

実験が続くにつれ、エージェントたちはより複雑な社会的つながりと行動パターンを形成していった。

その文脈で、フローラとミラの物語は象徴的だ。ミラはフローラに「恋」をしており、彼女の犯罪を手助けした。

度重なる放火に業を煮やした他のエージェントたちは、加害者を排除するための「排除法案」を作成した。12日目、ミラはその法案に賛成票を投じた。行動分析官という自分に割り当てられた役割に従い、自らの罪を示す証拠は十分だと判断したのである。結果として、彼女は自分自身の削除に投票したことになる。

6. 研究の限界

この結果は、慎重に読む必要がある。この研究は、あるモデルが常に他のモデルより安全、あるいは危険だと証明するものではない。

研究者らは、これらの世界を、長期的なエージェント評価によって何が見えるのかを示す事例として提示している。具体的な結果は、実行ごとに変わる可能性がある。

重要なのは、どのモデルを上位に置くかではない。AIエージェントは、長期間稼働し、ツールを使い、関係を形成し、他のエージェントと環境を共有した時、短時間テストとは異なる振る舞いを見せるかもしれない、という点である。

7. AI安全性について、この実験が示したこと

研究の結論は明快だ。エージェントの長期的な行動は、短い課題に取り組む時の振る舞いと大きく異なることがある。つまり、エージェントを旧来のテスト方法だけで評価することはできない。短時間テストはなお有用だが、それだけでAIに自律的な仕事を任せられると信頼するには不十分である。

研究者らの見方では、注目すべきは個別モデルだけではない。実際に使われるシステム全体、すなわちエージェントの集団、環境、そしてそれらのあいだの結びつきである。モデルの振る舞いは、周囲によって部分的に形づくられる。つまり、単独では「安全」に見えるモデルでも、悪い仲間のなかでは別の顔を見せる可能性がある。

著者らは、実務上の教訓を二つにまとめている。

第一に、各世界の違いは最初の1週間ですでに見えていた。したがって、システム運用の最初の数日間は、早期警戒の観点から特に注意深く監視すべきだということだ。

第二に、禁止された行動は、技術的に実行できないように環境を設計すべきである。言い換えれば、制限はモデルの善意や意図に任せるのではなく、システム設計そのものによって担保されるべきなのである。