米AI企業アンソロピックが、人工知能（AI）開発の速度に警鐘を鳴らしている。近い将来、AIエージェントが人間の手を離れ、自らを構築し、訓練し、改良する段階に入る可能性があるというのだ。同社は、開発ペースを落とすことも選択肢に入れるべきだと提言している。
アンソロピック・インスティテュートのリードを務めるマリーナ・ファヴァロ氏と、アンソロピック共同創業者のジャック・クラーク氏は木曜日に公開したブログ投稿で、AIエージェントはすでに自らコードを実行し、他のエージェントに数時間分の作業を委任できる段階に達していると指摘した。さらに、その先には、人間の関与をほぼ必要としない開発体制が待っている可能性があるという。
「AIの歴史の大半において、その開発サイクルの各段階は人間が担ってきた。しかしアンソロピックでは、AI開発の相当部分をAIシステム自身に委ねるようになっており、それが私たちの作業を加速させている」
両氏はそう述べたうえで、こう続ける。
「この傾向が十分に進み、十分な計算資源が与えられれば、自らの後継となるAIシステムを完全に自律的に設計・開発できるAIが生まれる可能性を示している」
AI development is advancing at a pace that could lead to agents improving without human input. Source: Anthropic
AIが人間の手を借りずに賢くなっていくとしたら、何が起きるのか。懸念はすでに広がっている。オープンAIは昨年12月、より高度なAIを安全に開発・展開する方法について研究していると明らかにした。その対象には、再帰的自己改善、つまりAIが自らを改良していく能力を持つAIも含まれる。
同社は「こうしたシステムが、複雑な現実世界の状況や敵対的条件下でも一貫して人間の意図に従い、破滅的な行動を避け、制御可能で、監査可能で、人間の価値観と整合するようにしたい」としている。
オープンAIはまた、安全研究チームの一環として、再帰的自己改善への備えを担当する研究者の採用も進めている。
ファヴァロ氏とクラーク氏によれば、AIモデルの改良速度は、従来の「7カ月ごとに倍増」ではなく、現在はおおむね「4カ月ごとに倍増」しているという。開発の各段階で、人間の役割は狭まりつつある。アンソロピックのAIモデル「クロード」は、同社のコードベースに統合されるコードの約80％をすでに作成している。
「私たちはまだそこには到達していないし、再帰的自己改善が避けられないわけでもない。だが、多くの機関が備えているよりも早く、それは訪れるかもしれない」
両氏はそう警告する。
「人間が書いたコードとAIが書いたコードの品質が同等になれば、人間はコードを書くことを完全にやめ、レビューだけを担うようになるだろう。しかし、クロードが生成する速度に人間のレビューが追いつかなければ、人間によるレビューこそがAI開発のボトルネックになる」
ファヴァロ氏とクラーク氏は、こうした「巨大な」影響に対処する時間を確保するためには、開発を遅らせることが理想的だとも述べた。
アンソロピックは今年4月、AIモデル「クロード・ミュトス」について、世界のサイバーセキュリティに対する脅威を懸念し、一般公開を見送る判断を下している。同モデルはソフトウェアの脆弱性を容易に作成できたため、現時点での公開は危険だと判断された。
Claude Mythos was able to easily create software exploits, leading Anthropic to rule out a public release for now. Source: Anthropic
同じ木曜日には、アンソロピックやオープンAIの関係者を含むテック業界のリーダーらが公開書簡を発表した。彼らは議員に対し、AI技術により強いガードレールを設けるよう求めた。懸念されているのは、これまで悪意ある行為者が生物兵器を作るのを妨げてきた「知識の壁」を、AIが突破させてしまう可能性だ。
ファヴァロ氏とクラーク氏は、こう述べている。
「社会構造やアラインメント研究が技術の進歩に追いつけるよう、最先端AIの開発を遅らせる、あるいは一時停止する選択肢を世界が持つことは望ましい」
だが、単純にブレーキを踏めばいいという話でもない。
「もし開発の減速が、慎重さに欠ける主体に技術的な追いつきを許すだけなら、結果として全員の安全性を低下させかねない。世界的な調整メカニズムがなければ、企業や政府は競争圧力と地政学的圧力のもとで、安全性に関する難しい判断を迫られることになる」
AIエージェントは、暗号資産ユーザーの間でも存在感を増している。一部の暗号資産業界幹部は、AIエージェントが決済を担うようになれば、暗号資産の普及と取引量を押し上げる可能性があると見ている。
サークルのジェレミー・アレールCEOは1月、今後5年以内に数十億のAIエージェントがユーザーに代わって稼働するようになると予測した。
暗号資産投資会社キーロックは先月、AIエージェントによる決済はこの12カ月で「構想」から「現実」になったと報告している。同社によれば、AIエージェントによって決済された金額は7300万ドル、約117億円に達し、取引件数は1億7600万件に上った。
