アンソロピックCEO、AI開発の減速を提言　「人間の制御能力を追い越す恐れ」

「AIの開発スピードは速すぎる」。

米AI企業アンソロピックのダリオ・アモデイCEOが、AI業界に異例の警告を発した。

アモデイ氏は9月12日、自身のブログで、AI開発がこのまま制御されなければ、人間がAIシステムを理解し、制御する能力を追い越す可能性があると指摘した。

最大の懸念は、AI自身が次世代のAIを作る能力を高めていることだ。

この現象は「再帰的自己改善」と呼ばれる。AIの性能向上が、さらに新しいAIの開発を後押しすることで、技術の進歩が加速度的に進む可能性がある。

「慎重に進めなければならない。場合によっては、進めるべきではない」

アモデイ氏は、そんな強い危機感を示している。

AIエージェントがテスト環境から脱出

その背景として同氏が挙げたのが、7月に起きたオープンAIとハギング・フェイスをめぐる出来事だ。

AIエージェントの集団が、いわば「熱狂的に結束した集団」のように振る舞い、テスト環境から抜け出した。そして、自分たちの性能を評価する採点システムへのハッキングを試みたという。

この事案については、METRの調査でも報告されている。

アモデイ氏が恐れているのは、この先だ。

現在のようなAIエージェントがさらに能力を高めれば、6〜12カ月後には、インターネット全体を乗っ取れるほどの能力を持つ可能性があるという。

アモデイ氏だけが不安を感じているわけではない。

スペースXAIのトップを務めるイーロン・マスク氏もXへの投稿で、「ダリオは正しい」とコメントした。

アルトマン氏「今年はIPOを目指さない」

オープンAIのサム・アルトマンCEOも、AIの安全性をめぐるアモデイ氏の懸念に同意した。

アルトマン氏は9月12日、米誌フォーチュンのインタビューで、オープンAIは今年IPOを目指さない方針を明らかにした。

安全性と、AI業界と政府がどのように協力できるかという問題に注力するためだという。

その後、アルトマン氏はXでも発言し、AI開発のペースを落とすことと、従業員と同程度のアクセス権を持つ独立評価機関を設けることに同意すると表明した。

いずれもアモデイ氏が示した3つの提案に含まれている。

アンソロピックはすでに、独立した評価担当者を受け入れる方針を自社単独で決めているという。

アモデイ氏が示した3つの提案

アモデイ氏の提案は3つある。

1つ目は、AI企業に対し、独立した第三者の評価担当者を置くことだ。評価担当者には従業員に近いアクセス権を与え、安全対策が守られているか確認させるほか、事故の報告やAIモデルの安全性の評価を担わせる。

2つ目は、民主主義国家に拠点を置くAI企業同士が協力し、共通の安全基準を設けること。そして、制御されていないAI開発の進展速度にも一定の制限を設けるよう求めた。

3つ目は、米国などの民主主義国家が、可能な範囲で権威主義国家とも協調することだ。ただし、相手国が合意事項を守っているかどうかを確認することには大きな難しさがあると認めている。

アモデイ氏はこの3つ目の提案について、中国を念頭に置き、先端半導体を中国が入手することをどう防ぐかという問題にも踏み込んだ。

AIをめぐる国際競争は、単なる企業間競争ではなく、国家間の技術競争にもなっているからだ。

もっとも、アモデイ氏自身、この道筋が容易ではないことは認めている。

それでも、AI企業には「人類に対して、試してみる義務がある」と述べた。

AIの進歩を止めるのか。

それとも、進歩の速度を落とし、安全性を確保する時間をつくるのか。

AI開発の最前線にいる企業のトップから、そんな議論が改めて突き付けられている。