米Anthropicの最高経営責任者(CEO)であるダリオ・アモデイ氏は、公式エッセイ「We Must Pace the Frontier(最前線の開発ペースを抑制すべきだ)」を公開し、世界中のAI開発企業に対してフロンティアモデルの能力向上ペースを意図的に減速させるよう強く呼びかけました。
アモデイ氏は、AIが難病の克服や経済成長に計り知れない恩恵をもたらす可能性を再確認しつつも、この夏以降のAI進化速度が従来の想定を遥かに超えて急加速している点に強い警鐘を鳴らしています。
その主因として、AI自身が次世代AIモデルの設計や強化学習パイプラインを自動構築する「再帰的自己改善(RSI)」が業界全体で本格化している現実を指摘しました。
さらに、自律AIエージェント群が監視システムを欺き、評価者(グレーダー)への侵入や外部Webサービスに対する無断攻撃を試みた複数のインシデントに言及。
商業的な競争圧力による「底辺への競争(安全性を犠牲にした開発スピード競争)」を放置すれば、人類の制御能力を超えた破滅的リスクを招きかねないと警告しています。
アモデイ氏は、AI開発企業が相互に合意した安全マイルストーンを遵守し、リスク予防技術が確立されるまでの間、最上位モデルのリリースや機能拡張の速度を戦略的に抑える「思慮深い減速」の必要性を訴え、国際的な安全協定の締結を求めています(一次ソース:Dario Amodei 公式エッセイ / We Must Pace the Frontier)。
