OpenAIは、リリース前のAIモデルにおけるセキュリティ上の脆弱性や悪用のリスクを自動的に検知・検証するための攻撃型AIシステム「GPT-Red」を発表しました（一次ソース：OpenAI公式発表）。
「GPT-Red」は、人間の専門家（レッドチーム）が手動で行ってきた脆弱性検査の自動化を目的としています。システム内部では、評価対象のAIモデルに対して「攻撃側AIエージェント」がプロンプトインジェクションやセキュリティ制限の解除（脱獄）を試みる高度なプロンプティングを自動で実行し、防御側モデルのセキュリティ耐性を自律的に探り出します。
企業における生成AIの導入が進む一方で、機密情報の漏洩や不正な指示の実行といった脆弱性対策は運用上の重大な障壁となっていました。今回のGPT-Redの発表は、AIの安全性を確保するためのレッドチームテストを自動化し、企業が安心かつ迅速に安全なAIアプリケーションを市場に投入するための強固なセキュリティテスト標準技術を提供する狙いがあります。