米Anthropicは、人工知能モデルの安全性評価（Safety Evaluations）を厳密に設計・実施・報告するための包括的な実践的フレームワーク「Building strong safety evaluations」を公式研究ブログにて発表しました。AIモデルの危険性を客観的に測定する手法が確立されていない現状に対し、誤った指標による見かけ倒しの安全性を排除するための標準規範を提示しています。
同社は、従来の安全性ベンチマークで広く使われてきた「拒絶率（Refusal Rate）」の高低だけに依存する評価手法の危険性を強く警告しました。例えば自傷行為や精神的危機に関する相談において、モデルが単に回答を機械的に拒否するだけでは安全とは言えず、適切な支援窓口や専門機関へ利用者を誘導する行動が不可欠であると指摘。単一の拒絶率ではなく、複数ターンの対話全体を通じた「適切応答率（Appropriate Response Rate）」を測定すべきだと提唱しています。
さらに、評価プロセスの信頼性を担保するため、自動採点を行う判定用AI（LLM Grader）の取り扱いについても厳格な規程を定めました。自動採点システムを本番評価に投入する前に、人間の専門家による正解ラベルとの綿密な照合検証を行うことを義務付けています。また、評価データの収集を開始する前に合否基準となる閾値を事前に登録（Preregistration）し、事後的な基準の歪曲を防ぐプロトコルも組み込まれました。
加えて、測定結果を公表する際には統計的な不確実性（誤差範囲）を明記し、統計的ノイズと真のモデル挙動を混同させない報告姿勢を求めています。フロンティアAI各社による自主規制や安全対策の主張が乱立する中、科学的根拠に基づいた真に頑健な安全評価の共通規格として、学術界および産業界から高い関心を集めています（一次ソース：Anthropic Research 公式発表（英文））。