内閣府の人工知能戦略専門調査会の下に設置された「制度の在り方検討ワーキンググループ」は2026年11月11日、急速に高度化する高性能AI（フロンティアAI）のリスクに対応するため、開発や提供を行う事業者に対して安全確保義務や国への報告義務を課し、違反時の罰則規定を新設する方向で制度案を提示しました。従来の推進重視・自主的な指針尊重から、実効性を担保した法規制への歴史的な舵切りとなります。
提示された制度案では、大規模な計算資源を用いて訓練された基盤モデルや自律的に判断・行動するエージェントなど、一定以上の性能水準を持つAIが対象となります。サイバー攻撃への悪用、重要インフラの機能停止、あるいは予期せぬ逸脱行動といった重大リスクを未然に防ぐため、開発段階でのレッドチーミングや安全評価措置の実施が義務付けられます。
さらに実効性を高める措置として、国が事業者に対して安全管理体制の報告を求める権限や、安全対策に不備がある場合の是正命令権を盛り込みました。現行の法体系には強制力を伴う罰則が存在しませんでしたが、命令に従わない悪質な事業者に対しては刑事罰や過料などの罰則を科す方向で制度設計が進められています。
欧州のAI法や米国の安全確保令など国際的な規制枠組みとの調和を図りつつ、国内スタートアップのイノベーションを阻害しないための対象範囲の線引きが今後の焦点となります。内閣府は年内に中間整理を取りまとめ、次期通常国会への法案提出を視野に制度設計を加速させる方針です（一次ソース：内閣府 公式発表）。