Llama 4 Behemoth (2T MoE)
Llama 4 Behemothは、Metaが開発を進めるLlama 4シリーズの最上位フラッグシップモデルです。 総パラメータ数約2兆（アクティブ288B）の巨大なMoE構造を持ち、実用モデルへの知識蒸留（Distillation）を行う「ティーチャーモデル」として重要な役割を担っています。その規格外のスケールと配布形態を巡り、MetaのオープンソースAI戦略の転換点として業界で盛んに議論されています。
コンテキスト許容量128,000 〜 1,000,000 トークン（予想）
対応フォーマットテキスト、画像認識、動画理解、マルチモーダル
有料プランオープン重み提供（自社GPUインフラにて運用）
主な強み・メリット
- 総パラメータ数約2兆、アクティブパラメータ数288Bを誇るMeta史上最大規模のスパースMoE（Mixture-of-Experts）アーキテクチャ
- 小型実用モデル（ScoutやMaverick）へ最高品質の教師データを提供する「ティーチャーモデル」として内部機能
- テキスト、画像、動画をシームレスに交差処理するネイティブ・マルチモーダル理解力
弱み・注意点
- 2兆パラメータという巨大さゆえ、通常のクラウドサーバーや単一GPUノードでの推論実行が困難
- 一般ユーザー向けの即時ダウンロード提供ではなく、Meta内部の蒸留・研究用途が主軸となっている点
期待される ビジネスでの具体的な活用シーン
1
Behemothから生成された高品質な合成データを用いて、自社の特化型小型AIモデルを極限まで高精度化
2
最先端のマルチモーダル推論を必要とする高度な研究開発および先端ベンチマーク計測
3
Metaが提示する大型MoEアーキテクチャの分散ルーティング・量子化技術の検証