中国のAIスタートアップDeepSeek（ディープシーク）は2026年10月21日、同社の商用サービスを支える大規模分散推論エンジン「DeepInfer」をApache 2.0ライセンスに基づくオープンソースソフトウェアとして一般公開しました。あわせて、モデル入出力のトークン処理パイプラインを公式APIと完全に一致させる「deepseek-recipe」も同時提供されています。
本推論エンジンは、最新中核モデルであるDeepSeek-V4.1-Flashに最適化され、NVIDIAの次世代アーキテクチャBlackwell（SM100等）とHuaweiのAscend 950 NPUの双方にネイティブ対応しています。低遅延なアテンション計算を実現するFlashMLAや行列演算カーネルDeepGEMM、DSpark投機的デコーディング、およびMoEエキスパート並列の動的負荷分散機構を中核に実装しました。
DeepSeekの社内本番環境において、本エンジンは単一クラスタで1日あたり155兆トークンという膨大なトラフィックを安定処理している実績を持ちます。独自カーネルとパイプライン並列の徹底したチューニングにより、GPUメモリ消費量を大幅に削減しながら、商用フロンティアモデルのサービングに必要な極めて高いスループットを維持します。
これまでフロンティア級MoEモデルの本番サービング技術は各社のブラックボックスとなっていましたが、実績あるエンジンが公開されたことで自社オンプレミスでの大規模モデル運用が劇的に容易になります。vLLMやSGLangに並ぶ新たな高性能推論スタックとして、オープンソースAIエコシステムのインフラ選択肢が一段と広がりました（一次ソース：DeepSeek GitHub 公式リポジトリ）。