大規模言語モデル（LLM）のオープンソース高速推論エンジン「vLLM」の開発コミュニティは、最新安定版となる「vLLM v0.29.0」を正式リリースしました。
270名以上のコントリビューターによる約600件のコミットが統合された大規模な更新となります。
本リリースの最大の転換点は、これまで一部のプーリングモデルなどで段階的に検証されてきた次世代実行基盤「Model Runner V2（MRV2）」が、すべてのモデルアーキテクチャにおいてデフォルトの推論基盤として全面昇格した点です。
推論パイプラインのオーバーヘッドが大幅に削減され、高負荷環境におけるスループットが向上しました。
メモリ管理機能も大幅に強化され、KVキャッシュの最適容量を自動算出する「CUDA Graphメモリプロファイリング」が導入されました。
さらにテンソル並列度に応じて出力ステップ時のメモリ消費を抑制する「バッチシャーディングサンプリング」を実装し、長文脈生成時の安定性を格段に高めています。
モデル対応では、Tencentの770B MoEモデル「Hy4-preview」やAlibabaの「Qwen3.8-Flash-Next」、IBM「GraniteSWA」、NVIDIA「NemotronH」など、直近で登場した最先端オープンモデルを網羅しました。
投機的デコーディングの受容率メトリクス出力など運用監視機能も拡充され、企業の本番AIサービング基盤としての完成度を一段と高めています（一次ソース：vLLM GitHub Releases 公式発表）。