100種類以上の主要LLMや自前ホストモデルを単一のOpenAI互換API仕様で呼び出せるオープンソースプロキシ「LiteLLM」の開発チームは、メジャーアップデートとなる「LiteLLM v1.102.0」を正式リリースしました。
本リリースの最大の目玉は、タスク難易度に応じて最適なモデルをミリ秒単位で振り分ける「次世代Auto Router」の制御強化です。
判定特化型AIモデル「Jev」との連携により、入力プロンプトの論理的難易度やツール呼び出しの必要性を即座に判定。高コストな推論モデル（Reasoning Models）と高速・安価な軽量モデルへ自動的にトラフィックを分散させ、精度を維持しながらAPIコストを大幅に抑制します。
さらに、画像やPDF資料からのテキスト・構造化データを直接抽出できる「ネイティブOCRパイプライン」をゲートウェイに標準統合。
データベース接続プーリング「PgBouncer」のコネクション共有にも対応したことで、エンタープライズ規模の同時リクエスト処理時におけるレイテンシと接続エラー耐性が劇的に向上しました（一次ソース：LiteLLM GitHub Releases / LiteLLM公式ドキュメント）。