配信日: 2026-10-02 LLM・モデル重要度: ★★★★★ 読了目安: 約2分

超圧縮AI「Bonsai 2」公開、27Bを8GBで実行

REPORTED BY BNF AI NEWS EDITORIAL DESKSPECIAL DISPATCH
超圧縮AI「Bonsai 2」公開、27Bを8GBで実行

この記事の要点(3行ダイジェスト)

  • Prism MLが27Bモデルを1.72ビット相当に圧縮した「Bonsai 2」を公開。
  • FP16比で約85%の軽量化を達成し、約54GBのモデルを8GB前後のメモリで実行可能に。
  • 推論精度の98%超と262k文脈を維持し、Macや民生用GPUでのローカル運用を加速。

AI軽量化技術を手がけるPrism MLは、アリババの最新マルチモーダル基盤「-27B」を三値量子化(Ternary Quantization、-1/0/+1の3値重み付け)によって極限まで圧縮したオープンソースモデル「Ternary Bonsai 2 27B」を公開しました。理論値1.72ビット相当への圧縮に成功し、従来のFP16形式で約54GBに達していたモデル容量をわずか6〜8GB前後にまで削減しています。

大幅な軽量化を行いながらも、高度な事後アライメント技術によって主要な・知識で元のQwen3.8-27Bの98.2%に匹敵する精度を維持しています。さらに、262kの大規模をそのまま保持しており、長文解析やリポジトリ全体のコード読解をローカル環境でこなします。

同モデルはApple SiliconのMetal やllama.cppに最適化された専用ランタイムとともに提供されており、MacBook Proや12GB程度のVRAMを備えた民生用デスクトップPC上で高速なトークン生成速度を実現します。

高価なに依存せず、企業の機密データを完全にオンプレミスにとどめたまま中規模フロンティア級のAI推論を実行できる新たな選択肢として、開発者コミュニティで急速に注目を集めています(一次ソース:Prism ML Official Model Repository / Bonsai Quantization Engine GitHub)。

DAILY AI NEWSLETTER — 朝刊ダイジェスト

毎朝8時、業界の最重要AIニュースを5分でキャッチアップ。

主要モデルの最新発表、現場で即使える実務プロンプト、法規制の動向を専門編集局が毎朝要約してお届けします。

✓ 完全無料✓ 毎朝8:00配信✓ いつでもワンクリック解除✓ スパムゼロ