オープンソースAI研究コミュニティOpenBMBは、スマートフォンやタブレットなどのエッジ端末上で直接動作する高効率マルチモーダル視覚言語モデル「MiniCPM-V 4.7」シリーズを正式公開し、Apache 2.0ライセンスのもとで重みデータの提供を開始しました。
本シリーズの最大の目玉は、MiniCPM-Vとして初めてMixture-of-Experts(MoE)アーキテクチャを採用した上位モデル「MiniCPM-V 4.7 35B-A3B」です。
総パラメータ数350億の広範な知識基盤を持ちながら、1トークンあたりの計算で実際に活性化されるパラメータ数を約30億(3B)に抑えることで、大型モデル並みの視覚推論精度と軽量モデル並みの計算速度を両立させています。
従来、MoE構造のモデルをメモリ制限の厳しいスマートフォン等で動かそうとすると、エキスパート層の切り替えに伴うメモリアクセス遅延がボトルネックとなっていました。
開発チームはこれを解決するため、次に必要となるエキスパートを先読みして配置する新技術「Lookahead Expert Scheduling(LES)」と、レイヤー単位の細粒度量子化、および投機的デコーディング(Speculative Sampling)を統合しました。
この最適化により、iPhone 17 Pro Maxの実機環境において、わずか約3GBのメモリ消費量で毎秒13トークン以上、iPad Pro(M4搭載機)では毎秒17トークンを超える滑らかなローカル推論を達成しています。
さらに低スペックな組み込み機器やウェアラブル端末に向けて、超軽量版の「MiniCPM-V 4.7 1B」も同時公開されました。
視覚エンコーダー内部にはLLaVA-UHD v4由来のトークン圧縮機構が組み込まれており、高解像度な書類のOCR読み取りや複雑なUI画面の解析を行いつつ、タスクに応じて圧縮率を4倍から16倍まで動的に切り替えて応答速度を優先させることも可能です。
リリース初日からllama.cpp、Ollama、vLLM、SGLang、LLaMA-Factoryなどの主要フレームワークおよびGGUF・AWQ量子化フォーマットに完全対応しており、通信環境に依存しないオンデバイス視覚エージェントの開発を強力に後押しします(一次ソース:OpenBMB MiniCPM-V GitHub Repository / OpenBMB Hugging Face Official)。
