国立研究開発法人理化学研究所、東京工業大学、東北大学、富士通株式会社などの共同研究グループは、スーパーコンピュータ「富岳」の大規模並列計算資源を駆使してゼロから事前学習を行った1000億(100B)パラメータ規模の国産大規模言語モデル「Fugaku-LLM 2」を正式にオープンソース公開しました。
本モデルは、国内の研究機関や企業がブラックボックスな海外商用APIに依存することなく、高い透明性と安全性を備えたソブリンAIを自社環境で構築・運用できることを目的として開発されました。
著作権や個人情報に配慮して厳選された高品質な日本語学術論文、公的行政文書、技術仕様書など数兆トークンのデータセットを学習。
日本語の複雑な文脈理解、専門領域における論理的推論、行政・法務文書の読解ベンチマークにおいて、同等規模の海外製オープンモデルを上回る高い精度を達成しました。
富岳の独自CPUアーキテクチャに最適化された分散学習フレームワークやモデルウェイト、TokenizerはHugging Face上で完全無償公開され、学術研究や産業用途における基盤モデル活用を力強く加速させます(一次ソース:理化学研究所 公式プレスリリース / 東京工業大学 ニュースリリース)。
