MoE（混合エキスパート）
大規模言語モデルの内部を複数の専門サブネットワーク（エキスパート）に分割し、入力トークンごとに最適な一部のみを動的に稼働させることで、高い知識容量と高速・省電力な推論を両立するアーキテクチャです。
MoE（エムオーイー／混合エキスパート）とは、大規模言語モデルの内部構造を複数の専門的なサブネットワーク（エキスパート）に分割し、入力されるデータに応じて最適な一部のエキスパートのみを動的に選択して処理を行わせるアーキテクチャのことです。
従来の密なモデル（Denseモデル）では、1つの単語を処理するたびにモデル内のすべてのパラメータを計算に使用するため、性能を高めようとして規模を大きくするほど推論時の計算コストやメモリ消費が比例して跳ね上がるという課題がありました。
MoEでは、ルーター（ゲーティングネットワーク）と呼ばれる振り分け機構が各トークンの特徴を瞬時に判定し、数十個あるエキスパートの中から最も適した数個だけをアクティブ化して計算を実行します。
例えば総パラメータ数が350億個あるモデルでも、実際の1トークンあたりの推論時に稼働するパラメータ（アクティブパラメータ）を30億個程度に抑えることができるため、巨大モデルの深い知識量と小型モデル並みの高速な応答速度を同時に実現できます。
近年ではクラウド上のフロンティアモデルだけでなく、スマートフォンのような限られたメモリ環境で動作するオンデバイスAIにおいても、先読みスケジューリング技術と組み合わせることで実用化が急速に進んでいます。