オンデバイスAI（ローカルLLM / エッジAI）
クラウド上の外部サーバーを介さず、スマートフォンやパソコン、車載機器などの端末（デバイス）内部のチップ上で直接AIモデルの推論処理を実行する技術および利用形態のことです。
オンデバイスAI（ローカルLLM／エッジAI）とは、インターネット経由でクラウド上のサーバーにデータを送信するのではなく、スマートフォンやパソコン、ロボットなどの端末内部に搭載されたプロセッサ上で直接AIモデルを稼働させる技術のことです。
最大のメリットはプライバシーとセキュリティの高さにあります。機密文書や個人の写真、音声データなどを外部のクラウドへ一切送信せずに端末内で処理が完結するため、情報漏洩リスクが極めて厳しい医療・金融・法務などの現場でも安全にAIを活用できます。
また、通信回線の遅延やサーバー混雑の影響を受けないためリアルタイムの応答性に優れ、飛行機内や通信障害時などのオフライン環境でも安定して動作するほか、従量課金制のAPI利用コストをゼロに抑えられる利点もあります。
かつては端末側のメモリ容量や計算性能の制約から小規模な処理に限られていましたが、NPU（AI専用半導体）の普及に加え、量子化やMoE（混合エキスパート）、モデル蒸留といった軽量化技術の革新により、今やスマートフォン単体でも高度なマルチモーダル推論が可能になっています。
膨大な知識を扱うクラウドAIと、日常の操作や機密データを即座に処理するオンデバイスAIを状況に応じて使い分けるハイブリッドAIの構成が、現在のデバイス設計における主流となっています。