GPU
大量の計算を同時並行で処理できる演算装置です。もともとは画像処理用でしたが、AIの学習や推論にも広く使われています。
GPU(Graphics Processing Unit)とは、大量の計算を同時並行で処理することを得意とする演算装置のことです。
もともとはゲームや映像などの画像処理を高速化するために開発された部品ですが、その並列計算能力がAIの計算処理と相性が良いことから、AI開発に広く使われるようになりました。
LLM(大規模言語モデル)の学習や推論には膨大な量の計算が必要で、多数のGPUを連携させて処理する体制が一般的です。
高性能なGPUの確保や運用コストは、AI開発における大きな課題の一つとされています。
クラウドサービスを通じてGPUを必要な分だけ利用できる仕組みも普及しており、自社で設備を持たなくてもAI開発に着手しやすくなっています。
AIモデルの推論を高速化するために、モデル自体を軽量化する量子化といった技術も合わせて使われることがあります。