推論
学習済みのAIモデルが、入力されたデータに対して回答や予測を実際に出力する処理のことです。学習とは区別される工程です。
AIにおける推論とは、あらかじめ学習を終えたモデルが、新しく入力されたデータに対して回答や予測を出力する処理のことです。
AIの構築は大きく「学習」と「推論」の二つの工程に分かれており、学習は膨大なデータからパターンを学ぶ工程、推論はその学習結果を使って実際に答えを出す工程です。
ユーザーがAIに質問して回答を得るとき、AI側で行われているのはこの推論の処理にあたります。
推論には計算資源が必要で、特にGPUと呼ばれる処理装置が高速な推論を支える重要な役割を担っています。
近年は、回答前に内部で段階的な思考の過程を経ることで、複雑な問題への精度を高める推論モデルと呼ばれるタイプのAIも登場しています。
推論にかかる時間やコストは、モデルの規模やコンテキストウィンドウの大きさによっても変わります。