トークン
AIが文章を処理する際の最小単位のことです。単語より細かい単位に分割されることが多く、料金や処理量の計算にも使われます。
トークンとは、LLM（大規模言語モデル）が文章を処理する際に扱う最小単位のことです。
英語であれば単語や単語の一部、日本語であれば文字や単語のまとまりが、それぞれ一つ以上のトークンとして扱われます。
AIは入力された文章をトークンの並びに変換したうえで処理し、回答もトークン単位で組み立てて出力します。
AIサービスのAPI利用料金は、多くの場合このトークンの数に応じて計算される仕組みになっています。
また、AIが一度に読み書きできるトークンの上限は、コンテキストウィンドウと呼ばれる別の概念で管理されています。
長い文章や大量のデータをAIに渡す際は、トークン数を意識しておくと、料金や処理の可否を見積もりやすくなります。