トークンとは
AIにおけるトークン（Token）とは、LLM（大規模言語モデル）がテキストを処理する際の基本単位です。単語・語句・文字の一部などがトークンに分割され、モデルはトークンの連続として文章を理解・生成します。
トークンとは何か（具体例）
英語では「Hello」は1トークン、「ChatGPT」は2トークン（Chat＋GPT）になります。日本語は英語より多くのトークンが必要で、「こんにちは」は3〜5トークン程度です。OpenAIの目安として、英語では約750単語＝1000トークンが一般的な比率です。
トークン数がコストと性能に影響する理由
API利用料はトークン数（入力+出力）に基づいて課金されます。また、コンテキストウィンドウ（一度に処理できる最大トークン数）を超えると、それ以前の情報が切り捨てられます。長文処理や長い会話では特にトークン管理が重要です。
ビジネスでのトークン最適化
プロンプトを簡潔にする・不要な前置きを省く・出力の最大トークンを適切に設定するなどでAPIコストを削減できます。大規模にAPIを使うシステムではトークン最適化が直接的なコスト削減につながります。
