コンテキストウィンドウとは
コンテキストウィンドウ(Context Window)とは、LLM(大規模言語モデル)が一度の処理で参照できるテキストの最大長のことです。「AIの作業記憶」に相当し、トークン数で表されます。Claude 3の最大200,000トークン、Gemini 1.5 Proの最大100万トークンが代表的なサイズです。
コンテキストウィンドウの重要性
コンテキストウィンドウが大きいほど、長い文書の一括処理・長期の会話履歴の参照・複数ファイルの同時処理が可能になります。従来の8,000トークン(約6,000文字)では不可能だった「本1冊の要約」「長大な契約書の分析」が、大きなコンテキストウィンドウで現実的になりました。
コンテキストウィンドウの限界
コンテキストウィンドウが大きくても「長い文書の中間部分は忘れやすい(ロスト・イン・ザ・ミドル問題)」という現象が報告されています。重要情報は文書の冒頭または末尾に配置するのが効果的です。
トークンとの関係
1トークンは日本語では約1〜2文字に相当します。コンテキストウィンドウが100,000トークンなら約5〜10万文字(200〜400ページ程度)を一度に処理できます。API利用料もトークン数に基づいて課金されます。