知識蒸留とは
知識蒸留（Knowledge Distillation）とは、大規模なAIモデル（教師モデル）から小規模なAIモデル（生徒モデル）に「知識を移転」させることで、性能を可能な限り保ちながらモデルを軽量化・高速化するAI技術です。
知識蒸留が必要な理由
GPT-4のような超大規模モデルは高性能ですが、推論コストが高くリアルタイム応用に不向きな場合があります。知識蒸留によって、小さなモデルが大きなモデルの「考え方・パターン」を学習することで、軽量ながら高性能なモデルを作成できます。
知識蒸留の仕組み
教師モデルの「ソフトラベル（各クラスへの確率分布）」を生徒モデルの学習目標として使うことで、単純な正解データより豊かな情報を伝達します。「猫の確率90%・犬の確率9%」というソフトラベルは「猫か犬に似ているという関係性」まで伝えられます。
ビジネスへの影響
知識蒸留によって、スマートフォン・IoTデバイス・エッジコンピューティングでの高性能AI実行が可能になります。クラウドAPIを使わずにデバイス内でAIを動かす「エッジAI」の普及が進んでいます。
