知識蒸留(Knowledge Distillation)は、大きく性能の高い「教師モデル」の出力を「生徒モデル」に見習わせる学習方法です。正解ラベルだけを学ぶのではなく、教師モデルがそれぞれの選択肢にどの程度の確信を持っているかまで参考にするため、データを単にコピーするよりはるかに効率よく能力を伝えられます。こうして生まれた軽量モデルは、元のモデルに近い性能を出しながら、はるかに少ない資源で動かせます。そのため、サービスの運用コストを大きく下げる手段として広く使われています。
蒸留が効果的な理由
最近話題になったオープンソースモデルの多くも、かなりの部分でこの蒸留の手法を使って作られています。蒸留が効果的なのは、教師モデルの「確率分布」そのものが情報を含んでいるからです。正解ひとつだけを学ぶより、どの不正解が正解と近い確率を持っていたかまであわせて学ぶことで、生徒モデルはより豊かな判断基準を身につけます。
SLMとオンデバイスモデルを支える中核の手法
蒸留は、SLM(小規模言語モデル)を作るうえでの中核の手法でもあります。オンデバイスで動かす必要がある小さなモデルほど、一からデータを集めて学習させるより、すでによく学習した大規模モデルの知識を移し替えるほうがはるかに現実的なアプローチです。
教師のバイアスまで受け継ぐため、検証が欠かせない
ただし、教師モデルの限界やバイアスも一緒に受け継がれる点には注意が必要です。生徒モデルは教師が持つ誤りやバイアスまでそのまま引き継ぐことがあるため、蒸留のあとにも別途検証と修正の工程が必要になる場合が多くあります。最近は、複数の教師モデルの知識を混ぜて蒸留したり、特定の領域だけを選んで蒸留したりする手法も研究されています。ひとつの巨大な教師だけに頼らず、複数の専門モデルの強みを組み合わせようとする試みです。実務では、蒸留のあとに元のモデルとの性能差をベンチマークで改めて確かめる手順を必ず設けます。
ある課題ではほとんど差がなくても、特定のタイプの質問では性能が大きく落ちることがあるため、デプロイ前の点検は欠かせないとされています。
多段階の蒸留と教師モデルの選び方
蒸留したモデルをもう一度蒸留して、さらに小さなモデルを作る「多段階蒸留」も試されています。ただし段階を重ねるほど、元のモデルの微妙なニュアンスが少しずつ失われる点は考慮しておく必要があります。蒸留の元になる教師モデルを複数用意し、問題のタイプに応じて別々の教師から知識を選んで取り込む方式も研究されています。
コードの問題はコーディングに強い教師から、言語の問題は対話に強い教師から学ぶ、といったやり方です。
オープンソースが差を縮めた理由
蒸留は、オープンソースのコミュニティが大規模なクローズドモデルとの差を短期間で縮められた大きな理由でもあります。新しい大規模モデルが登場するたびに、その知識を小規模モデルに移し替えた蒸留モデルが数週間のうちに公開される、というパターンが繰り返されています。蒸留の過程で生徒モデルが教師モデルの誤りやバイアスまでそのまま受け継ぎうる点にも、気をつけておく必要があります。
教師が間違ったことを自信たっぷりに言えば、生徒もその間違った答えを「正解」として覚えてしまいます。
コスト削減を超えて、環境とモバイルにも
蒸留はコスト削減の手段であると同時に、環境面でも意味があります。小型化したモデルは学習と推論に必要な電力が少なく、大規模モデルをそのまま提供するより二酸化炭素の排出を減らす効果もあります。知識蒸留は、モバイルアプリにAI機能を組み込むときに特によく使われます。サーバーと通信せずに端末の中ですぐ実行できるほどモデルを軽くする、中核の手法だからです。
目的に合ったサイズを選ぶという戦略
蒸留したモデルの品質を検証するときは、元の教師モデルとの回答の一致率だけでなく、実際のユーザー満足度まであわせて測ることが大切だという指摘があります。知識蒸留の技術が成熟するにつれ、「大きなモデルを使うしかない」という認識そのものが薄れつつあります。目的に合ったサイズのモデルを選ぶほうが、むしろ合理的な戦略として受け止められるようになってきました。韓国のスタートアップの中にも、大規模モデルの知識を蒸留して自社サービスに合った軽量モデルを自ら作って使う事例が増えており、APIコストを削減する実質的な手段になっています。
知識蒸留の技術は、今後もAIの普及を後押しする中核の技術として注目され続けるとみられます。
まとめ
知識蒸留は、「AIの性能は規模に比例する」という単純な公式を崩す代表的な技術です。うまく凝縮された知識が、元のモデルに近い実力をはるかに安く発揮できることを、いまのオープンソースのエコシステムが実証しています。