Knowledge Distillation 知識蒸餾是什麼？大模型教小模型

你手機裡那個離線也能用的小模型，很可能就是被大模型「教」出來的。它沒有雲端的算力，卻能回答得像模像樣。

背後的技術叫知識蒸餾。這篇用一個考試的比喻，把它一次講清楚。

定義

知識蒸餾（Knowledge Distillation）是一種模型壓縮技術。它把一個非常龐大、聰明但跑得很慢的「教師模型」的精華知識，轉移訓練到一個體積小、速度快的「學生模型」上。

目標是在盡量保住準確率的同時，大幅減少模型的大小與計算成本。學生模型學的不只是正確答案，還有教師模型思考時的機率分佈。

白話比喻

傳統訓練像是只給你標準答案：這題選 B，其他都是零分。學生只知道結果，不知道為什麼。

知識蒸餾像是老師把整張思考過程攤開來：這題我有九成把握選 B，但 C 也有一點道理，A 幾乎不可能。這些「軟標籤」帶著暗知識，學生因此學得更細。

蒸餾的流程

1. 準備訓練資料，可以是問題、影像或文本。
2. 讓教師模型跑一遍，產出軟輸出（Soft Targets），也就是各個答案的機率分佈。
3. 讓學生模型同時學兩件事：學正確答案，也學模仿教師的機率分佈。
4. 用蒸餾損失衡量兩者的差距，反覆訓練直到學生模型穩定收斂。

教師模型選得越強，蒸餾效果通常越好。學生模型則要視最終要跑在什麼裝置上來決定大小。

跟剪枝與量化差在哪？

三者常常一起用。先蒸餾出小模型，再做 剪枝 與 量化，最後才塞進手機或邊緣裝置。

實際用例

同一個模型家族常會推出旗艦版與輕量版，輕量版多半就是走蒸餾這條路。前者留在雲端負責難題，後者放進 App 負責即時反應。

對一般使用者來說，蒸餾的價值很直接：離線可用、回應更快、電池更耐，隱私敏感的資料也不必離開你的裝置。