Speculative Decoding 投機解碼是什麼？小模型先猜大模型驗證

同一個模型，有時候字是一個一個慢慢吐，有時候整段唰一下就出來了。差別常常不在模型本身，而在它有沒有開投機解碼。

這是目前提升推理效率最實用的技術之一，原理卻意外地好懂。

定義

投機解碼（Speculative Decoding，也譯猜測解碼）是一種雙模型合作的加速技術。它讓一個小而快的草稿模型（Draft Model）先以極快速度猜出接下來要吐的好幾個詞元。

接著由那個聰明但比較慢的審查模型（Verify Model）逐一驗證。驗到第一個錯的就停下來，從那裡重新生成。

白話比喻

想像主管要寫一封信。一個字一個字自己想，速度就是他的思考速度。

但如果助理先把一整句草稿寫好，主管只要掃過去確認就行。看得比寫得快，這就是投機解碼省時間的地方。

運作流程

1. 草稿模型一次生成多個候選詞元，數量通常設在四到八個之間。
2. 審查模型批次檢查這幾個候選是否符合自己的判斷。
3. 從頭開始接受連續正確的部分，遇到第一個錯誤就停止。
4. 從錯誤處由審查模型接手重新生成，然後回到第一步。

重點在第二步：驗證多個候選可以一次算完，這是它比逐字生成便宜的根本原因。

跟傳統解碼的差別

換句話說，它同時改善了 延遲 與 吞吐量，代價只是要多維護一個小模型。

實際用例

最適合的場景是需要高速生成文字、又能容忍偶爾重生成的服務：聊天機器人、程式碼補全、長文寫作、文件摘要。

模型組合的原則是草稿要小而快、審查要大而強，而且兩者的詞彙表通常要相容，常見做法是取同一個模型家族的大小版本來搭配。