生成與推論
Top P 核採樣是什麼?另一種控制隨機性的旋鈕
Top P 核採樣是什麼?另一種控制隨機性的旋鈕
調過 Temperature 的人常會發現,光靠它還是不夠精準控制輸出的多樣性。
Top P 是另一顆常搭配使用的旋鈕,靠累積機率動態決定候選範圍,而不是固定候選字數。
你將學到什麼
定義
累積機率達到設定的 P 值,落在範圍內的字詞才列入候選再抽樣。
白話比喻
像只留下累計占比前九成人氣的選項,人氣分散時留的選項自然變多。
跟誰容易搞混
常跟 Top K 搞混。Top K 固定候選數量,Top P 依分佈動態調整。
定義
Top P 會根據詞彙的機率分佈,從高到低累加機率,直到累積機率達到設定的 P 值,只有這些字詞會被列入候選,再從中依機率抽樣。
舉例來說,若 P 設為 0.9,模型會把下一個字的候選詞依機率由高到低排列,一路累加,一旦累積機率超過 0.9 就停止收錄,剩下的低機率詞全部排除在候選集合之外。
跟 Top K 差在哪?
| 項目 | Top K | Top P(核採樣) |
|---|---|---|
| 候選方式 | 固定只考慮前 K 個詞 | 依累積機率動態決定候選數 |
| 候選數量 | 永遠固定 | 分佈集中時少,分散時多 |
| 靈活度 | 較低,可能含低機率詞 | 較高,更貼近語言自然性 |
| 適合場景 | 需要簡單直觀的控制時 | 需要動態平衡多樣性與連貫性時 |
不同 P 值的效果
- P 較低(如 0.5):候選詞較少,輸出較集中、穩定,但可能較單調
- P 中等(如 0.9):候選詞適中,平衡多樣性與品質,是最常用的設定
- P 較高(如 0.95 以上):候選詞較多,輸出更多樣、創意高,但可能較發散
實際用例
客服或法規類回覆偏向使用較低的 P 值,讓輸出保守穩定;創意寫作、腦力激盪類任務偏向使用較高的 P 值,讓輸出更多樣。多數任務用 P = 0.9 當起點,再依實際輸出效果微調。
最常見的誤解是以為 Top P 跟 Temperature 是同一種東西,調一個就夠了。兩者作用的環節不同:Temperature 影響機率分佈的形狀,Top P 影響候選範圍的大小,搭配使用才是常見做法。
延伸學習
ChatGPT 很強,但真正讓你下班的是 Google
六小時完整實錄。從「AI 很厲害,為什麼你還是每天加班」這個問題出發,把 Google Workspace 當成真正的工作平台重新設計一次流程 ── Sheets 的資料結構、Drive 與 Docs 的文件流、Gmail 與 Calendar 的通知系統,再用 Apps Script 讓它自己跑起來,最後收斂成一張屬於你自己的 AI 工作能力地圖。
NT$ 4,599
HE301|Harness Engineering Architecture(12 小時)
兩天十二小時的架構課,處理的是「第一百次仍然成功」。從能力設計出發,逐層拆解知識、脈絡、記憶、規則、工具、工作流、評估與多代理八種架構,每一種都給治理方式與真實案例。12 章 114 課圖文講義、52 張對照表,附兩天的學員講義與投影片 PDF。課程於 2026 年 8 月 30 日實體開課,完整錄影將於課後上傳。
NT$ 12,999

