Parameter 參數是什麼？模型腦袋裡的連結權重

看模型介紹一定會看到 7B、70B、175B 這些數字。它們指的就是參數量。

這個數字很好用也很容易誤導。搞懂它代表什麼、不代表什麼，選模型的時候會少走很多冤枉路。

定義

參數是模型裡面的一堆數值，作用像神經元之間的連結權重。它決定一段輸入進來之後，會被怎麼加權、怎麼傳遞、最後輸出什麼。

這些數值不是人寫的，是模型從大量資料裡一次次調整出來的。所以參數也可以理解成經驗的累積。

白話比喻

生物大腦靠神經元之間的連結強度來學習與記憶。走過幾次的路徑會變強，沒用到的會變弱。

模型的參數是同一個道理的數學版本。訓練就是反覆調整這些強度，讓預測越來越接近正確答案。

參數量代表什麼、不代表什麼

參數量可以理解成知識容量。容量大，能容納的模式比較複雜，通常在多種任務上的通用能力比較好。

但它不是成績單。同樣參數量的兩個模型，訓練資料與方法不同，表現可以差很多。參數量是容量上限，不是實際發揮。

另外一邊是代價。參數越多，訓練需要的算力與時間越多，跑起來也吃更多硬體，這條成本最後會反映在延遲與價格上。

跟相近名詞的差別

實際用例

選本地模型時，參數量與量化程度合起來決定你的顯示卡跑不跑得動。同一個 70B 模型，量化過的版本可能塞得進消費級顯卡，原始精度的版本就得靠伺服器。

用雲端模型時，你其實買的是別人的參數規模與算力。任務單純就選小模型省錢省時間，需要複雜推理再換大的，不必一路用最大的那顆。