Pruning 是什麼？把模型裡沒貢獻的連結剪掉換速度

當你想把模型塞進手機、樹莓派或一台顯卡不夠力的機器，就會遇到模型壓縮這件事。剪枝是其中最直觀的一招：把沒在做事的連結剪掉。

定義

Pruning（模型剪枝）是一種壓縮模型的技術，移除對輸出貢獻極小的參數或神經元，也就是權重接近零的那些，保留重要的部分，讓模型變得更精簡高效。

它帶來四個好處：減少參數量與計算量、加快推理速度、降低記憶體占用與能耗、部署更容易。

白話比喻

想像一個一百人的部門，其中有一大半的人幾乎不影響最後的產出。把他們的線拔掉，整個部門的溝通成本立刻下降，而交出來的東西幾乎沒變。

剪枝的精髓就是這句話：刪除沒貢獻的，保留真正重要的。

跟其他壓縮技術的差別

實際用例

標準流程有六步：先有一個訓練完成的模型，計算每個權重的重要性，設定剪枝門檻，移除冗員，微調恢復精度，最後部署更快更小的模型。

剪枝分成幾種類型。非結構化剪枝移除單獨的權重，結構化剪枝移除整個神經元、通道或濾波器，稀疏訓練在訓練過程中就強制產生稀疏性，漸進式剪枝則是逐步剪枝加微調，效果最穩定。