Loss Function 損失函數是什麼？模型怎麼知道自己錯了

模型不會看著答案說「啊我錯了」。它需要一個可以計算的錯誤指標，而那個指標就是損失函數。

這是理解訓練的第一顆零件。沒有它，模型連往哪裡改都不知道。

定義

損失函數衡量模型的預測值與真實值差多少，並把它變成一個數字。數值越小，代表差距越小，模型表現越好。

訓練的目標就是找出一組參數，讓所有訓練資料上的損失總和或平均降到最小。

白話比喻

損失函數就像成績分數，只是方向相反：分數越低代表模型越好。

而且它不只算對錯，還算「錯得多離譜」。同樣是答錯，差一點跟差很多扣的分不一樣，模型才知道該用多大的力氣去修正。

訓練是怎麼跑的

流程是一個固定的循環：輸入訓練資料、模型做出預測、用損失函數算出差距、再由優化器沿著讓損失下降最快的反方向去更新參數。

然後回到第一步再跑一次。損失值一開始掉得很快，接著越來越慢，最後幾乎不動，那就是收斂了。

常見的幾種損失函數

實際用例

以判斷病人有沒有生病的二分類為例。真實值是一而模型給出零點九，損失很小；真實值是一卻只給零點一，損失就會大很多。

模型會透過降低這些「大損失」的樣本，把整體平均拉下來，預測也就越來越準。你在微調時看到的那條下降曲線，量的就是這件事。