模型與訓練

Underfitting 欠擬合是什麼?模型學得太淺的樣子

Underfitting(欠擬合)是指 AI 模型在訓練資料和新資料上表現都很差的現象。原因通常是模型太簡單、訓練資料不足、特徵不夠,使得模型抓不到資料裡的關鍵模式,因此做不出準確的預測。它的特徵是訓練誤差高、驗證誤差也高,而且兩者很接近,跟過擬合「訓練好、新資料差」剛好相反。
Underfitting 欠擬合是什麼?模型學得太淺的樣子:文章重點卡

Underfitting 欠擬合是什麼?模型學得太淺的樣子

訓練模型時,最怕的其實不是學太多,而是根本沒學進去。

欠擬合就是那個「怎麼練都考不好」的狀態,看懂它的訊號,才知道該加資料還是加複雜度。

你將學到什麼

一句話定義

模型太簡單、學不到模式,訓練跟新資料上都表現很差。

白話比喻

像用一條直線去描一團彎彎曲曲的資料,怎麼畫都貼不上。

怎麼判斷

訓練誤差高,驗證誤差也高,而且兩條線靠得很近。

跟誰容易搞混

過擬合是學太多、記住雜訊;欠擬合是學太少、根本沒學到。

定義

Underfitting(欠擬合)是 AI 模型在訓練資料和新資料上表現都很差的現象。

核心概念是模型的「學習能力不足」,無法捕捉資料中的真實關係,因此在訓練資料上就已經有高誤差,泛化能力也差。

常見原因有四個:模型太簡單、訓練資料不足、特徵不夠或品質差、正則化過強。

白話比喻

想像一堆散落的資料點呈現波浪狀。欠擬合就是硬用一條直線去描它,怎麼擺都貼不上趨勢。

剛剛好的模型會畫出一條起伏適中的曲線,過擬合則會畫出一條為了穿過每個點而扭來扭去的線,連雜訊都學進去了。

欠擬合跟過擬合差在哪

比較項目欠擬合剛剛好過擬合
模型複雜度太簡單適中太複雜
訓練誤差
新資料誤差
偏差 Bias適中
變異 Variance適中
主要問題學不夠最佳狀態學太多

實際用例

訓練一個判斷客戶會不會回購的模型,只丟了兩個欄位進去,結果不管誰進來都預測「不會」,準確率卡在同一個數字。這就是特徵不夠造成的欠擬合。

同樣的觀念也適用於 微調:資料筆數太少、參數 調得太保守,模型就學不到你要的風格。

常見誤解很多人一看到準確率不好就先想到過擬合,把正則化再調強,結果讓欠擬合更嚴重。先看訓練誤差:訓練誤差本身就高,那是欠擬合,該做的是加大模型容量或補特徵。詳細對照可看 Overfitting 過擬合 那一篇。
本文源起本文內容出自酒Ann 的「AI 實戰陪跑班」課程教材,由酒Ann 編寫成彙編條目。想系統性搞懂 AI 名詞,歡迎追蹤 酒Ann 的 Facebook

延伸學習

把這篇文章分享給需要的人FacebookLINEThreadsX

常見問答

怎麼分辨是欠擬合還是過擬合?
看兩條誤差線。欠擬合是訓練誤差高、驗證誤差也高,兩者相近,代表模型連自己看過的資料都學不好。過擬合則是訓練誤差很低、驗證誤差卻很高,代表模型把訓練資料背起來了,遇到新資料就失準。方向完全相反,處理方式也相反。
增加資料量可以解決欠擬合嗎?
有時候可以,有時候沒用。如果原因是樣本太少導致模型學不到足夠的模式,加資料有效。但如果原因是模型本身太簡單或正則化太強,加再多資料誤差也不會明顯下降。這其實就是判斷方法之一:加了資料誤差沒動,問題多半在模型容量。
常見的改善方法有哪些?
五個方向:換更複雜的模型(更深或更多層)、增加訓練資料、改進特徵工程(加入更有意義的特徵或提升特徵品質)、調整超參數(減弱正則化強度、降低隨機丟棄比例)、延長訓練時間讓模型有機會充分學習。先從模型容量與特徵品質查起,通常最快見效。