模型與訓練
Transfer Learning 遷移學習是什麼?把學會的能力搬到新任務上
Transfer Learning 遷移學習是什麼?把學會的能力搬到新任務上
幾乎所有你現在用得到的 AI 應用,底層都靠這個概念。沒有人真的從零訓練一個模型來做自己的分類任務。
懂了遷移學習,你才會明白為什麼「資料很少也能做出好模型」這句話是成立的。
你將學到什麼
定義
把已訓練模型學到的通用特徵,重用到另一個相關的新任務上,只需少量資料即可調整。
白話比喻
已經會開小客車的人去學開卡車,方向盤與交通規則都能直接用,不必從頭學起。
跟誰容易搞混
常跟 Fine-tuning 微調混用。微調是遷移學習的其中一種做法,不是同義詞。
定義
遷移學習是把在大型資料集上學到的通用特徵,搬到新任務上使用的技術。它能大幅減少新任務所需的資料量、訓練時間與計算資源,同時提升模型在新任務上的表現。
核心概念只有一句:保留模型的底層特徵提取能力,只針對新任務調整高層的決策能力。
白話比喻
你已經學會開小客車,控制方向盤、踩油門煞車、看懂路況這些能力都已經在身上。要學開卡車時,你只需要適應車體與視角,不必從認識方向盤開始。
AI 也一樣。一個在百萬張圖片上學過邊緣、紋理、形狀、顏色的模型,拿去判讀胸腔 X 光時,只需要幾百到幾千張標註資料就能上工。
跟相近名詞的差別
| 做法 | 怎麼做 | 適合情境 |
|---|---|---|
| 特徵提取(Feature Extraction) | 凍結預訓練模型參數,只在上面訓練一個新的分類器 | 新任務資料非常少 |
| 微調(Fine-tuning) | 在新任務資料上繼續訓練整個或部分模型層 | 有一定量的標註資料,追求更高準度 |
| 領域適應(Domain Adaptation) | 對齊來源與目標的資料分布,再遷移 | 兩邊資料分布差異較大 |
簡單記法:遷移學習是「要不要重用」的概念,微調 是「怎麼重用」的其中一種答案。
實際用例
影像領域用 ImageNet 上的模型去做醫學影像分類;語言領域用大量文本訓練的模型去做法律、醫療、金融的特定領域問答;語音領域用大規模語音模型去辨識特定口音或方言。
共同點都是:來源任務資料多、目標任務資料少,靠重用把差距補起來。
延伸學習
思維邏輯自我訓練:28 天養成計畫(含入門練習版)
四週把「有感覺」練成「有觀點」。每天一題、一個高階任務配一個低階任務,忙的日子也接得上。買這門課直接附贈《入門練習版》八單元 22 課完整講義與練習單,排在課程最前面,先把思維訓練三部曲、知識吸收金三角這些底層工具建立起來,再進入 28 天的每日練習。
NT$ 999
ChatGPT 很強,但真正讓你下班的是 Google
六小時完整實錄。從「AI 很厲害,為什麼你還是每天加班」這個問題出發,把 Google Workspace 當成真正的工作平台重新設計一次流程 ── Sheets 的資料結構、Drive 與 Docs 的文件流、Gmail 與 Calendar 的通知系統,再用 Apps Script 讓它自己跑起來,最後收斂成一張屬於你自己的 AI 工作能力地圖。
NT$ 4,599

