模型與訓練
Optimizer 優化器是什麼？決定 AI 怎麼修正錯誤
Optimizer（優化器）是訓練 AI 模型時，用來調整模型參數以降低誤差的演算法。訓練的目標是找到一組參數，讓模型的錯誤程度也就是 Loss Function 損失函數的值最小，而優化器就是決定「下一步要往哪個方向走、走多遠」的策略。常見的優化器有 SGD、Momentum、RMSprop 與 Adam，各有不同的更新策略與適用情境。
Optimizer 優化器是什麼？決定 AI 怎麼修正錯誤
訓練 AI 模型的技術文章裡常常出現 Adam、SGD 這些名字，它們就是 Optimizer 優化器的具體種類。
不用懂數學公式，你只需要知道它負責一件事，讓模型一步一步修正到答對為止。
你將學到什麼
定義
根據誤差資訊，決定模型參數下一步怎麼修正的演算法。
白話比喻
像在山谷裡找最低點，優化器決定每一步往哪走、走多遠。
跟誰容易搞混
跟 Loss Function 是搭檔關係，一個算誤差，一個決定怎麼修正。
定義
Optimizer 是訓練 AI 模型時，用來調整模型參數以降低損失函數數值的演算法，也就是決定「下一步怎麼修正」的策略。
訓練的目標是讓損失函數不斷下降，直到收斂到一個局部最小值，優化器就是帶著參數一步一步走向這個最小值的引擎。
白話比喻
想像你在山谷裡尋找最低點，眼睛被蒙住，只能靠腳下的坡度判斷方向。優化器就是那套決定「往哪走、走多遠」的策略。
常見優化器的差異
| 優化器 | 特色 | 適合情境 |
|---|---|---|
| SGD | 只用當前批次的梯度更新 | 基線模型、大規模資料集 |
| Momentum | 累積過去梯度的移動方向 | 梯度震盪較大時 |
| RMSprop | 依歷史梯度調整學習率大小 | 非平穩目標，如序列任務 |
| Adam | 結合 Momentum 與 RMSprop 優點 | 大多數深度學習任務的預設選擇 |
跟相近名詞的差別
Loss Function 負責告訴模型現在錯得多離譜，Optimizer 負責告訴模型該怎麼修正。前者是量尺，後者是行動策略，兩者缺一不可。
常見誤解常見誤解是以為優化器種類越新越好。實務上沒有絕對最好的優化器，只有最適合當前任務的選擇，多數團隊會從 Adam 開始嘗試，再依訓練結果調整。
本文源起本文內容出自酒Ann 的「AI 實戰陪跑班」課程教材，由酒Ann 編寫成彙編條目。想系統性搞懂 AI 名詞，歡迎追蹤 酒Ann 的 Facebook。
延伸學習
常見問答
優化器跟損失函數是同一件事嗎？
不是，兩者是搭檔關係。Loss Function（損失函數）負責計算模型現在錯得有多離譜，Optimizer 則根據這個誤差資訊，決定參數要往哪個方向調整、調整多少，兩者合作才能讓模型越訓練越準。
為什麼有這麼多種優化器？
因為不同優化器在收斂速度、穩定性與記憶體需求上各有取捨。SGD 簡單但收斂慢，Momentum 減少震盪，RMSprop 適合波動大的目標，Adam 則綜合前面優點，是目前大多數任務的預設選擇。
一般人需要自己選優化器嗎？
如果你只是使用現成的 AI 工具，完全不需要碰這一層。這是模型開發者在訓練階段才需要決定的事，日常使用者不會接觸到這個設定。