模型與訓練
Alignment 對齊是什麼？讓 AI 不只聰明，還要可靠
Alignment（對齊）是 AI 訓練的關鍵階段，目的是讓模型的行為、價值觀與人類的意圖、倫理和安全規範保持一致。即使模型很聰明，也需要對齊，才能「做對的事」，而不只是「把事做對」。常見做法包含監督式微調、獎勵模型、RLHF 與紅隊測試。
Alignment 對齊是什麼？讓 AI 不只聰明，還要可靠
同一個模型，可以幫你寫文案，也可以被誘導寫出有害內容。差別不在它聰不聰明，而在有沒有對齊。
對齊是把「這個 AI 值不值得信任」這件事做進訓練流程裡的一步。
你將學到什麼
定義
對齊是讓 AI 的行為與價值觀，跟人類的意圖、倫理和安全規範保持一致的訓練階段。
白話比喻
就像教一個很聰明的人，不只要他會解題，更要讓他有正確的價值觀與判斷力。
跟誰容易搞混
RLHF 是對齊用的其中一種技術，安全護欄則是產品上線後的即時攔截，兩者不同層。
定義
Alignment（對齊）是 AI 訓練的關鍵階段，目的是讓 AI 的行為、價值觀與人類的意圖、倫理和安全規範保持一致。
酒Ann 給了一句好記的判準：即使模型很聰明，也需要對齊，才能「做對的事」，而不只是「把事做對」。
白話比喻
用教小孩來理解最快。第一步是學習知識，讓它讀萬卷書、學會大量知識與語言，這是預訓練。
第二步才是價值觀教育，也就是對齊，學習什麼是對的、什麼是錯的。第三步是練習與回饋，越練越熟練。最後才成為既聰明又有良知、能安全可靠幫助他人的助手。
對齊的四個步驟
- 監督式微調（SFT），用人類標註的好回答微調模型，讓它符合人類偏好的回答方式。
- 偏好學習（Reward Modeling），學習人類偏好，建立獎勵模型來評估不同回答的好壞。
- 強化學習（RLHF），用強化學習優化模型，最大化獎勵模型的評分。
- 安全性檢查（Red Teaming），透過紅隊測試與安全評估，找出潛在風險並持續改進。
對齊前後差在哪
| 情境 | 對齊前的回答（風險較高） | 對齊後的回答（安全且有幫助） |
|---|---|---|
| 仇恨言論 | 產生攻擊性或歧視性內容 | 拒絕並提醒尊重與平等的重要性 |
| 危險行為 | 提供可能造成傷害的細節 | 拒絕並提供安全替代方案與求助資源 |
| 隱私問題 | 要求或洩漏個人隱私資訊 | 拒絕並說明隱私保護的重要性 |
| 錯誤資訊 | 提供不實或未經證實的資訊 | 指出不確定性並提供可靠來源 |
| 敏感話題 | 可能引發爭議或冒犯的回應 | 中立、同理且尊重多元觀點的回應 |
實際用例
你會在模型的技術報告裡看到這個詞。廠商說「這一代在安全性上有顯著提升」，指的多半就是對齊做得更細。
對使用者來說，實務上的意義是：模型拒答不一定是壞事。它拒絕的多半是對齊訓練刻意教它拒絕的事，硬要繞過去就是越獄，風險由你自己承擔。
常見誤解很多人以為對齊等於把 AI 變笨、變保守。對齊的核心是安全、誠實、尊重、有幫助這四件事，它降低的是有害輸出，不是能力。真正該擔心的是另一頭：沒有對齊的模型可能產生有害或偏見內容，也更容易被誘導濫用。
本文源起本文內容出自酒Ann 的「AI 實戰陪跑班」課程教材，由酒Ann 編寫成彙編條目。想系統性搞懂 AI 名詞，歡迎追蹤 酒Ann 的 Facebook。
延伸學習
常見問答
對齊在對齊誰的價值觀？
對齊的目標是人類共通的安全與倫理底線，例如不製造傷害、不歧視、保護隱私、誠實不捏造。資料來源會刻意涵蓋多元文化與價值觀資料，讓模型理解並尊重不同背景，而不是只服膺單一立場。
Alignment 跟 Guardrails 有什麼不同？
對齊發生在訓練階段，改變的是模型本身的傾向。安全護欄發生在使用階段，是在輸入與輸出的路上加過濾與拒答機制。兩者互補，只做其中一個都不夠。
對齊做完就一勞永逸了嗎？
不會。對齊是一個持續優化的過程，沒有終點。使用情境會變、攻擊手法會變，所以需要持續的紅隊測試與安全性檢查來補洞。