RLHF 是什麼？為什麼 AI 會變得有禮貌又安全

同樣是讀了一大堆網路資料，為什麼現在的 AI 回答得又完整又有禮貌，而不是照著網路上的口氣講話？答案就是 RLHF。

這是現代大型語言模型的關鍵技術之一。搞懂它，你會知道模型的「態度」是怎麼被調出來的。

定義

RLHF 是人類回饋強化學習。人類提供的回饋像「獎勵信號」，引導 AI 學習人類偏好，讓回答更好、更安全、更對齊價值。

它處理的是三件事：安全、有用、符合價值。這三件事沒辦法只靠讀資料學會，必須有人告訴模型哪一種比較好。

白話比喻

像帶一個新人。他讀完了所有教科書，知識沒問題，但講話方式還不對。

於是你請他對同一件事寫三個版本，你挑出最好的那個，並告訴他為什麼。挑久了，他就抓到你要的調性了。

六個步驟

1. 預訓練模型：用大量資料學到知識，此時尚未對齊人類價值。
2. 產生多種回答：模型對同一個問題產生多個答案。
3. 人類評估回饋：人類評分或排序，選出更好的回答。
4. 獎勵模型學習：把人類偏好訓練成一個會打分的獎勵模型。
5. 強化學習微調：模型嘗試回答、獲得獎勵，依此更新參數。
6. 更好的回答：輸出更有幫助、安全、符合人類價值的答案。

關鍵在第四步。獎勵模型是人類偏好的代理人，有了它，模型才能在沒有人在場的時候自己判斷「這個回答應該得幾分」。

跟相近名詞的差別

實際用例

四個常見成果：避免仇恨與暴力等不當內容、提供更正確可靠的資訊、更友善尊重的互動、更符合需求的創意產出。

你現在用的主流對話模型，幾乎都經過這道工序。這也是為什麼不同家的模型「個性」會有差異。