RAG是工具，Fine-tuning是腦袋：企業導入AI該怎麼選

#GAI2025開發者年會note_02

把知識餵進 AI 腦袋之前，你得先想清楚：你到底想讓它變成誰？

先說最重要的一句話：現在不是比誰資料多，而是比誰能讓 AI 學得像你。

這場由Jerry Wu主講的內容很簡單，就是「語言模型到底怎麼學的」，特別是聚焦在一個大家常聽到但不一定搞懂、會用的技術：Fine-tuning微調。

Jerry不只是講技術，他從實戰案例、工具、流程、甚至台灣的在地模型發展一路拆給你聽，整場下來總歸納的重點就是：你不把自己的知識餵進模型，AI 就永遠不會懂你。

Fine-tuning 跟 RAG 差在哪？

Jerry講了一個我超喜歡的比喻：

① RAG（Retrieval-Augmented Generation） 是什麼？

像是在開車時你沒有副駕，什麼都得邊開邊查導航，靠自己腦袋硬找路，靈活是靈活，但也有點慢。

② Fine-tuning 呢？

是把所有重要地圖全記在腦袋裡，直接衝，反應快、成本低、還能持續學。

結論：RAG 是工具，Fine-tuning 是腦袋。企業若想讓 AI 內建你的專業，就不能只靠 RAG 查資料，你得直接把專業壓進模型裡，讓它從腦幹就長得像你。

補充：RAG 是怎麼運作的？

RAG 模型的原理，是結合搜尋系統（retriever） + 語言模型（generator），當你問一個問題，模型會先去資料庫裡撈出相關文件，再用這些資料生成回應。這會讓模型在面對外部知識頻繁變動時很實用，當然速度跟成本也都比較高。

補充：Fine-tuning 是怎麼教 AI 的？

Fine-tuning 是把你給模型看的資料直接當成教材，讓它重新練一次書，用新的資料重塑大腦裡的神經權重。簡單說就是學進去，不靠查，直接反應。

為什麼企業該做 Fine-tuning？不是大公司才需要嗎？

錯。現在是 #知識壓縮轉移時代。

① 原本幾 TB 的知識庫（文件、SOP、FAQ），現在可以變成幾個 GB 的會話模型。

② 搜尋變成對話，流程變成問答，你省掉客服、省掉訓練時間，還能讓模型越用越懂你。

所以Jerry直接說：「我們已經進入 Fune（Fine-tuning）的時代。」這不是唸「Fun」，是唸「Fune」，很科技人風格啦。

補充：什麼是「知識壓縮轉移」？

這個詞其實是指一種從海量知識中挑出重點、壓縮成模型能記得住的格式，然後塞進 AI 腦袋的過程。透過這種方式，原本要靠員工反覆翻閱讀手冊才能懂的東西，AI 一句話就能回答。

Fine-tuning 不只一種，有分等級

APMIC 把微調分成幾個版本，對應資料量、硬體需求與企業預算：

① S1 | 幾萬條，約 1–2 萬 tokens，MVP 起步款

② S1 mini，1–15 萬條，較多 tokens，進階中小企業

③ S1 Pro，十億等級 tokens，大企業、有工程資源

④ Ultra，數兆 tokens 起跳，頂規、大型語言模型開發

硬體需求也有提到，像是 S1 mini 就要三台 H100 級的伺服器，買下去的肉疼不是說笑的。

補充：什麼是 Token？

Token 就是語言模型裡的「單位文字片段」。英文通常一個單字是一個 token，中文一個字是一個或一個多的 token。像是「你好嗎？」 → 就是 4 個 tokens。微調時，token 數決定了你能餵給 AI 多少內容。

怎麼做 Fine-tuning？重點不是資料多，而是方向要對！

演講裡的金句我直接幫你翻成白話：你該從『最後一題』開始設計。

意思就是，不要一開始就瘋狂收資料，而是：

① 先定義問題

② 再設計資料格式

③ 最後才做資料收集與模型訓練

如果你搞不清楚問題長什麼樣，那你丟再多資料，只會訓練出一個不知道你在幹嘛的 AI。

而且現在的 Fine-tuning，不是只有 input/output，還要加上 thinking（思考過程）。你要教模型怎麼「解」，不只是「答」。

補充：什麼是 CoT（Chain of Thought）訓練？

這是一種讓 AI 學會「一步步思考」的訓練方式。資料格式會長這樣：

Input：今天台北會下雨嗎？

Thinking：查氣象預報 → 讀出台北今日降雨機率為80%

Output：是，今天台北會下雨。

這種輸出資料格式讓 AI 學會「不是直接給答案，而是知道怎麼推理出來」。

評量很重要，甚至比訓練還重要

Jerry 提醒大家：如果你評量速度不夠快，你的 Fine-tuning 會很慢，結果也會爛。

APMIC 做了繁體中文專屬的 評量工具，速度超快，尤其對於 3B、8B、24B 模型訓練階段的反覆測試超有幫助。

補充：什麼是 3B、8B、24B？

這裡的 B 是 Billion（十億）的意思，代表模型參數的大小。數字越大，模型越聰明，但訓練與部署成本也越高。3B 適合邊緣運算與企業內部場景；24B 則能處理複雜推理與語言任務。

那這家 APMIC 到底是什麼來頭？

他們是台灣少數能做到以下幾件事的公司：

① 自己有設備（Nvidia 全套伺服器）

② 自己有資料（繁中 Reasoning 開源資料集）

③ 自己做模型（3B 思考模型已上線，與 GPT-4o 打對台）

④ 有評量工具（繁中專用、快又準）

⑤ 有開源精神（跟聯發科一起打進全球開源榜）

Fine-tuning 就是讓 AI 更像你

你不只是要有資料，而是要整理好、設計好、轉化成 AI 學得會的格式，最後還要用快又準的評量工具，一步步引導它變成你的專業代理人。

這不是神話，這是現在。

企業要做 AI，不是拼硬體，不是撒錢，而是先想清楚：你想訓練出一個怎樣的自己？

還想知道更多？5/29 前GAI 2025回放早鳥價只要 $2650，輸入折扣碼 JOAN 再現折 $250！

回放購票連結：https://pse.is/7jxmfk

✅ 補充：筆記編號是依照原始的講綱排序的，因此這一篇是排07

然後文中的補充是我依照閱讀者可能不會不懂的地方另外補充的

本文原發表於 2025/05/26 的 Facebook 貼文，原文照登，僅調整網頁排版；文中提及的產品、價格與活動以當時為準。