AI 專案會翻車，通常不是因為提示詞寫得不夠漂亮

我這幾天可能會狂發 Claude 的筆記，因為週末一口氣幹光了所有課程，裡面有好多好寶貝的玩意啊！這一篇來講講 Prompt Evaluation（提示評估），這個單元可以解釋為什麼很多 AI 專案做到最後都會翻車屎掉。

因為大部分人學的只有怎麼寫 Prompt，卻沒有學怎麼確認 Prompt 真的穩定有效？這兩件事差很多！

■ Prompt Engineering 是什麼？是在研究「怎麼讓 AI 更懂你」
■ Prompt Evaluation 研究的是「怎麼確認 AI 不會突然發瘋」

很多人測一次成功，就覺得「靠！我這組 prompt 很神！」，但真正等產品上線之後你就會發現......真實世界的使用者！根本！不會！照你想像的方式來輸入。

有人會打錯字、有人會語意跳躍、有人會突然情緒化、有人一句話塞五個需求，還有人根本不知道自己在問什麼，所以你跟 AI 都不懂對方到底要啥。

這時候才是真正的地獄 😂

所以 Prompt Evaluation 的本質，其實很像 AI 的單元測試（Unit Testing）。不是看它最佳表現時有多強，而是看當它被一堆神奇人類搞到快爆炸時還能不能穩定輸出！

Prompt Evaluation 的核心流程

① 先寫 Prompt

先有 baseline，不要一開始就在幻想自己可以創造神級 prompt。

② 建立 Eval Dataset

這一步超重要，成熟的 AI 團隊都會建立大量測試資料：正常案例、edge cases、模糊輸入、惡意輸入、超長輸入、反諷、格式混亂...等，因為 AI 最可怕的地方不是答錯，而是有時候會突然很有自信、一本正經說幹話。

喔！我要點名一下我老公，他就是那種 edge case 的代表人物，因為他，所以擔任 Claude 預測試階段的一員的我，可以假裝自己是我老公，然後把模型搞崩潰好多次😂😂😂，果然人生受過的罪，都會變成自己成長的養料！

③ 批量跑模型

不是測一次，是幾百筆、幾千筆一起跑，甚至幾萬筆一起跑！

④ 評分（Grading）

這裡很有趣，很多人其實已經開始用 AI 評 AI。這也是我去年參加黑客松被 Spotlight 的題目，multi-LLM debate 的過程可以讓很多一時之間沒發現的問題浮出水面。

例如一個模型負責生成，另一個模型則負責檢查有沒有符合需求？有沒有格式錯誤？有沒有漏資訊？有沒有唬爛？

⑤ 改 Prompt 再重跑

成熟的 Prompt 開發流程其實不是靈機一動想到神句子，而是先測試 → 評分 → 修改 → 再測，一直循環往復。

我後來發現一件很有趣的事

AI 時代最重要的是「創意」？錯！進入工程階段後你會發現 AI 世界最重要的其實是「穩定性」。

因為可以做出超強 demo 的人很多，但能做出連續 1000 次都差不多穩定的人非常少。

總之，Prompt Evaluation 本質上其實是在「降低 AI 的情緒波動」。

以前我們覺得 AI 最像人類的地方是會聊天，現在我覺得AI 最像人類的地方其實是.......TMD 有時候這傢伙也會突然失控。😂

整理好的筆記有 23 張，不互動會........當機！

本文原發表於 2026/05/26 的 Facebook 貼文，原文照登，僅調整網頁排版；文中提及的產品、價格與活動以當時為準。