模型與訓練
NLP 是什麼?大語言模型底下那層語言技術
NLP 是什麼?大語言模型底下那層語言技術
很多人以為 AI 處理語言是從 ChatGPT 開始的。其實在那之前,讓電腦讀懂人話這件事已經做了幾十年,那個領域就叫 NLP。
你將學到什麼
定義
NLP 是讓電腦理解、處理與生成人類語言的技術領域。
白話比喻
像語言的翻譯官:把人話拆成電腦能算的數字,再把結果翻回人話。
跟誰容易搞混
NLP 是領域,LLM 是這個領域裡目前最強的一種做法,不是同一層的東西。
定義
NLP(Natural Language Processing)中文叫自然語言處理,是讓電腦能夠理解和處理人類語言的技術。它結合了語言學、電腦科學與 AI 技術,使電腦能理解文字或語音的意義。
它的目標有五個:理解語言、處理語言、生成人語言、人機互動、跨語言應用。
白話比喻
電腦其實只會算數字,不會讀中文。NLP 就是那位翻譯官,先把一句話拆成詞、標好詞性、轉成數值向量,讓電腦算得動。
算完之後,再把結果翻回人看得懂的話,例如這句話的情緒是正向的、使用者的意圖是建議活動。
NLP 的處理流程
- 輸入文本:使用者輸入文字
- 文本前處理:斷詞、去除停用詞、詞性標註、正規化
- 特徵表示:把文字轉換為電腦能理解的數值向量,也就是 Embedding
- 模型理解:使用 NLP 模型理解語意與脈絡
- 任務輸出:產生分析結果或自然語言回應
實際用例
以「今天天氣很好,我們去公園散步吧」這句話為例。前處理會先把它斷成詞,特徵表示把詞轉成向量,模型理解語意與脈絡。
最後輸出的是結構化的判斷:情感為正向、意圖是建議活動、關鍵詞是天氣與公園與散步,並生成一句自然的回應。整條路走完,才是一次完整的自然語言處理。
延伸學習
寫給升國一的你的筆記術
寫給剛升上國中的你:筆記不是寫給老師看的,是寫給考前的自己看的。18 章 85 課圖文,從「為什麼要寫」講到七科各自怎麼記,附 78 份可以印出來寫的練習單,以及 80 課家長專區與 34 張三年筆記養成路徑圖。沒有閱讀期限,國一買、國三還在。
NT$ 3,599
ChatGPT 很強,但真正讓你下班的是 Google
六小時完整實錄。從「AI 很厲害,為什麼你還是每天加班」這個問題出發,把 Google Workspace 當成真正的工作平台重新設計一次流程 ── Sheets 的資料結構、Drive 與 Docs 的文件流、Gmail 與 Calendar 的通知系統,再用 Apps Script 讓它自己跑起來,最後收斂成一張屬於你自己的 AI 工作能力地圖。
NT$ 4,599

