模型與訓練

NLP 是什麼?大語言模型底下那層語言技術

NLP(Natural Language Processing,自然語言處理)是讓電腦能夠理解和處理人類語言的技術。它結合了語言學、電腦科學與 AI,使電腦能理解文字或語音的意義,並進行分析、推理與生成。NLP 是大型語言模型的基礎技術,斷詞、詞性標註、向量化這些步驟,都屬於它的範圍。
NLP 是什麼?大語言模型底下那層語言技術:文章重點卡

NLP 是什麼?大語言模型底下那層語言技術

很多人以為 AI 處理語言是從 ChatGPT 開始的。其實在那之前,讓電腦讀懂人話這件事已經做了幾十年,那個領域就叫 NLP。

你將學到什麼

定義

NLP 是讓電腦理解、處理與生成人類語言的技術領域。

白話比喻

像語言的翻譯官:把人話拆成電腦能算的數字,再把結果翻回人話。

跟誰容易搞混

NLP 是領域,LLM 是這個領域裡目前最強的一種做法,不是同一層的東西。

定義

NLP(Natural Language Processing)中文叫自然語言處理,是讓電腦能夠理解和處理人類語言的技術。它結合了語言學、電腦科學與 AI 技術,使電腦能理解文字或語音的意義。

它的目標有五個:理解語言、處理語言、生成人語言、人機互動、跨語言應用。

白話比喻

電腦其實只會算數字,不會讀中文。NLP 就是那位翻譯官,先把一句話拆成詞、標好詞性、轉成數值向量,讓電腦算得動。

算完之後,再把結果翻回人看得懂的話,例如這句話的情緒是正向的、使用者的意圖是建議活動。

NLP 的處理流程

  1. 輸入文本:使用者輸入文字
  2. 文本前處理:斷詞、去除停用詞、詞性標註、正規化
  3. 特徵表示:把文字轉換為電腦能理解的數值向量,也就是 Embedding
  4. 模型理解:使用 NLP 模型理解語意與脈絡
  5. 任務輸出:產生分析結果或自然語言回應

實際用例

以「今天天氣很好,我們去公園散步吧」這句話為例。前處理會先把它斷成詞,特徵表示把詞轉成向量,模型理解語意與脈絡。

最後輸出的是結構化的判斷:情感為正向、意圖是建議活動、關鍵詞是天氣與公園與散步,並生成一句自然的回應。整條路走完,才是一次完整的自然語言處理。

常見誤解很多人把 NLP 跟 LLM 當成同一件事。NLP 是一個領域,LLM 是這個領域裡目前最強的一種模型;NLP 的核心技術,特別是深度學習與 Transformer 架構,正是大語言模型強大理解與生成能力的來源。
本文源起本文內容出自酒Ann 的「AI 實戰陪跑班」課程教材,由酒Ann 編寫成彙編條目。想系統性搞懂 AI 名詞,歡迎追蹤 酒Ann 的 Facebook

延伸學習

把這篇文章分享給需要的人FacebookLINEThreadsX

常見問答

有了 LLM 之後還需要 NLP 嗎?
需要。斷詞、去除停用詞、詞性標註、正規化、向量化這些前處理,仍然是實務流程的一部分,很多輕量任務用傳統 NLP 反而更快更便宜。
NLP 跟 LLM 是什麼關係?
NLP 是領域,LLM 是這個領域裡的一種模型。NLP 的文本處理、語意理解與語言生成技術支撐並驅動了 LLM 的出現。
NLP 可以做哪些事?
聊天機器人與客服助理、機器翻譯、情感分析、文件摘要、語音辨識、問答系統、內容生成、資訊抽取,都是常見的應用。