生成與推論

Token 詞元是什麼?AI 眼中的最小文字單位

Token(詞元)是 AI 讀懂文字的最小單位。模型不會直接看你打的句子,而是先照一套分詞規則把文字切成一串 Token,再把每個 Token 換成對應的數字送進模型運算,最後再轉回文字輸出。一個 Token 可能是一個中文字、一個英文單字、一個單字的片段,也可能是標點或空格。它同時決定三件事:你付多少錢、一次能放多長的內容、回應要跑多久。
Token 詞元是什麼?AI 眼中的最小文字單位:文章重點卡

Token 詞元是什麼?AI 眼中的最小文字單位

看 API 帳單、看模型規格、看「內容太長」的錯誤訊息,都會撞到同一個字:Token。

它是整個 AI 世界的計價單位與長度單位。搞懂它,你就知道錢花在哪、為什麼會被截斷。

你將學到什麼

定義

AI 讀懂文字的最小單位,可能是一個字、半個詞、一個標點。

白話比喻

像超商結帳是按「件」算,不是按「字」算,而一件的大小由店家的規則決定。

它影響什麼

計費、上下文長度上限、運算速度,三件事都以它為準。

跟中文字數的關係

不是一比一。同一句話在不同模型切出來的數量也可能不同。

定義

Token 是 AI 理解與生成文字的最小單位。你輸入的內容會先被切成一串 Token,再轉成數字送進模型。

完整流程是五步:輸入文字、切成 Token、轉成數字、模型運算、再轉回文字輸出。中間那三步你看不到,但帳單看得到。

白話比喻

像寄包裹按「件」計價,不是按你放進去的東西數量。店家怎麼分件,你說了不算。

同一批東西,A 家分成八件、B 家分成六件,價目表上的單價就沒辦法直接比。模型的分詞規則就是各家自己的分件方式。

一個 Token 大概長什麼樣

類型說明大致對應
一個字 或 一個詞常見的中文字、常用英文單字約一到兩個 Token
單字的片段較長或罕見的英文字會被拆開兩到三個 Token
標點符號逗號、問號、驚嘆號等通常各算一個
空格 或 換行排版用的空白也算內容也可能各算一個

粗略估算可以這樣抓:一千個 Token 大約對應數百到一千個中文字。實際數量會因語言、內容與模型的分詞規則而不同,要精準就用官方的計算工具。

實際用例

省 Token 就是省錢也省時間。最有效的三招是:提問精簡直接說重點、用條列與表格取代長段落敘述、先摘要長文再拿摘要去問。

另外可以用 Max Output Tokens 限制回覆長度,避免模型自己愈寫愈長。想知道跟中文字數的換算細節,可以看 Token 跟中文字數的差別

常見誤解

最常見的誤解是把 Token 當成「字」。它是模型自己的切分單位,跟人類認知的字或詞沒有固定的換算比例。

第二個誤解是以為只有提問算錢。貼上去的文件、整段對話歷史,每一輪都會重新被送進去算一次,所以長對話會愈聊愈貴,這也是 上下文容量 會撞牆的原因。

本文源起本文內容出自酒Ann 的「AI 實戰陪跑班」課程教材,由酒Ann 編寫成彙編條目。想系統性搞懂 AI 名詞,歡迎追蹤 酒Ann 的 Facebook

延伸學習

把這篇文章分享給需要的人FacebookLINEThreadsX

常見問答

一個中文字等於一個 Token 嗎?
不一定。中文常見的情況是一個字大約落在一到兩個 Token,常用詞可能被當成一個整體切。實務上抓「中文字數略少於 Token 數」的方向去估算比較安全,真要精確就用該模型的分詞工具算。
為什麼同一句話在不同模型算出來的 Token 數不一樣?
因為分詞規則是各家自己訓練出來的,切得粗或細不同。這也是為什麼比較兩家的單價時,不能只看每千 Token 多少錢,還要看同一份內容在兩邊各切出多少 Token。
輸入跟輸出都要算錢嗎?
多數服務兩邊都算,而且輸出通常比輸入貴。上下文長度上限也是輸入加輸出的總和,包含你的提問、貼上的文件、先前的對話歷史,以及模型正在寫的回答。