生成與推論
Token 詞元是什麼?AI 眼中的最小文字單位
Token 詞元是什麼?AI 眼中的最小文字單位
看 API 帳單、看模型規格、看「內容太長」的錯誤訊息,都會撞到同一個字:Token。
它是整個 AI 世界的計價單位與長度單位。搞懂它,你就知道錢花在哪、為什麼會被截斷。
你將學到什麼
定義
AI 讀懂文字的最小單位,可能是一個字、半個詞、一個標點。
白話比喻
像超商結帳是按「件」算,不是按「字」算,而一件的大小由店家的規則決定。
它影響什麼
計費、上下文長度上限、運算速度,三件事都以它為準。
跟中文字數的關係
不是一比一。同一句話在不同模型切出來的數量也可能不同。
定義
Token 是 AI 理解與生成文字的最小單位。你輸入的內容會先被切成一串 Token,再轉成數字送進模型。
完整流程是五步:輸入文字、切成 Token、轉成數字、模型運算、再轉回文字輸出。中間那三步你看不到,但帳單看得到。
白話比喻
像寄包裹按「件」計價,不是按你放進去的東西數量。店家怎麼分件,你說了不算。
同一批東西,A 家分成八件、B 家分成六件,價目表上的單價就沒辦法直接比。模型的分詞規則就是各家自己的分件方式。
一個 Token 大概長什麼樣
| 類型 | 說明 | 大致對應 |
|---|---|---|
| 一個字 或 一個詞 | 常見的中文字、常用英文單字 | 約一到兩個 Token |
| 單字的片段 | 較長或罕見的英文字會被拆開 | 兩到三個 Token |
| 標點符號 | 逗號、問號、驚嘆號等 | 通常各算一個 |
| 空格 或 換行 | 排版用的空白也算內容 | 也可能各算一個 |
粗略估算可以這樣抓:一千個 Token 大約對應數百到一千個中文字。實際數量會因語言、內容與模型的分詞規則而不同,要精準就用官方的計算工具。
實際用例
省 Token 就是省錢也省時間。最有效的三招是:提問精簡直接說重點、用條列與表格取代長段落敘述、先摘要長文再拿摘要去問。
另外可以用 Max Output Tokens 限制回覆長度,避免模型自己愈寫愈長。想知道跟中文字數的換算細節,可以看 Token 跟中文字數的差別。
最常見的誤解是把 Token 當成「字」。它是模型自己的切分單位,跟人類認知的字或詞沒有固定的換算比例。
第二個誤解是以為只有提問算錢。貼上去的文件、整段對話歷史,每一輪都會重新被送進去算一次,所以長對話會愈聊愈貴,這也是 上下文容量 會撞牆的原因。
延伸學習
寫給升國一的你的筆記術
寫給剛升上國中的你:筆記不是寫給老師看的,是寫給考前的自己看的。18 章 85 課圖文,從「為什麼要寫」講到七科各自怎麼記,附 78 份可以印出來寫的練習單,以及 80 課家長專區與 34 張三年筆記養成路徑圖。沒有閱讀期限,國一買、國三還在。
NT$ 3,599
做出你的第一個 Skill
一場快閃直播的完整重製。從搞懂 Skill 的五個層級開始,帶你把一件你每天在做的重複工作,寫成一支 AI 真的會照做的 Skill ── 命名、description、輸入拆解、Workflow 訪談、Output 與 Checks,最後組成一份能通過格式檢查的 SKILL.md。
NT$ 999

