TTFT 首字時間是什麼？AI 開口說第一個字要多久

同樣一段回答，有的工具馬上開始一個字一個字冒出來，有的先轉圈圈三秒才動。內容其實差不多，體感卻差很多，差的就是 TTFT。

這個詞在挑模型、調系統、跟客戶解釋「為什麼這個比較卡」的時候都會用到，值得認得。

定義

TTFT 是 Time to First Token 的縮寫，中文叫首字時間，也有人講首個詞元產生時間。它量的是從使用者送出請求，到模型回傳第一個詞元所花的時間。

這段時間裡模型做了兩件事：前置處理輸入，以及開始運算。它反映的是模型「開始回應有多快」，直接決定使用者的即時體驗。

白話比喻

像在路上問人怎麼走。有人聽完立刻開口，有人要先愣三秒。就算兩個人講的內容一樣，你對前者的印象就是比較好。

串流輸出之所以感覺比較快，也是同一個道理。內容總長沒變，但因為第一個字很早就出現，等待感被大幅縮短了。

數值怎麼讀

這些數值會因模型、硬體、輸入長度與伺服器負載而異，當成參考圈就好，不要當成標準答案。

哪些因素會影響它

第一是模型大小與複雜度，參數越大、結構越複雜，啟動與計算時間越長。第二是思考深度，會先想再答的推理模型必然拉高 TTFT。

第三是輸入長度，提示詞越長，前置處理與注意力計算越久。第四是硬體與部署環境，顯示卡性能、記憶體頻寬與 Quantization 量化 精度影響都很大。最後是系統負載與併發量，同時請求越多，排隊等待越久。

實際用例

做語音助理或即時客服的時候，TTFT 幾乎是第一順位指標，因為對話一旦有停頓感，使用者就會覺得系統壞了。

反過來，做深度分析報告的時候，TTFT 高一點沒關係，換來的答案品質更重要。要壓低它，常見做法是改用 SLM 微型語言模型、做量化、或精簡輸入長度。