Latency 是什麼？使用者體感的快慢就看這個數字

同樣一個模型，有人覺得很順，有人覺得很卡，差別常常不在模型本身，而在延遲。想優化使用者體驗，先學會把延遲拆開來看。

定義

Latency（延遲時間）是指從使用者送出請求，也就是按下送出的那一刻，到 AI 開始回應或回應完成所花費的時間。延遲越低，互動體驗越即時、越流暢。

一次請求會經過六個環節：使用者送出、請求傳輸、模型處理、開始回應、持續生成、回應完成。延遲就發生在這條路上的每一段。

白話比喻

你去餐廳吃飯，坐下之後服務生多久來接單，決定你覺得這家店有沒有在理你，那是 TTFT。

菜什麼時候全部上齊，決定你這一餐花了多久，那是 TTL。兩個數字都重要，但讓人不耐煩的通常是前者。

延遲、TTFT 與吞吐量差在哪？

實際用例

影響延遲的關鍵因素有六個：網路延遲、模型大小、硬體效能、伺服器負載、生成長度、解碼策略。模型越大、回應越長，時間就越久。

要降低延遲，可以從幾個方向下手：選擇效能更好的模型或版本、使用高效能硬體、減少回應長度、優化取樣參數、善用快取與預填充減少重複計算。