生成與推論
Streaming 是什麼?讓第一個字先出來的那個設計
Streaming 是什麼?讓第一個字先出來的那個設計
你看到 AI 的字一個一個冒出來,那不是動畫效果,而是串流輸出。這個設計改變的不是速度,是感受。
你將學到什麼
定義
模型邊生成邊把文字分段送回畫面,不等整段完成才顯示。
白話比喻
像上菜先上前菜:總時間沒變,但你不會覺得被晾在那裡。
跟誰容易搞混
串流不會讓總時間變短,它縮短的是首字時間帶來的等待感。
定義
Streaming(串流輸出)是指模型一邊生成、一邊把已經產出的內容分段送回前端顯示,而不是等整段回答完成才一次呈現。
技術上,它是伺服器持續把片段推給瀏覽器的一種長連線做法。使用者看到的效果,就是文字一段一段冒出來。
白話比喻
它像餐廳先上前菜。廚房的總時間沒有變短,但你手上有東西了,就不會覺得自己被晾在那裡。
更實際的好處是:你看到前兩句就知道它有沒有理解你的問題,方向不對可以馬上停下來重問,不必等整段跑完。
跟相近名詞的差別
| 名詞 | 它衡量或改變什麼 |
|---|---|
| Streaming 串流輸出 | 改變呈現方式,讓第一個字提早出現 |
| TTFT 首字時間 | 衡量送出到第一個字出現的時間 |
| Latency 延遲時間 | 衡量整體的等待時間 |
| Throughput 吞吐量 | 衡量單位時間能處理多少請求 |
實際用例
聊天介面幾乎都開串流,因為對話最在意的就是即時感。長文生成也適合,使用者可以邊看邊判斷要不要中斷。
反過來說,如果你要拿完整結果去驗證格式、解析結構化資料或做安全檢查,關掉串流、等整段拿到再處理會單純得多。
串流也常跟成本控制放在一起討論。看到方向不對就提前中斷,等於少生成一段用不到的內容。
延伸學習
做出你的第一個 Skill
一場快閃直播的完整重製。從搞懂 Skill 的五個層級開始,帶你把一件你每天在做的重複工作,寫成一支 AI 真的會照做的 Skill ── 命名、description、輸入拆解、Workflow 訪談、Output 與 Checks,最後組成一份能通過格式檢查的 SKILL.md。
NT$ 999
ChatGPT 很強,但真正讓你下班的是 Google
六小時完整實錄。從「AI 很厲害,為什麼你還是每天加班」這個問題出發,把 Google Workspace 當成真正的工作平台重新設計一次流程 ── Sheets 的資料結構、Drive 與 Docs 的文件流、Gmail 與 Calendar 的通知系統,再用 Apps Script 讓它自己跑起來,最後收斂成一張屬於你自己的 AI 工作能力地圖。
NT$ 4,599

