上下文與記憶

Context Window 上下文容量是什麼?AI 一次能記住多少內容

Context Window(上下文容量或窗口)是 AI 模型在一次對話中能理解和處理的文字資料總量上限,包含你輸入的內容與 AI 已經回覆的內容。這個容量以 Token 為單位計算,一旦總量超過上限,最早的內容就會被擠出視窗,AI 便無法再看見更早之前的資訊,可能導致遺漏重點或回答不準確。
Context Window 上下文容量是什麼?AI 一次能記住多少內容:文章重點卡

Context Window 上下文容量是什麼?AI 一次能記住多少內容

跟 AI 聊到一半,它突然忘記你前面說過的話,多半不是它變笨了,而是內容量已經超過它的上下文容量。

你將學到什麼

定義

AI 一次對話能理解與處理的文字總量上限,超過就會遺忘更早的內容。

白話比喻

像 AI 大腦裡的一塊工作記憶空間,空間越大能記住的內容越多。

跟誰容易搞混

跟長脈絡不同,長脈絡指的是容量本身很大的模型;容量再大,一樣有它的天花板。

定義

Context Window(上下文容量或窗口)是 AI 模型在一次對話中能理解和處理的文字資料總量上限,這個總量包含你輸入的問題與文件,也包含 AI 已經回覆過的內容。

當累計的 Token 代幣 數超過這個上限,AI 就會看不到更早之前的內容,也就是俗稱的遺忘。

白話比喻

想像 AI 的大腦在一次對話中有一塊工作記憶空間,這塊空間的大小就是 Context Window。你輸入的問題、指令、文件,加上 AI 已經回覆的內容,一旦超過這個容量,AI 就無法再看見更早之前的資訊。

Context Window 越大,AI 能記住的內容越多,理解也越完整,但空間再大,也不是無限大。

常見模型的容量對照

模型Context Window(約)
GPT 4o mini128K tokens
GPT 4o/GPT 4 Turbo128K tokens
Claude 3 Haiku200K tokens
Claude 3 Opus200K tokens
Gemini 1.5 Pro一百萬 tokens
Gemini 1.5 Pro 最新版兩百萬 tokens

實際用例

有效利用 Context Window 的方法包括精簡輸入、去除不必要的內容、只給完成任務所需的關鍵資訊,並善用摘要把長內容先摘要再放入對話。

長文件建議分段處理、逐步整合結果,並適時管理對話長度,避免過長累積影響效果,這樣才能讓有限的 Context Window 發揮最大效果。

常見誤解很多人以為聊天視窗看到的對話紀錄,就等於 AI 完整記得的內容,其實兩者不是同一件事,可以對照 Session 與 Context Window 差在哪。真正需要極長篇幅一次分析的任務,才需要特別挑選 Long Context 超長脈絡 的模型。
本文源起本文內容出自酒Ann 的「AI 實戰陪跑班」課程教材,由酒Ann 編寫成彙編條目。想系統性搞懂 AI 名詞,歡迎追蹤 酒Ann 的 Facebook

延伸學習

把這篇文章分享給需要的人FacebookLINEThreadsX

常見問答

Context Window 越大是不是就沒有遺忘問題?
容量大能記住更多內容,但天花板依然存在,而且容量越大不代表模型對久遠內容的關注度一樣高。實務上仍建議精簡輸入、善用摘要,不要把 Context Window 當成無限的記憶體來揮霍。
超過 Context Window 上限會發生什麼事?
常見症狀是 AI 忘記較早的內容、回答前後矛盾、重要資訊遺失,或在處理超長文件時容易漏掉關鍵細節。有些系統會直接報錯拒絕輸入,有些則悄悄把最早的內容擠出視窗。
Context Window 跟 Token 是什麼關係?
Context Window 的容量上限,就是用 Token 這個文字最小處理單位來計算的。你的輸入、對話歷史、系統指令、工具調用結果與 AI 的回覆,全部加總起來的 Token 數,都不能超過這個上限。