RAG 與知識庫

Overlap 切片重疊度是什麼?防止重要語意在切片邊界被切斷

Overlap(切片重疊度)是在進行文本切片時,讓相鄰兩個切片之間保留一段重疊的文字,例如五十字。這樣即使問題的答案或重要上下文剛好落在切片邊界,也不會被硬生生切斷。適度的重疊能防止邊界資訊遺失、提升檢索命中率,但重疊度越高,資料量與儲存成本也會跟著增加,實務上常見設定是百分之十到百分之二十。
Overlap 切片重疊度是什麼?防止重要語意在切片邊界被切斷:文章重點卡

Overlap 切片重疊度是什麼?防止重要語意在切片邊界被切斷

把長文件切成小片段餵給 AI 時,如果切得太乾脆,一句關鍵句子很可能被硬生生切成兩半,Overlap 就是用來補救這個問題的設定。

你將學到什麼

定義

切片時讓相鄰區塊保留一段重疊文字,避免重要語意被切斷的設定。

白話比喻

像剪一段影片時,前後多留幾秒銜接畫面,觀眾才不會看到硬切的斷點。

跟誰容易搞混

重疊度是切片這個動作裡的一個參數,兩者是搭配關係,不是對立的兩個概念。

定義

Overlap 是在進行文本切片時,讓相鄰切片之間保留一段重疊的文字。即使問題的答案或重要上下文剛好落在切片的邊界,也不會被切斷。

假設切片長度是三百字、重疊度是五十字,切片二會包含切片一最後五十字,再接續自己的內容,如此層層銜接,確保邊界處的資訊不會遺失。

白話比喻

重疊度就像剪輯影片時,兩段畫面銜接處故意多留幾秒重複的畫面,讓觀眾看得順暢,不會突然跳接、斷了脈絡。

文字切片也是同樣的道理,關鍵句子或重要脈絡如果剛好卡在切片邊界,靠這段重疊的文字就能讓兩邊的切片都保留完整脈絡,理解不會被硬生生打斷。

不同重疊度怎麼選

重疊度優點缺點適用情境
百分之零,無重疊資料量少、成本低邊界資訊容易遺失,段落分界不明文件結構清晰、段落分界明確
百分之十到二十兼顧效率與資訊完整性仍可能遺漏部分跨段落資訊一般 FAQ、說明文件
百分之三十到五十大幅降低邊界資訊遺漏資料量增加、處理成本上升大多數 RAG 應用、技術文件
百分之五十以上幾乎不遺漏邊界資訊資料量大增、成本延遲上升極高準確度需求、法律或醫療文件

實際用例

以一份長文檔為例,設定切片長度三百字、重疊度五十字,切成四個切片後,每個切片除了自己的獨有內容,還包含與前一個切片重疊的五十字,確保邊界處的資訊不會被切斷。

實務建議先從百分之十到二十起步測試效果,並搭配語意切片,先按語意分段再設定重疊,效果通常會更好,也能減少不必要的重切片需求。

常見誤解很多人以為切片重疊度是浪費儲存空間的小細節,可以省則省,其實它是打造高品質 RAG 檢索增強生成 應用的關鍵設定之一。也可以搭配把長文切成小段的 Chunking 文本切片一起理解,兩者是搭檔關係。
本文源起本文內容出自酒Ann 的「AI 實戰陪跑班」課程教材,由酒Ann 編寫成彙編條目。想系統性搞懂 AI 名詞,歡迎追蹤 酒Ann 的 Facebook

延伸學習

把這篇文章分享給需要的人FacebookLINEThreadsX

常見問答

完全不設重疊度會怎麼樣?
重疊度為零時,儲存與處理成本最低,但邊界資訊容易遺失,重要句子可能剛好被切成兩半,段落分界不明確,會直接影響檢索與理解的完整性,只適合結構清晰、段落分界明確的文件。
重疊度設得越高越好嗎?
不是。重疊度越高雖然越不遺漏邊界資訊、理解越完整,但資料量會大幅增加,向量數量與儲存成本也跟著上升,增加幅度大約是重疊比例除以一減去重疊比例。要依需求平衡成本與效果。
重疊度該怎麼設定比較實際?
常見切片長度是兩百到五百字,重疊度建議從百分之十到百分之二十起步,大多數 RAG 應用落在百分之二十到百分之五十,例如三百字切片配五十字重疊。最好的做法是實際測試後依檢索效果調整,找到最佳平衡點。