RAG 與知識庫
Overlap 切片重疊度是什麼?防止重要語意在切片邊界被切斷
Overlap 切片重疊度是什麼?防止重要語意在切片邊界被切斷
把長文件切成小片段餵給 AI 時,如果切得太乾脆,一句關鍵句子很可能被硬生生切成兩半,Overlap 就是用來補救這個問題的設定。
你將學到什麼
定義
切片時讓相鄰區塊保留一段重疊文字,避免重要語意被切斷的設定。
白話比喻
像剪一段影片時,前後多留幾秒銜接畫面,觀眾才不會看到硬切的斷點。
跟誰容易搞混
重疊度是切片這個動作裡的一個參數,兩者是搭配關係,不是對立的兩個概念。
定義
Overlap 是在進行文本切片時,讓相鄰切片之間保留一段重疊的文字。即使問題的答案或重要上下文剛好落在切片的邊界,也不會被切斷。
假設切片長度是三百字、重疊度是五十字,切片二會包含切片一最後五十字,再接續自己的內容,如此層層銜接,確保邊界處的資訊不會遺失。
白話比喻
重疊度就像剪輯影片時,兩段畫面銜接處故意多留幾秒重複的畫面,讓觀眾看得順暢,不會突然跳接、斷了脈絡。
文字切片也是同樣的道理,關鍵句子或重要脈絡如果剛好卡在切片邊界,靠這段重疊的文字就能讓兩邊的切片都保留完整脈絡,理解不會被硬生生打斷。
不同重疊度怎麼選
| 重疊度 | 優點 | 缺點 | 適用情境 |
|---|---|---|---|
| 百分之零,無重疊 | 資料量少、成本低 | 邊界資訊容易遺失,段落分界不明 | 文件結構清晰、段落分界明確 |
| 百分之十到二十 | 兼顧效率與資訊完整性 | 仍可能遺漏部分跨段落資訊 | 一般 FAQ、說明文件 |
| 百分之三十到五十 | 大幅降低邊界資訊遺漏 | 資料量增加、處理成本上升 | 大多數 RAG 應用、技術文件 |
| 百分之五十以上 | 幾乎不遺漏邊界資訊 | 資料量大增、成本延遲上升 | 極高準確度需求、法律或醫療文件 |
實際用例
以一份長文檔為例,設定切片長度三百字、重疊度五十字,切成四個切片後,每個切片除了自己的獨有內容,還包含與前一個切片重疊的五十字,確保邊界處的資訊不會被切斷。
實務建議先從百分之十到二十起步測試效果,並搭配語意切片,先按語意分段再設定重疊,效果通常會更好,也能減少不必要的重切片需求。
延伸學習
知識變現切割地圖(高清版下載及陪跑型教材)
《知識變現切割地圖》的完整陪跑版:地圖高清檔,加上五章 27 萬字的網頁版講義與200 張練習卡。從語感引流設計、互動與轉化、內容分層與產品路徑,到角色鏡像與心理設計、內容資源切割再利用,一層一層把「會做內容」變成「能賣內容」。每一節後面都接著可以直接動手填的練習卡。
NT$ 19,800
知識變現切割地圖(高清版下載,不含講義)
《知識變現切割地圖》的高清完整版。一張圖把語氣、心理、內容、產品、再利用五層模組攤在同一個平面上,讓你回頭盤點已有內容、規劃新的轉化節奏。課程附上地圖本身的完整解說與應用指南,教你怎麼讀這張圖、從哪一層開始用。完整版 PDF 可下載,放大看細節不會糊。
NT$ 680

