RAG 與知識庫
Chunking 文本切片是什麼?切片邊界決定檢索品質
Chunking 文本切片是什麼?切片邊界決定檢索品質
一份一萬字的文件直接丟進知識庫,檢索出來的往往是一大段不相干的內容。
Chunking 就是先把長文切成一小段一小段,檢索才能精準命中你要的那一段。
你將學到什麼
定義
把長篇文本切成較小片段並建立索引,提升檢索精準度。
白話比喻
像把一本厚字典拆成一頁頁索引卡,翻卡片比翻整本書快得多。
跟誰容易搞混
常跟 Overlap 切片重疊度搞混。Overlap 是切片之間保留的重複區塊,避免語意斷裂。
定義
Chunking 是將長篇文本切分成多個較小的片段,並為每個片段建立索引,讓 RAG 系統檢索時能更精準地找到相關內容。
常見切片策略有四種:固定長度切片,簡單快速好控制;滑動視窗切片,固定長度加重疊區域,保留脈絡不易切斷語意;段落切片,依段落或標題換行切分,語意完整結構清晰;語意切片,依語意邊界切分,最符合語意邏輯但需要額外模型支援。
白話比喻
Chunking 像是把一本厚厚的字典拆成一張張索引卡片,每張卡片只寫一個主題。要查資料時翻卡片,比翻整本書快得多,也更容易找到剛好對應的那一段。
為什麼要做 Chunking
| 好處 | 說明 |
|---|---|
| 提升檢索精準度 | 小塊更容易對應到使用者的問題,減少雜訊 |
| 提高召回率 | 更多切片代表更多命中機會,不錯過重要資訊 |
| 保留語意脈絡 | 適當重疊可避免切到一半,導致語意不完整 |
| 降低成本 | 檢索與生成時只處理相關小段,省下不必要的花費 |
實際用例
以 RAG 應用為例,實際流程是:匯入文件,做 Chunking 設定切片長度與重疊,向量化每個切片,建立索引存入向量資料庫,之後才是使用者提問、檢索相關切片、組合上下文、生成回答。切得好,答得才準。
最常見的誤解是以為切片設定一次就好,不用再調整。實務上切片長度與重疊比例需要依實際檢索效果持續測試與微調,這也是 RAG 檢索增強生成 成效好壞的關鍵基礎。
延伸學習
思維邏輯自我訓練:28 天養成計畫(含入門練習版)
四週把「有感覺」練成「有觀點」。每天一題、一個高階任務配一個低階任務,忙的日子也接得上。買這門課直接附贈《入門練習版》八單元 22 課完整講義與練習單,排在課程最前面,先把思維訓練三部曲、知識吸收金三角這些底層工具建立起來,再進入 28 天的每日練習。
NT$ 999
知識變現切割地圖(高清版下載及陪跑型教材)
《知識變現切割地圖》的完整陪跑版:地圖高清檔,加上五章 27 萬字的網頁版講義與200 張練習卡。從語感引流設計、互動與轉化、內容分層與產品路徑,到角色鏡像與心理設計、內容資源切割再利用,一層一層把「會做內容」變成「能賣內容」。每一節後面都接著可以直接動手填的練習卡。
NT$ 19,800

