資料與中台

巨量資料與智慧中台:湖倉一體怎麼支撐資料驅動的企業

湖倉一體是把資料湖的低成本儲存與資料倉儲的查詢效能接成同一套介面:資料留在原本的物件儲存與 Hive、Iceberg、Hudi 等格式裡,分析引擎透過統一的元資料目錄直接查,不必為了每個分析需求先搬一次家。百度智能雲這一側對應的是資料倉儲 Palo Doris 版的 Multi-Catalog 與資料湖平台 EasyDAP,另外還有關聯式、向量、時序三類資料庫各司其職。實際功能與規格以官方文件為準。
巨量資料與智慧中台:湖倉一體怎麼支撐資料驅動的企業:文章重點卡

巨量資料與智慧中台:湖倉一體怎麼支撐資料驅動的企業

資料平台的難題,很少是「我們沒有資料」。多半是資料散在太多地方,每問一個新問題,就要先幫資料搬一次家。

這篇我用百度智能雲的資料產品線當觀察對象,把湖倉一體、資料庫選型、時序資料與邊緣運算這幾件事串起來講。重點不是背產品名,而是看懂一套資料平台為什麼會長成這個樣子。

你將學到什麼

湖倉一體要解什麼

看懂資料湖與資料倉儲分裂之後,企業真正付出的代價在哪裡。

統一目錄怎麼運作

元資料目錄如何讓同一套 SQL 查到湖裡與外部資料庫的資料。

四類資料庫的分工

關聯式、分析型、向量、時序各自適合什麼問題,怎麼選不會踩雷。

邊緣與雲端的界線

哪些運算該留在現場,哪些該回到雲端,判斷依據是什麼。

如果你在企業裡做資料,大概對這句話不陌生:「這個數字跟另一份報表對不起來。」多數時候,問題不在計算邏輯,而在同一份資料被複製了太多次。

資料團隊為什麼會走到湖倉一體

早期的分工其實很清楚。原始日誌、影音、爬回來的網頁丟進資料湖;要做報表的乾淨資料,經過清洗後進資料倉儲。兩邊各有各的引擎、各有各的權限。

問題出在中間那條搬運線。每加一個分析需求,就多一條 ETL;每多一條 ETL,就多一份會慢慢走樣的副本,以及一段誰都說不準的延遲。

湖倉一體想解掉的就是這件事。資料盡量只留一份在湖裡,倉的查詢能力直接伸過去用,中間不再需要一條專門為了查詢而存在的複製管線。

  • 成本:物件儲存的單位成本遠低於倉裡的高效能儲存,冷資料沒有理由養在貴的地方。
  • 時效:少一次搬運,就少一段批次視窗,分析看到的資料離現在更近。
  • 口徑:副本愈少,同一個指標被兩套邏輯算出兩個答案的機會就愈低。

湖倉一體實際上是怎麼接起來的

關鍵零件是元資料目錄。引擎要能知道湖裡有哪些表、欄位是什麼型別、檔案放在哪個路徑,才有辦法把一句 SQL 翻成對物件儲存的讀取。

百度智能雲這一側,資料倉儲 Palo Doris 版走的是 Multi-Catalog 的路子。它可以掛上 Hive、Hudi、Iceberg、Paimon 這類資料湖目錄,也可以透過 JDBC 掛 MySQL、PostgreSQL、Oracle、Elasticsearch 這些外部資料庫。

另一側的 EasyDAP 則是資料湖管理與分析平台,管的是採集、建設、治理到使用的整段生命週期。一個負責查得到,一個負責管得住。

湖倉一體的三層結構物件儲存的原始檔日誌 影音 網頁資料湖表格式Hive Iceberg Hudi外部業務資料庫MySQL PostgreSQL統一元資料目錄同一套 SQL 查到底權限與快取集中管理報表與即席查詢模型訓練與特徵智能體取數與決策資料留在原地,搬動的是查詢,不是檔案
湖倉一體的重點不是新的儲存,而是中間那層統一的元資料與查詢介面。
導入順序的建議

不要一次把所有資料源掛上來。先挑一個「跨兩個系統才回答得出來」的問題,用它把目錄、權限、快取這條路走通,再往外擴。第一個案例的價值不在效能數字,而在暴露你們的元資料到底有多亂。

一套資料平台裡不只一種資料庫

湖倉一體處理的是分析路徑,但企業的資料不會只走分析。交易要一致性、檢索要語意相似、設備資料要時間軸,這三件事各有各的引擎。

資料的樣子百度智能雲對應的服務最適合回答的問題
交易與業務主檔雲原生關聯式資料庫 GaiaDB這筆訂單現在的狀態是什麼
大量歷史紀錄資料倉儲 Palo Doris 版過去一年這個族群的行為怎麼變
文件與語意檢索向量資料庫 VectorDB有哪幾份資料跟這句話講的是同一件事
設備與監控指標時序時空資料庫 TSDB這台機器的溫度在什麼時候開始不對

選型的時候,不要問哪一個最強。要問的是這批資料未來會被問到什麼樣的問題,以及那個問題會不會被問一百萬次。

時序資料與邊緣:離現場最近的那一段

時序資料有很鮮明的性格。寫入很密、幾乎不更新、查詢多半帶著時間區間與聚合函式。百度智能雲的時序時空資料庫 TSDB 就是為這種形狀設計的,也支援空間類型的資料。

但資料還沒進雲之前,得先決定哪些運算留在現場。智能邊緣 BIE 把雲的運算能力延伸到使用者現場,提供臨時離線、低延遲的訊息規則、函式運算與 AI 推論,形成雲端管理、終端運算的一體方案。

再往外一層是邊緣計算節點 BEC,建在電信商的邊緣節點與網路上,提供靠近終端使用者的彈性運算資源。它解的是延遲與中心頻寬成本,不是離線。

  1. 必須即時反應的判斷留在現場:安全停機、異常告警這類等不到來回一趟的邏輯。
  2. 會斷網也要能撐的邏輯留在現場:邊緣的價值有一半來自臨時離線還能運作。
  3. 需要全域視野的才回雲端:跨廠區比較、模型重訓、長期趨勢,這些本來就要看全部的資料。
頻寬不是唯一的成本

把原始感測資料全部上雲,貴的往往不是傳輸,而是之後每一次全表掃描。在邊緣先做降採樣與聚合,等於替未來每一次查詢都省了一次錢。

2026 年的變化:資料平台開始為智能體服務

在 2026 年 5 月的 Create 開發者大會上,百度智能雲把整條產品線圍著 AI Infra、Agent Infra、AI Agent 三個方向重新排過,一次公布了三十多項新能力。

同一場發表的百度勝算,定位是企業資料智能平台,官方說法是要解決智能體在正式業務場景裡準確度不足、難以參與核心決策的問題,提供多模態資料管理、運算與開發能力。

對資料工程師來說,這個轉向的意思很直接。以前治理品質不好,最壞的結果是報表被質疑;現在治理品質不好,結果是智能體會用錯的資料替你做決定。

版本會動,敘述要留活口

本文提到的產品名稱與能力,是依 2026 年 8 月當下的官方文件與公開報導整理。雲端產品線改名、整併、功能調整都相當頻繁,實際規格、支援清單與計費方式,請一律以官方文件與公告為準。

帶走三句話

  • 湖倉一體的核心不是新的儲存,而是那層讓查詢走到資料面前的統一目錄。
  • 資料庫選型的問題不是誰最強,是這批資料會被問什麼問題、被問幾次。
  • 邊緣與雲端的界線,畫在「等得起嗎」與「斷網還要不要活」這兩個問題上。
本文源起本文依百度官方公開資料與 2026 年公開報導整理,由酒Ann 以自己的視角編寫成中文導覽。實際功能與規格以 百度智能雲官網 為準。

延伸學習

把這篇文章分享給需要的人FacebookLINEThreadsX

常見問答

湖倉一體是不是就等於把資料倉儲廢掉?
不是。湖倉一體只是讓倉的查詢能力可以直接伸進湖裡的資料,減少搬運。需要嚴格建模、高頻查詢、對延遲敏感的核心報表,通常還是會把資料落進倉裡的表,兩者是互補而不是取代。
Multi-Catalog 可以掛哪些外部資料來源?
依百度智能雲官方文件,資料倉儲 Palo Doris 版的資料湖分析支援 Hive、Hudi、Iceberg、Paimon 等目錄,資料庫分析則支援 JDBC 目錄以及 MySQL、PostgreSQL、ClickHouse、Oracle、SQL Server、Elasticsearch 等來源。支援清單會隨版本調整,請以官方文件為準。
時序資料為什麼不放在一般的關聯式資料庫?
時序資料的寫入密集、幾乎不更新、查詢多半帶時間區間與聚合。一般關聯式資料庫的索引與儲存結構是為交易設計的,硬塞時序資料會讓寫入與掃描都很吃力,所以才會有專門的時序時空資料庫。
邊緣運算是不是只有工廠或物聯網才用得到?
不是。只要有「網路可能斷、延遲不能等、原始資料量大到不值得全部上傳」這三個條件之一,就有邊緣運算的空間。零售門市、車載、內容分發都是常見場景。
資料治理該從哪裡開始做?
從被問最多次的那幾個指標開始。先把這些指標的定義、來源表、更新頻率釘死,再往外擴。一開始就想治理全部的資料表,通常會停在盤點階段做不完。