AI 工廠的標準藍圖：從單機到 DGX SuperPOD 超算架構

第一次看 DGX SuperPOD 的架構圖，很容易被一堆型號名稱唬住，B300、GB200、Rubin NVL72，看起來像是規格表的競賽。

但真正決定這套系統能不能訓練超大型模型的，不是單顆晶片多強，而是晶片跟晶片之間、機櫃跟機櫃之間怎麼連起來。這篇就從這個角度，把 SuperPOD 這張藍圖拆開來看。

決定一套 AI 超算系統能撐多大的，往往不是晶片本身，而是晶片之間怎麼連。

先把互聯拆成三層來看

大規模 AI 訓練需要成千上萬顆 GPU 同時協作，但這些 GPU 分布在不同主機、不同機櫃，甚至不同區域。要讓它們像單一巨大加速器那樣運作，互聯技術要分層解決不同距離的通訊問題。

依 NVIDIA 官方頁面的說法，NVLink 與 NVLink Switch 被定位為多 GPU 通訊與大型 AI 模型所需的高速互聯，另外還有 NVLink Fusion，用於半客製化的規模擴展基礎設施。

• 節點內互聯（NVLink）：解決同一台主機裡，GPU 跟 GPU 之間直接交換資料的需求，延遲最低。
• 節點間互聯（NVSwitch／NVLink 網路）：把多台主機的 GPU 組成一個更大的通訊結構，讓一整組看起來像單一運算體。
• 跨機櫃叢集網路：把多個這樣的運算群組，再串成整座資料中心等級的超算系統。

叢集網路：為什麼不能沿用一般的資料中心網路

一般資料中心的網路，設計前提是各自獨立的請求，快慢不會互相拖累。AI 訓練不是這樣，成千上萬顆 GPU 常常要同時完成一次集體通訊，例如把各自算出來的梯度加總再分發回去。

只要其中一個節點慢了，或者網路發生壅塞，整批運算都要停下來等它。這代表叢集網路必須針對這種集體通訊模式設計，而不是單純把機器接上網路而已。

• 低延遲、可預期：延遲的變化幅度要小，不然最慢的那個節點會拖垮整體。
• 針對集體通訊調校：像是全部節點一起加總資料這類操作，要有專門的路徑與演算法支援。
• 可觀測：出問題時要能定位是哪個節點、哪段連結壅塞，不然除錯會非常花時間。

從單機到 SuperPOD：這張藍圖怎麼組出來

依 NVIDIA 官方頁面說明，DGX SuperPOD 被定位為一套「全端資料中心平台」，把運算、網路、儲存與軟體整合在一起考慮，而不是把這幾件事分開採購再拼裝。

官方頁面（二零二六年八月查閱）同時列出以 Blackwell 為基礎的系統，例如 GB300、GB200 系列，以及以 Vera Rubin 平台為基礎的新一代系統，例如 Rubin NVL72、Rubin NVL8。世代名稱更迭很快，實際採用哪一個，請以動工當下的官方頁面為準。

規模上，官方說法是可以從較小的部署，一路擴展到數萬顆 GPU 的等級。這個擴展性能不能只靠加機器達成，前面提到的三層互聯與叢集網路設計，才是撐起這個規模的關鍵。

散熱與擴展的基本概念

機櫃密度提高之後，散熱方式往往要從一般氣冷升級到液冷，這是機房層級的決定，不是伺服器層級的小調整。

電力容量、配線與供電冗餘，也要跟著這個密度一起規劃。等硬體到貨才發現機房電力或散熱撐不住，是最昂貴的一種返工。

擴展這件事，理想的做法是透過複製既有的運算群組單位往外長，而不是每次擴充都重新設計一次網路拓撲。這也是為什麼 SuperPOD 被稱為「藍圖」而不是單一產品，它提供的是一套可重複套用的設計模式。

給架構師的收尾檢查清單

1. 先確認訓練工作負載的通訊模式，再挑網路拓撲，不要反過來。
2. 把散熱與電力規劃，跟運算架構選型放在同一張時程表上，不要等硬體到貨。
3. 動工前重新查一次官方頁面的當期世代與規模，不要沿用舊教材或舊文章的印象。
4. 把儲存與軟體整合一起考慮，這是全端平台跟自行拼裝硬體最大的差異。