模型與訓練

GPU 圖形處理器是什麼?為什麼全世界都在搶它

GPU(Graphics Processing Unit,圖形處理器)原本用來渲染遊戲畫面,但它擁有數千個小核心,能同時處理大量簡單的計算任務,非常適合 AI 訓練中的矩陣運算與並行計算。因為大模型越大越吃算力,而高階 GPU 產能有限,它就成了 AI 時代最稀缺的基礎設施。
GPU 圖形處理器是什麼?為什麼全世界都在搶它:文章重點卡

GPU 圖形處理器是什麼?為什麼全世界都在搶它

新聞常說某公司又買了幾萬張 GPU,或某國家管制 GPU 出口。一張顯示卡為什麼會變成國家戰略物資?

答案在它的結構:GPU 天生適合並行計算,而 AI 訓練剛好就是海量的並行計算。

你將學到什麼

定義

GPU 是圖形處理器,原本用來渲染畫面,因為擁有數千個小核心,非常適合 AI 的矩陣運算與並行計算。

白話比喻

CPU 像十個博士,擅長複雜的邏輯難題。GPU 像數千個小學生,一起算簡單的加減乘除,速度驚人。

跟誰容易搞混

GPU 是算力本體,顯存是它身上的記憶體容量,決定你放不放得下一個模型。

定義

GPU(Graphics Processing Unit,圖形處理器)原本用來渲染遊戲畫面,但它擁有數千個小核心,能同時處理大量簡單的計算任務。

這個結構非常適合 AI 訓練中的矩陣運算並行計算。所以雖然它叫顯示卡,現在全地球卻都在搶它來訓練 AI。

白話比喻

CPU 核心少,大約十個,但每一個都很強,擅長複雜的邏輯運算與串列任務。它像一組博士,適合解難題。

GPU 核心多,數千個,每一個都不算聰明,但可以同時開工。它像一整間學校的學生一起算加減乘除,適合 AI 訓練與推論。

GPU 跟 CPU 差在哪

比較項目CPU 中央處理器GPU 圖形處理器
核心數量少,約十個等級多,數千個等級
單核能力強,擅長複雜邏輯相對簡單,勝在數量
適合任務串列任務、通用運算大量並行運算
在 AI 的角色調度與前後處理模型訓練與推論的主力

為什麼全世界都在搶 GPU

  • 大模型爆發,參數越大,需要的 GPU 越多。
  • 供應稀缺,先進製程加上高頻寬記憶體,產能有限而需求暴增。
  • 國家戰略物資,算力被視為國力競爭力,各國搶進,出口管制升級。
  • 價格飆漲,高階 GPU 價格翻倍,一張難求。

所以才有那句總結:算力即權力。它現在的角色,比較像 AI 時代的石油。

實際用例

AI 訓練中的矩陣乘法、深度學習模型訓練、大量數據併行處理、向量運算、卷積運算,這幾類 GPU 都完美勝任。

除了訓練,線上服務的即時推論同樣吃 GPU。你在對話框看到字一個一個吐出來,背後就是 GPU 在算。科學研究、自動駕駛、3D 渲染與影像剪輯也都靠它加速。

規格上最常被提到的是顯存容量與記憶體頻寬。以 NVIDIA 的資料中心產品為例,H100 屬於 Hopper 架構,B200 屬於下一代的 Blackwell 架構,記憶體容量與頻寬都明顯提升。

常見誤解最常見的誤解是「GPU 就是拿來打電動的顯示卡」。遊戲卡與資料中心卡雖然同源,但後者強化的是顯存容量、記憶體頻寬與多卡互連,價格與定位完全不同。另一個誤解是只看算力數字,實際效能還會因模型、框架、資料與系統配置而異。
本文源起本文內容出自酒Ann 的「AI 實戰陪跑班」課程教材,由酒Ann 編寫成彙編條目。想系統性搞懂 AI 名詞,歡迎追蹤 酒Ann 的 Facebook

延伸學習

把這篇文章分享給需要的人FacebookLINEThreadsX

常見問答

為什麼 CPU 不能拿來訓練 AI?
可以,只是非常慢。CPU 核心少但單核強,擅長複雜的邏輯運算與串列任務。AI 訓練是大量重複的矩陣乘法與向量運算,需要的是同時開很多路一起算,這正好是 GPU 的強項。
自己想跑本地模型,該看哪個規格?
先看顯存容量。模型能不能載入,取決於顯存放不放得下權重,放不下就跑不動。之後才輪到記憶體頻寬與算力,它們決定跑得多快。
為什麼 GPU 會缺貨、會漲價?
大模型爆發讓需求暴增,而高階 GPU 需要先進製程與高頻寬記憶體,產能有限。加上算力被視為國力競爭力,出口管制升級,於是供不應求。