為什麼 AI 離不開 GPU：平行運算與 CUDA 觀念一次搞懂

每次 AI 的新聞都繞著 NVIDIA 轉：模型要搶 GPU、資料中心要蓋 GPU、連筆電都在標榜 AI 晶片。但很少有人把最根本的問題講清楚：AI 為什麼非要 GPU 不可？CPU 不行嗎？

我整理了 NVIDIA 官方部落格與 CUDA 入門教材的解釋，發現答案其實只有一句話：深度學習的運算剛好長成 GPU 擅長的形狀。這篇就把這句話拆開講：CPU 與 GPU 差在哪、什麼是平行運算、CUDA 又是什麼角色。

從畫面到 AI：GPU 本來是做什麼的

GPU 的全名是圖形處理器，最初的工作是把遊戲畫面算出來。畫面由上百萬個像素組成，每個像素的顏色、光影可以各自獨立計算，所以顯示晶片從一開始就被設計成同時做很多件小事的架構。

後來研究者發現：這種架構不只會算像素，任何「可以拆成大量獨立小任務」的問題它都在行。科學模擬、影像處理，以及後來的主角：深度學習，全都是這種形狀的問題。

CPU 與 GPU：大腦與靈魂

NVIDIA 官方部落格有個很傳神的說法：CPU 是電腦的大腦，GPU 是它的靈魂。兩者的架構哲學完全相反：CPU 是少數幾個很強的核心配上大量快取，把一件事做得又快又靈活；GPU 是成百上千個較小的核心，同時跑上千條執行緒。

所以兩者的分工是：CPU 擅長序列處理，一步接一步、需要靈活反應的工作，例如作業系統與你的每一次點擊；GPU 擅長平行處理，把複雜問題拆成成千上萬個獨立任務一次算完。不是誰取代誰，而是各管一種形狀的問題。

還有一個常被忽略的重點：能源效率。同樣的平行工作量，GPU 每單位能源能做的工遠多於 CPU。在摩爾定律放緩、單晶片塞電晶體越來越難的年代，把工作攤給大量處理器平行做，成了效能繼續成長的主要出路。

深度學習剛好長成 GPU 的形狀

神經網路聽起來玄，底層數學卻很樸素：絕大多數是矩陣乘法。訓練時把海量資料灌進網路、反覆調整權重，推論時把輸入一層層乘過去，全都是矩陣運算。

而矩陣運算有個美好的性質：結果矩陣裡每個位置的計算彼此獨立，可以同時進行。上百萬個獨立小任務，正好餵飽 GPU 上千條執行緒。這就是為什麼深度學習的爆發與 GPU 綁在一起：不是巧合，是問題形狀與硬體架構剛好咬合。

NVIDIA 後來更進一步，在 GPU 裡加入 Tensor Core：專門加速矩陣運算的特化硬體單元。一般核心是通用平行工人，Tensor Core 是專攻 AI 數學的特種部隊，讓訓練與推論的效率再上一層。

CUDA：指揮千軍萬馬的程式模型

硬體有了，還需要一套讓程式指揮它的方法，這就是 CUDA：NVIDIA 的平行運算平台與程式模型。它讓開發者用接近 C++ 的語法，寫出同時在數千條執行緒上執行的程式。

CUDA 的世界觀是三層的：在 GPU 上跑的函式叫 kernel；每次執行由大量執行緒（thread）分工，每條執行緒用自己的編號認領一小塊資料；執行緒組成 block，block 再排成 grid 蓋滿整個資料集。

// CUDA kernel: each thread adds one element
__global__ void add(int n, float *x, float *y) {
  int i = blockIdx.x * blockDim.x + threadIdx.x;
  if (i < n) y[i] = x[i] + y[i];
}

上面這段是 CUDA 入門教材的經典範例：兩個陣列相加。CPU 版本要用迴圈一個一個加；CUDA 版本讓每條執行緒認領一個位置，整個陣列同時加完。看懂這五行，平行運算的精髓就抓到了。

把三個名詞收進同一張圖

最後幫你把觀念收攏：GPU 是擅長平行運算的硬體，CUDA 是指揮它的軟體平台，Tensor Core 是專為 AI 矩陣運算再特化的硬體單元。三者疊起來，就是「AI 離不開 GPU」的完整答案。

想更深入的話，NVIDIA Deep Learning Institute 有加速運算的入門課程，附雲端 GPU 環境可以直接動手；官方開發者部落格上的 CUDA 入門文也值得一讀。理解了硬體這一層，再看任何 AI 產品的規格表，你都能看出門道。