模型與訓練
Transformer 變形金剛架構是什麼？現代 AI 的注意力引擎
Transformer 是一種以注意力機制（Attention Mechanism）為核心的深度學習架構，由 Google 在 2017 年的論文〈Attention Is All You Need〉提出。它讓 AI 能夠一次讀完整段文字，並判斷每個字跟其他字之間的關聯強弱，而不必像早期模型那樣逐字往下讀。GPT、BERT 這些現代大型語言模型，底層用的都是它。
Transformer 變形金剛架構是什麼？現代 AI 的注意力引擎
你每天在用的 ChatGPT、Claude、Gemini，底層跑的都是同一套架構，名字叫 Transformer。
懂它不需要會寫程式，只要抓住一個概念：它讓 AI 學會了「該注意哪幾個字」。
你將學到什麼
一句話定義
以注意力機制為核心的深度學習架構，現代大型語言模型的共同底層。
白話比喻
它讓 AI 同時「觀看」整句話，並知道每個字該注意哪些字。
關鍵優勢
並行處理、能捕捉長距離關聯、好擴展、任務通用。
為什麼要懂
上下文、Token、幻覺這些現象，根源都在這套架構的運作方式。
定義
Transformer 是一種基於注意力機制的深度學習架構，由 Google 在 2017 年提出，論文名稱是〈Attention Is All You Need〉。
它讓 AI 能夠理解文字中每個字與其他字的關係，並且平行處理整段序列，大幅提升效率與效果。
整體架構分成編碼器（Encoder）與解碼器（Decoder）兩側，核心元件包含自注意力機制、多頭注意力、前饋神經網路、位置編碼、殘差連接與正規化。
白話比喻
早期的模型像是拿手指逐字讀句子，讀到後面就忘了前面。Transformer 則是一眼掃完整句話，再標出哪幾個字互相有關。
所以它特別擅長長距離的關聯：一句話開頭提到的主詞，到句尾還連得起來。
四個關鍵優勢
| 優勢 | 說明 |
|---|---|
| 並行處理 | 不像早期模型需要逐字處理，可以同時處理整個序列，速度更快 |
| 捕捉長距離關係 | 注意力機制能直接建立任意兩字之間的關聯，解決長距離依賴問題 |
| 更好的可擴展性 | 在大量資料與參數下仍保持優異表現，適合大規模模型訓練 |
| 靈活且通用 | 可應用於翻譯、摘要、問答、生成等多種任務 |
實際用例
自然語言處理的機器翻譯與問答系統、程式碼生成與錯誤偵測、圖文理解與語音辨識的多模態應用，背後都是這套架構。
後來的 MoE 專家混合架構 也是在 Transformer 之上做調整，把前饋層換成多組專家再挑選啟用，讓 大型語言模型 在不等比增加運算成本的前提下把參數規模拉大。
常見誤解很多人以為 Transformer 是某一家公司的專屬技術，其實它是一篇公開論文提出的通用架構，各家模型都在用。另一個誤解是以為注意力等於理解，實際上注意力只是分配權重的計算方式，模型仍然是在預測下一個最可能的字，這也是幻覺會發生的原因之一。
本文源起本文內容出自酒Ann 的「AI 實戰陪跑班」課程教材，由酒Ann 編寫成彙編條目。想系統性搞懂 AI 名詞，歡迎追蹤 酒Ann 的 Facebook。
延伸學習
常見問答
注意力機制到底在做什麼？
它會根據相關性，為輸入裡的每個字分配不同的權重，讓模型把運算資源集中在重要的字上。舉例來說，處理「吃」這個字的時候，模型會特別注意「蘋果」、「好吃」這些跟它相關的字，而不是平均看待整句話的每個字。
多頭注意力是什麼意思？
多頭的意思是同時從多個角度看同一句話。每一個注意力頭學到的關聯模式不一樣，有的偏語法、有的偏語意、有的偏位置，最後再把所有頭的結果串接起來。這樣模型能同時掌握好幾種關係，表徵能力比單一角度豐富很多。
Transformer 跟 GPT 是同一個東西嗎？
不是。Transformer 是架構，GPT 是用這個架構做出來的模型系列。就像引擎跟車款的差別，同一套引擎可以造出不同的車。BERT 走的是編碼器路線，GPT 走的是解碼器路線，兩者都源自同一篇論文提出的架構。