Local LLM 是什麼？把 AI 大腦下載到自己電腦上跑

處理公司機密、醫療或法律資料的時候，第一個會被問的問題是：這些東西會不會被傳到別人的伺服器？Local LLM 就是這個問題的答案。

但它不是免費的午餐。這篇把它的門檻與適用場景一次講清楚，你才知道自己該不該走這條路。

定義

Local LLM 是把大型語言模型下載到自己的電腦或裝置上運行。不需要連網，所有運算都在本機完成。

重點在「運算在哪裡發生」。雲端模型是你把問題送出去、對方算完再送回來；本地模型是問題從頭到尾沒有離開你的機器。

白話比喻

雲端模型像叫外送：不用買設備，隨叫隨到，但每一餐都要付錢，而且對方知道你點了什麼。

本地模型像自己買鍋具在家開伙：一次投入設備，之後想煮就煮，而且沒有人知道你今天吃了什麼。

跟雲端模型差在哪？

更完整的取捨可以看 本地模型與雲端模型的比較。

跑起來需要什麼

四個條件：顯示卡與 VRAM 顯存、系統記憶體、儲存空間、以及一個載入工具。顯存是最常卡住的那一項。

流程是四步：下載模型檔、用載入工具開起來、在本機推論、開始對話。整段都在離線狀態完成。

實際用例

六個典型場景：公司機密文件處理、醫療與法律等敏感資訊、飛機或戶外等離線環境、程式碼輔助、個人知識庫、以及創作寫作。

共通點是「資料不方便出門」或「網路不可靠」。如果這兩件事都不是你的問題，雲端模型通常比較省事。