Agent 與工作流
Computer Use 電腦操作是什麼？讓 AI 自己動滑鼠和鍵盤
Computer Use 電腦操作是什麼？讓 AI 自己動滑鼠和鍵盤
有些系統老舊到沒有任何介面可以串，資料只能在畫面上一格一格看、一格一格填。這種活最耗人也最沒有價值。
電腦操作就是讓 AI 接手這種活。它看得到畫面，也按得下按鈕。
你將學到什麼
定義
AI 擷取螢幕畫面、判斷位置，直接發出點擊與輸入指令。
白話比喻
像一位遠端連線的助理，只能看你的螢幕、動你的滑鼠。
什麼時候才需要
沒有 API、沒有整合介面，只剩人類介面可走的時候。
最大風險
按錯就是替你做了一件你沒同意的事，而且通常無法復原。
定義
電腦操作是讓 AI 用人類的方式使用電腦。輸入是螢幕畫面，輸出是滑鼠與鍵盤動作。
每一輪的循環大致是：看畫面、判斷現在在哪一步、決定下一個動作、執行、再看一次結果。做錯了就從新的畫面重新判斷。
白話比喻
像你請一位助理遠端連線到你的電腦。他看得到螢幕，也能動你的滑鼠鍵盤，但他不知道你的系統內部是怎麼運作的。
他能做的每一件事，都是你在畫面上做得到的事。同樣的，他能按錯的每一顆按鈕，也都是你按得到的那幾顆。
跟其他做法怎麼選
| 做法 | 走哪條路 | 什麼時候用 |
|---|---|---|
| API 串接 | 系統的正式介面 | 對方有開放介面，優先選這個 |
| 工具呼叫 | 事先定義好的動作 | 可以把能力包成明確的工具 |
| 網頁爬蟲 | 讀網頁內容 | 只需要取資料，不需要操作 |
| 電腦操作 | 人類的圖形介面 | 以上都行不通，只剩畫面可用 |
實際用例
典型場景是老舊的內部系統資料搬運、跨多個軟體的重複性流程、需要視覺確認的測試，以及那些「只有一個桌面程式、沒有任何介面」的工具。
上線前務必先在 沙盒 或受限帳號裡跑過，並且把不可逆的動作交給 人類參與循環 確認。
最常見的誤解是把它當成萬用解。它很慢、很貴、也比較容易出錯，只有在沒有更正規的通路時才值得用。
第二個誤解是低估權限風險。它拿到的等於你這台電腦的操作權，看得到畫面上的一切，也按得下刪除與送出。給它專用帳號、限制可存取的範圍，比事後補救便宜太多。
延伸學習
ChatGPT 很強，但真正讓你下班的是 Google
六小時完整實錄。從「AI 很厲害，為什麼你還是每天加班」這個問題出發，把 Google Workspace 當成真正的工作平台重新設計一次流程 ── Sheets 的資料結構、Drive 與 Docs 的文件流、Gmail 與 Calendar 的通知系統，再用 Apps Script 讓它自己跑起來，最後收斂成一張屬於你自己的 AI 工作能力地圖。
NT$ 4,599
寫給升國一的你的筆記術
寫給剛升上國中的你：筆記不是寫給老師看的，是寫給考前的自己看的。18 章 85 課圖文，從「為什麼要寫」講到七科各自怎麼記，附 78 份可以印出來寫的練習單，以及 80 課家長專區與 34 張三年筆記養成路徑圖。沒有閱讀期限，國一買、國三還在。
NT$ 3,599