為什麼GPT寫的爬蟲一直翻船？先把這幾件事講清楚

一言不合就發長文，今天看到有人問了圖片中的問題，好，GPT不是不能寫爬蟲程式，但是你想叫 GPT 寫爬蟲，至少先把這些件事講清楚，才不會一直翻船啊！

爬蟲不是把網址丟給 GPT 就完事了

爬蟲要的是「合法、穩定、可持續」的資料管道。

先描出我想解決什麼痛，再談程式

1. 使用情境：是做每日新聞摘要、價格監控，還是一次性資料快照？

2. 頻率 & 時效：要即時、每天、還是人工觸發？

3. 輸出格式：CSV、JSON、SQL，還是直接丟到 Google Sheet？

👉 給 GPT ：「我的目標是每天 09:00 定時抓取這三家媒體ABC的最新文章，並 append 到news.sqlite分析去重。」

這裡news.sqlite 要記得搭配-schedule。

版權 & 法規

Robots.txt不是裝飾品，你要叫GPT寫爬蟲，你要注意這件事啊！不然違規了基本就是白幹了。

例如得先要求 GPT 檢查目標站的 robots.txt 與服務條款。

然後要記得加上time.sleep() 或隨機 User-Agent，避免爬太快被對方封鎖掉。

如果你爬來的資料未來可能會公開，也要叫 GPT 在程式內加上版權說明與來源。

網站是靜態？動態？還是 GraphQL？

比如你要HTML結構穩定，那就提供 CSS selector 範例。比如你要JS 動態渲染，那可以指定使用Playwright + asyncio。如果API / RSS 已經有現成的可以抄，那就直接拿requests + json()示範。

如果以上這些你看不懂，那拜託不要發文問說為什麼GPT寫不了爬蟲了好嗎！

報錯方式

不管是連線層的timeout、重試次數、proxy fallback，還是資料層得用try/except把欄位缺失、格式異常包起來，還是寫入層的磁碟空間不足、路徑不存在要給備援方案，這些都是要先講清楚的。

如果以上這些你看不懂，那拜託不要發文問說為什麼GPT寫不了爬蟲了好嗎！

時間格式：

不要問，請直接用ISO-8601做時區的標準。

👉 給 GPT ：「任何 published/updated都呼叫dateutil.parser.parse()後轉成 ISO-8601，再存進資料庫。」

日誌 & 監控

要怎麼搭配logging、tenacity及ERROR notify的設定，你要講清楚。

去重：

看你是要先比網址，再比標題；最後保底，用標題＋時間做 MD5，隨你開心，重點是講清楚。

排程

schedule還是Cron + Systemd，或者你要GitHub Actions / Cloud Run，講！清！楚！

測試

要叫GPT幫你寫-test啊！包含HEAD 檢查 RSS / API 是不是200？要不要為了省流量而不下載全文？怎麼回傳 JSON 報告，例如{"BBC": "OK", "Reuters": "Fail"}等。

如果以上這些你看不懂，那拜託不要發文問說為什麼GPT寫不了爬蟲了好嗎！

參數化

不要把設定「寫死」，另外作一個config.yaml，然後告訴GPT去讀 config.yaml 生成爬蟲，任何變動不用動程式碼。這樣你就可以一版多用。

模組化＆擴充預留位

懶得寫了，如果你想不出來，那拜託不要發文問說為什麼GPT寫不了爬蟲了好嗎！

以下大概還省略了一半的內容，反正懂的就懂，不懂的拜託上YT學一下，怎樣都比你叫GPT幫你直出一個可以用的程式來得快啊！

本文原發表於 2025/07/03 的 Facebook 貼文，原文照登，僅調整網頁排版；文中提及的產品、價格與活動以當時為準。