[外包接案使用調查]
公告 如何發案 如何接案 幫助中心爬蟲程式
【需求】 定時抓取某國際海運公司的長程船期表,一天兩次,把資料原樣送到指定 API。不需要解讀資料,只要抓到並送達。 【第一件事:先確認這到底是不是爬蟲案】 對方網站是 Next.js 前端,畫面上的資料其實來自三支公開 REST API。實測用純 HTTP 呼叫、不開瀏覽器、不帶登入,三支全部正常回應。 這對業主的意義是:不必解析 HTML、不必養無頭瀏覽器,對方改版時也比較不會壞。同樣的需求,維護成本差很多。 【第二件事:「不用解析」不等於「不用檢查」】 業主說不需要判斷、不需要解析——這是對的,資料的詮釋權應該留在業主手上,我不該替他解讀任何一班船。 但如果完全不檢查,來源網站哪天改了欄位或臨時回空資料,程式仍然會「執行成功」,把一包空資料準時送到業主的 API,而業主可能好幾天後才發現。這是最貴的一種故障:安靜地壞掉。 所以這支程式不解析內容,但檢查形狀——「這批東西還像不像船期表」。有沒有停靠港、有沒有船、時間欄位長不長得像時間。任何一項不對就標記出來跟資料一起送出,讓業主自己判斷要不要用。 【第三件事:我會查證自己的警報】 第一次實跑時,程式對 19 條航線中的 13 條報了「時間格式錯誤」,共 308 筆。 我沒有直接當成資料有問題,去看那 308 筆的實際內容——全部是同一個字串 SKIP,那是航運業的正常狀態(該船當次跳過此港),不是錯誤,是我的檢查太嚴。 修正後改成:SKIP 視為正常,但出現任何沒見過的新狀態字串仍然報警,因為那才是「來源真的改了東西」的訊號。 如果我沒去查那 308 筆,交出去的會是一支每天發假警報的程式。而假警報比沒有警報更糟——第二週就沒有人會再看它了。 【實測結果】 19 條航線全數抓到,0 失敗,0 形狀警告,輸出 1.17 MB JSON。 自檢 11 項全通過,其中包含反向對照組(正常資料必須通過、SKIP 必須放行、沒見過的新字串必須擋下),確保檢查真的有區辨力,而不是永遠說 OK。 【我主動告知業主的一件事】 來源網站的 robots.txt 明確標示不希望自動程式存取 API 路徑。這不是法律規定,但那是網站方明確的意思表示。可以改走前端頁面(合乎其規範但較慢、較脆弱),也可以走 API(快而穩定)。這個取捨我認為應該由業主決定,不該由承接方默默替他選。 【可交付】 擷取程式、排程設定、資料送達、健康狀況回報、原始碼與說明文件。
熊熊