網路爬蟲與資料蒐集專用 Proxy
更新於:
對大多數網路爬蟲任務來說，獨享 IPv4 資料中心代理的速度與價格最划算，而靜態 ISP 代理則是應付嚴格網站的備案。把請求分散到一組專屬 IP 上、維持合理的請求頻率，並遵守每個網站的 robots.txt 與服務條款。
誰會使用代理蒐集資料
從單一 IP 大規模蒐集公開資料，很少能撐得久。網站會限制單一位址能發送的請求數量，而在辦公室 IP 上大量執行的爬蟲，可能讓整棟大樓的人都被封鎖。
一組代理能分散負載，讓你以特定國家訪客的視角看到網站，也讓你自己的網路置身事外。
- 追蹤競爭對手價格與庫存的電商團隊
- 蒐集公開資料集的研究人員與分析師
- 測試自家網站在不同國家回應狀況的開發者
- 旅遊、房地產與求職資訊整合平台
為什麼固定專屬 IP 適合爬蟲
使用靜態代理時，輪換由你自己掌控。爬蟲會為每個請求或每個工作階段從你的清單中挑選 IP，所以你清楚知道哪個 IP 做了什麼，也能淘汰被限速的 IP。
由於每個 IP 只專屬於一位客戶，它的信譽取決於你的使用方式，而不是之前其他用戶做過什麼。頻寬無上限，大型頁面、圖片或長時間爬取都不會產生流量費用。
- 可預期：整個租用期間都是同一批 IP，容易在工具中加入白名單
- 乾淨：沒有其他客戶共用你的 IP
- 頻寬無上限：不必按 GB 計費
- 適合工作階段：登入或購物車工作階段固定使用一個 IP，結束後再切換
爬蟲該選擇哪種代理類型
先從資料中心 IP 開始，只有在網站封鎖它們時才升級到 ISP。請選擇你需要查看的網站版本所在的國家。
| 目標 | 建議產品 | 原因 |
|---|---|---|
| 大多數公開網站、API、商品目錄 | 獨享 IPv4（資料中心） | 速度最快、成本效益最高；7 個國家可選 |
| 封鎖資料中心 IP 段的網站 | 靜態 ISP（美國、越南） | 註冊於網路服務供應商的 IP 看起來像一般用戶 |
| 大規模爬取支援 IPv6 的網站 | IPv6 | 位址數量龐大；請先確認目標支援 IPv6 |
| 亞洲的在地結果 | 日本、韓國、新加坡、香港、越南的獨享 IPv4 | 以在地訪客的視角查看網站 |
建議的爬蟲設定
我們的代理採用 HTTP/HTTPS 並以帳號密碼驗證，所有常見的爬蟲函式庫與工具都支援。從 Orders 匯出 ip:port:user:pass 格式的清單，載入你的爬蟲即可。
- 依請求頻率決定 IP 池大小；用更多 IP、每個 IP 放慢速度，勝過少數 IP 全力狂刷。
- 在自己的程式中輪換 IP，但每個登入或購物車工作階段固定使用一個 IP。
- 送出擬真的標頭、加入延遲，並在收到 HTTP 429 或 403 回應時退避。
- 用 Proxy 檢測工具 測試每個 IP，將過慢或被封鎖的 IP 移出輪換。
- 缺少代理設定的桌面工具，可透過 Proxifier 導向。
負責任地爬取並避開常見錯誤
代理改變的是請求的來源，而不是你被允許蒐集的內容。請遵守 robots.txt、網站服務條款與適用於你的個資保護法規，絕不蒐集你無權處理的個人資料。
- 用大量平行請求猛攻網站，直到它變慢或封鎖所有人
- 用不屬於你的帳號爬取需要登入的頁面
- 無視 robots.txt 與服務條款；嚴重濫用也違反我們的 條款
- 明明資料中心 IP 就能更快完成，卻什麼都用 ISP 代理
- 從不檢查回應內容，導致被封鎖的頁面與驗證碼混進資料中
常見問題
網路爬蟲該用資料中心還是 ISP 代理？
優先選資料中心。獨享 IPv4 代理速度更快，涵蓋的國家也更多。只有遇到封鎖資料中心 IP 段的網站時才使用靜態 ISP 代理。詳情請見我們的 代理類型比較。
爬蟲一定要用輪換代理嗎？
不一定。有了一組靜態 IP，你可以在自己的程式中輪換，完全掌控每個請求使用哪個 IP。
有頻寬限制嗎？
沒有。我們的代理頻寬無上限，你是按每個 IP 每月付費，而不是按 GB 計費。
代理支援 SOCKS5 嗎？
我們的代理是 HTTP/HTTPS，並以帳號密碼驗證。大多數爬蟲函式庫，例如 requests、Scrapy、Puppeteer 與 Playwright，都能直接支援。請參考 HTTP 與 SOCKS5 比較。
網路爬蟲合法嗎？
這取決於你蒐集的內容、你所在的地區與網站的條款。在遵守 robots.txt 的前提下蒐集公開、非個人的資料是常見做法；請確認適用於你專案的規定。
建立你的爬蟲 IP 池
需要多少獨享 IPv4 代理就訂多少；購買越多單價越低，而且頻寬無上限。
查看美國資料中心代理