网页爬虫与数据采集代理IP
更新于:
对于大多数网页爬虫任务，独享IPv4数据中心代理性价比最高，静态ISP代理则是应对严格网站的备选方案。将请求分散到一组独享IP上，控制合理的请求频率，并遵守每个网站的robots.txt和使用条款——这是使用爬虫代理IP的基本原则。
谁在用代理采集数据
用单个IP大规模采集公开数据很难长期奏效。网站会限制单个地址的请求数量，而在办公室IP上高强度运行的爬虫，可能导致整栋楼的人都被封锁该IP。
一组代理可以分散负载，让你以某个国家访客的视角查看网站，并让你自己的网络置身事外。
- 追踪竞品价格和库存的电商团队
- 收集公开数据集的研究人员和分析师
- 测试自己网站在不同国家访问效果的开发者
- 旅游、房产和招聘信息聚合平台
为什么静态独享IP适合爬虫
使用静态代理时，轮换由你自己控制。爬虫为每个请求或会话从你的列表中挑选一个IP，因此你能确切知道哪个IP做了什么，也可以停用被限速的IP。
由于每个IP只属于一位客户，它的信誉取决于你的使用方式，而不是之前其他用户的行为。流量不限，因此大页面、图片或长时间爬取都不会产生流量费用。
- 可预期：整个租用期内使用同一批IP，便于在工具中加入白名单
- 干净：没有其他客户共用你的IP
- 不限流量：没有按GB计费
- 适合会话：登录或购物车会话期间保持一个IP，结束后再切换
爬虫应选择哪种代理类型
先从数据中心IP开始，只有在网站屏蔽它们时才升级到ISP。选择你需要查看的网站版本所在的国家。
| 采集目标 | 推荐产品 | 原因 |
|---|---|---|
| 大多数公开网站、API、商品目录 | 独享IPv4（数据中心） | 速度最快、性价比最高；覆盖7个国家/地区 |
| 屏蔽数据中心网段的网站 | 静态ISP（美国、越南） | 登记在网络服务商名下的IP看起来像普通用户 |
| 对支持IPv6的网站进行超大规模爬取 | IPv6 | 地址空间巨大；请先确认目标网站支持IPv6 |
| 亚洲本地搜索结果 | 日本、韩国、新加坡、香港、越南的独享IPv4 | 以本地访客的视角查看网站 |
推荐的爬虫设置
我们的代理使用HTTP/HTTPS协议和用户名密码认证，所有常见的爬虫库和工具都支持。从 Orders（订单）以 ip:port:user:pass 格式导出列表，并加载到你的爬虫中。
负责任地采集并避免常见错误
代理改变的是请求的来源，而不是你被允许采集的内容。请遵守robots.txt、网站条款以及适用于你的数据保护法律，绝不采集你无权处理的个人数据。
- 用大量并发请求猛刷网站，直到网站变慢或封锁所有人
- 用不属于你的账号爬取需要登录的页面
- 无视robots.txt和服务条款；严重滥用也违反我们的条款
- 数据中心IP就能更快完成的任务，却全部用ISP代理
- 从不检查响应内容，导致被拦截的页面和验证码混入数据
常见问题
网页爬虫用数据中心代理还是ISP代理？
优先用数据中心。独享IPv4代理速度更快，覆盖的国家更多。只有在网站屏蔽数据中心IP网段时才使用静态ISP代理。详见我们的代理类型对比。
爬虫一定需要动态轮换代理吗？
不一定。有了一组静态IP，你可以在自己的代码中轮换，完全掌控每个请求使用哪个IP。
有流量限制吗？
没有。我们的代理不限流量，你按每IP每月付费，而不是按GB付费。
代理支持SOCKS5吗？
我们的代理是HTTP/HTTPS协议，使用用户名和密码认证。requests、Scrapy、Puppeteer和Playwright等大多数爬虫库都直接支持。请参阅HTTP与SOCKS5对比。
网页爬虫合法吗？
这取决于你采集的内容、你所在的地区以及网站条款。在遵守robots.txt的前提下采集公开的非个人数据是常见做法；请查看适用于你项目的相关规定。
搭建你的爬虫IP池
按需订购独享IPv4代理；购买越多，单价越低，而且流量不限。
查看美国数据中心代理