Proxy para Web Scraping e Coleta de Dados
Atualizado:
Na maioria dos trabalhos de web scraping, o melhor proxy são os proxies datacenter IPv4 privados, que oferecem a melhor velocidade pelo preço, e os proxies ISP estáticos são a reserva para sites mais rigorosos. Distribua as requisições por um conjunto de IPs dedicados, mantenha uma taxa de requisições razoável e respeite o robots.txt e os termos de cada site.
Quem usa proxies para coleta de dados
Coletar dados públicos em escala a partir de um único IP raramente funciona por muito tempo. Os sites limitam quantas requisições um endereço pode enviar, e um scraper intenso no IP do seu escritório pode fazer esse IP ser bloqueado para todos no prédio.
Um conjunto de proxies distribui a carga, permite ver cada site como os visitantes de um determinado país o veem e mantém a sua própria rede fora da história.
- Equipes de e-commerce que acompanham preços e estoque dos concorrentes
- Pesquisadores e analistas que reúnem conjuntos de dados públicos
- Desenvolvedores que testam como o próprio site responde a partir de países diferentes
- Agregadores de viagens, imóveis e vagas de emprego
Por que IPs dedicados estáticos funcionam para scraping
Com proxies estáticos, você mesmo controla a rotação. Seu scraper escolhe um IP da sua lista para cada requisição ou sessão, então você sabe exatamente qual IP fez o quê e pode aposentar um que esteja sofrendo limitação de requisições.
Como cada IP é dedicado a um único cliente, a reputação dele depende de como você o usa, e não do que outros usuários fizeram antes de você. A banda é ilimitada, então páginas grandes, imagens ou rastreamentos longos não geram uma conta de dados.
- Previsível: os mesmos IPs durante todo o período de aluguel, fáceis de liberar nas suas ferramentas
- Limpo: nenhum outro cliente compartilha seus IPs
- Banda ilimitada: sem custo por GB
- Bom para sessões: mantenha um IP para uma sessão logada ou de carrinho e depois troque
Qual tipo de proxy escolher para scraping
Comece com IPs de datacenter e só passe para ISP onde algum site os bloquear. Escolha o país cuja versão do site você precisa ver.
| Alvo | Produto recomendado | Por quê |
|---|---|---|
| A maioria dos sites públicos, APIs, catálogos | IPv4 privado (datacenter) | O mais rápido e econômico; 7 países |
| Sites que bloqueiam faixas de datacenter | ISP estático (EUA, Vietnã) | IPs registrados em um provedor de internet parecem usuários comuns |
| Rastreamentos muito grandes de sites compatíveis com IPv6 | IPv6 | Grande espaço de endereços; confira antes se o alvo suporta IPv6 |
| Resultados locais na Ásia | IPv4 privado no Japão, Coreia, Singapura, Hong Kong, Vietnã | Veja o site como os visitantes locais veem |
Configuração recomendada para scraping
Nossos proxies usam HTTP/HTTPS com usuário e senha, o que toda biblioteca e ferramenta comum de scraping suporta. Exporte sua lista de Orders no formato ip:port:user:pass e carregue-a no seu scraper.
- Dimensione o conjunto conforme sua taxa de requisições; mais IPs com taxa menor por IP é melhor do que poucos IPs forçados ao limite.
- Faça a rotação de IPs no seu próprio código, mas mantenha um IP por sessão de login ou de carrinho.
- Envie cabeçalhos realistas, adicione intervalos e recue diante de respostas HTTP 429 ou 403.
- Teste cada IP com o verificador de proxy e retire da rotação os lentos ou bloqueados.
- Para ferramentas de desktop sem configuração de proxy, direcione-as pelo Proxifier.
Faça scraping com responsabilidade e evite erros comuns
Um proxy muda a origem das requisições; ele não muda o que você tem permissão para coletar. Siga o robots.txt, os termos do site e a lei de proteção de dados que se aplica a você, e nunca colete dados pessoais que você não tem direito de tratar.
- Martelar um site com muitas requisições paralelas até que ele fique lento ou bloqueie todo mundo
- Fazer scraping de páginas protegidas por login com contas que não são suas
- Ignorar o robots.txt e os termos de serviço; abusos pesados também violam os nossos termos
- Usar proxies ISP para tudo quando IPs de datacenter fariam o trabalho mais rápido
- Nunca verificar a resposta, de modo que páginas bloqueadas e captchas acabam nos seus dados
Perguntas frequentes
Proxies datacenter ou ISP para web scraping?
Datacenter primeiro. Proxies IPv4 privados são mais rápidos e cobrem mais países. Use proxies ISP estáticos apenas para sites que bloqueiam faixas de IP de datacenter. Mais detalhes na nossa comparação de tipos de proxy.
Preciso de proxies rotativos para scraping?
Não necessariamente. Com um conjunto de IPs estáticos, você faz a rotação no seu próprio código e mantém controle total sobre qual IP é usado em cada requisição.
Existe limite de banda?
Não. A banda é ilimitada nos nossos proxies, então você paga por IP por mês, e não por gigabyte.
Os proxies suportam SOCKS5?
Nossos proxies são HTTP/HTTPS com autenticação por usuário e senha. A maioria das bibliotecas de scraping, como requests, Scrapy, Puppeteer e Playwright, suporta isso diretamente. Veja HTTP vs SOCKS5.
Web scraping é legal?
Depende do que você coleta, de onde você está e dos termos do site. Coletar dados públicos e não pessoais respeitando o robots.txt é uma prática comum; confira as regras que se aplicam ao seu projeto.
Monte seu conjunto de proxies para scraping
Peça quantos proxies IPv4 privados precisar; o preço por IP cai conforme você compra mais, e a banda é ilimitada.
Ver proxies datacenter EUA