Proxys für Web Scraping und Datenerfassung
Aktualisiert:
Für die meisten Web-Scraping-Jobs bieten private IPv4-Datacenter-Proxys die beste Geschwindigkeit fürs Geld, und statische ISP-Proxys sind die Reserve für strengere Websites. Verteilen Sie Anfragen auf einen Pool dedizierter IPs, halten Sie die Anfragerate vernünftig und respektieren Sie die robots.txt und die Bedingungen jeder Website.
Wer Proxys für die Datenerfassung nutzt
Öffentliche Daten in großem Umfang von einer einzigen IP zu sammeln, funktioniert selten lange. Websites begrenzen, wie viele Anfragen eine Adresse senden darf, und ein fleißiger Scraper auf Ihrer Büro-IP kann dazu führen, dass diese IP für alle im Gebäude gesperrt wird.
Ein Pool von Proxys verteilt die Last, zeigt Ihnen jede Website so, wie Besucher aus einem bestimmten Land sie sehen, und hält Ihr eigenes Netz aus dem Spiel.
- E-Commerce-Teams, die Preise und Lagerbestände der Konkurrenz verfolgen
- Forscher und Analysten, die öffentliche Datensätze sammeln
- Entwickler, die testen, wie ihre eigene Website aus verschiedenen Ländern reagiert
- Aggregatoren für Reisen, Immobilien und Stellenangebote
Warum statische dedizierte IPs fürs Scraping funktionieren
Mit statischen Proxys steuern Sie die Rotation selbst. Ihr Scraper wählt für jede Anfrage oder Sitzung eine IP aus Ihrer Liste, Sie wissen also genau, welche IP was getan hat, und können eine IP aussortieren, die ein Rate-Limit erreicht.
Da jede IP einem Kunden exklusiv gehört, hängt ihre Reputation davon ab, wie Sie sie nutzen, nicht davon, was andere Nutzer vor Ihnen getan haben. Die Bandbreite ist unbegrenzt, sodass große Seiten, Bilder oder lange Crawls keine Datenrechnung verursachen.
- Vorhersehbar: dieselben IPs während der gesamten Mietdauer, leicht in Ihren Tools freizugeben
- Sauber: kein anderer Kunde teilt Ihre IPs
- Unbegrenzte Bandbreite: keine Kosten pro GB
- Sitzungsfreundlich: eine IP für eine eingeloggte Sitzung oder einen Warenkorb behalten, dann wechseln
Welchen Proxy-Typ fürs Scraping wählen
Starten Sie mit Datacenter-IPs und wechseln Sie nur dort zu ISP, wo eine Website sie blockiert. Wählen Sie das Land, dessen Version der Website Sie sehen müssen.
| Ziel | Empfohlenes Produkt | Warum |
|---|---|---|
| Die meisten öffentlichen Websites, APIs, Kataloge | Privates IPv4 (Datacenter) | Am schnellsten und kosteneffizientesten; 7 Länder |
| Websites, die Datacenter-Bereiche blockieren | Statisches ISP (USA, Vietnam) | Bei einem Internetanbieter registrierte IPs wirken wie normale Nutzer |
| Sehr große Crawls von IPv6-fähigen Websites | IPv6 | Großer Adressraum; vorher prüfen, ob das Ziel IPv6 unterstützt |
| Lokale Ergebnisse in Asien | Privates IPv4 in Japan, Korea, Singapur, Hongkong, Vietnam | Die Website so sehen wie lokale Besucher |
Empfohlenes Scraping-Setup
Unsere Proxys nutzen HTTP/HTTPS mit Benutzername und Passwort, was jede gängige Scraping-Bibliothek und jedes Tool unterstützt. Exportieren Sie Ihre Liste aus Orders im Format ip:port:user:pass und laden Sie sie in Ihren Scraper.
- Dimensionieren Sie den Pool nach Ihrer Anfragerate; mehr IPs mit langsamerer Rate pro IP schlagen wenige, stark beanspruchte IPs.
- Rotieren Sie IPs in Ihrem eigenen Code, behalten Sie aber eine IP pro Login- oder Warenkorbsitzung.
- Senden Sie realistische Header, bauen Sie Pausen ein und drosseln Sie bei HTTP-429- oder 403-Antworten.
- Testen Sie jede IP mit dem Proxy-Checker und nehmen Sie langsame oder blockierte IPs aus der Rotation.
- Desktop-Tools ohne Proxy-Einstellungen leiten Sie über Proxifier.
Verantwortungsvoll scrapen und häufige Fehler vermeiden
Ein Proxy ändert, woher Anfragen kommen; er ändert nicht, was Sie sammeln dürfen. Befolgen Sie robots.txt, die Bedingungen der Website und das für Sie geltende Datenschutzrecht, und sammeln Sie niemals personenbezogene Daten, die Sie nicht verarbeiten dürfen.
- Eine Website mit vielen parallelen Anfragen bombardieren, bis sie langsamer wird oder alle blockiert
- Seiten hinter einem Login mit Konten scrapen, die Ihnen nicht gehören
- robots.txt und Nutzungsbedingungen ignorieren; schwerer Missbrauch verstößt auch gegen unsere Bedingungen
- ISP-Proxys für alles nutzen, wenn Datacenter-IPs die Arbeit schneller erledigen würden
- Die Antwort nie prüfen, sodass blockierte Seiten und Captchas in Ihren Daten landen
Häufig gestellte Fragen
Datacenter- oder ISP-Proxys für Web Scraping?
Zuerst Datacenter. Private IPv4-Proxys sind schneller und decken mehr Länder ab. Nutzen Sie statische ISP-Proxys nur für Websites, die Datacenter-IP-Bereiche blockieren. Mehr dazu in unserem Vergleich der Proxy-Typen.
Brauche ich rotierende Proxys fürs Scraping?
Nicht unbedingt. Mit einem Pool statischer IPs rotieren Sie in Ihrem eigenen Code und behalten die volle Kontrolle darüber, welche IP für welche Anfrage genutzt wird.
Gibt es ein Bandbreitenlimit?
Nein. Die Bandbreite unserer Proxys ist unbegrenzt, Sie zahlen also pro IP und Monat statt pro Gigabyte.
Unterstützen die Proxys SOCKS5?
Unsere Proxys sind HTTP/HTTPS mit Authentifizierung per Benutzername und Passwort. Die meisten Scraping-Bibliotheken wie requests, Scrapy, Puppeteer und Playwright unterstützen das direkt. Siehe HTTP vs. SOCKS5.
Ist Web Scraping legal?
Das hängt davon ab, was Sie sammeln, wo Sie sich befinden und welche Bedingungen die Website hat. Öffentliche, nicht personenbezogene Daten unter Beachtung der robots.txt zu sammeln, ist gängige Praxis; prüfen Sie die Regeln, die für Ihr Projekt gelten.
Bauen Sie Ihren Scraping-Pool auf
Bestellen Sie so viele private IPv4-Proxys, wie Sie brauchen; der Preis pro IP sinkt mit der Menge, und die Bandbreite ist unbegrenzt.
US-Datacenter-Proxys ansehen