Webスクレイピング・データ収集向けプロキシ

データ収集にプロキシを使う人

1つのIPから公開データを大規模に収集する方法は、長くは続きません。サイトは1つのアドレスから送れるリクエスト数を制限しており、オフィスのIPで大量にスクレイピングすると、建物内の全員がそのIPをブロックされる恐れがあります。

プロキシのプールを使えば負荷を分散でき、特定の国の訪問者と同じようにサイトを見られ、自社のネットワークを巻き込まずに済みます。

• 競合の価格や在庫を追跡するECチーム
• 公開データセットを収集する研究者やアナリスト
• 自社サイトが各国からどう表示されるかをテストする開発者
• 旅行、不動産、求人情報のアグリゲーター

固定の専用IPがスクレイピングに向く理由

固定プロキシなら、ローテーションを自分で制御できます。スクレイパーはリクエストやセッションごとにリストからIPを選ぶため、どのIPが何をしたかを正確に把握でき、レート制限を受けたIPは外せます。

各IPは1人の利用者専用なので、その評価はあなたの使い方次第であり、以前に他の利用者が何をしたかには左右されません。帯域は無制限なので、大きなページや画像、長時間のクロールでもデータ料金がかさみません。

• 予測可能：レンタル期間中は同じIP。ツールのホワイトリストにも登録しやすい
• クリーン：他の利用者とIPを共有しません
• 帯域無制限：GB単位の課金なし
• セッションに強い：ログイン中やカートのセッションは1つのIPを維持し、その後で切り替え

スクレイピングに選ぶべきプロキシタイプ

まずはデータセンターIPから始め、サイトにブロックされる場合だけISPに切り替えましょう。国は、見たいサイトのバージョンに合わせて選びます。

おすすめのスクレイピング設定

当社のプロキシはユーザー名とパスワード認証のHTTP/HTTPSで、一般的なスクレイピング用ライブラリやツールはすべて対応しています。Ordersから ip:port:user:pass 形式でリストをエクスポートし、スクレイパーに読み込ませてください。

• プールの規模はリクエスト頻度に合わせます。少数のIPを酷使するより、多くのIPでIPあたりの頻度を下げるほうが有利です。
• IPのローテーションは自分のコードで行い、ログインやカートのセッションごとに1つのIPを維持します。
• 自然なヘッダーを送り、間隔を空け、HTTP 429や403が返ったら頻度を下げます。
• プロキシチェッカーで各IPをテストし、遅いIPやブロックされたIPはローテーションから外します。
• プロキシ設定のないデスクトップツールは、Proxifier経由で通信させます。

責任あるスクレイピングとよくあるミス

プロキシが変えるのはリクエストの送信元であり、収集してよいデータの範囲ではありません。robots.txt、サイトの利用規約、適用されるデータ保護法を守り、処理する権利のない個人データは決して収集しないでください。

• 大量の並列リクエストでサイトに負荷をかけ、速度低下や全員のブロックを招く
• 自分のものではないアカウントでログイン後のページをスクレイピングする
• robots.txtや利用規約を無視する。悪質な乱用は当社の利用規約にも違反します
• データセンターIPのほうが速く済む作業にまで、すべてISPプロキシを使う
• レスポンスを確認せず、ブロックされたページやCAPTCHAがデータに混入する

よくある質問