Proxy untuk Web Scraping dan Pengumpulan Data
Diperbarui:
Untuk sebagian besar pekerjaan web scraping, proxy datacenter IPv4 private memberi kecepatan terbaik untuk harganya, dan proxy ISP statis menjadi cadangan untuk situs yang lebih ketat. Sebarkan request ke sekumpulan IP dedicated, jaga laju request tetap wajar, dan hormati robots.txt serta ketentuan setiap situs.
Siapa yang memakai proxy untuk pengumpulan data
Mengumpulkan data publik dalam skala besar dari satu IP jarang bertahan lama. Situs membatasi berapa banyak request yang boleh dikirim satu alamat, dan scraper yang sibuk di IP kantor Anda bisa membuat IP itu diblokir untuk semua orang di gedung.
Sekumpulan proxy menyebarkan beban, memungkinkan Anda melihat setiap situs seperti yang dilihat pengunjung dari negara tertentu, dan menjauhkan jaringan Anda sendiri dari urusan ini.
- Tim e-commerce yang melacak harga dan stok kompetitor
- Peneliti dan analis yang mengumpulkan dataset publik
- Developer yang menguji respons situs mereka sendiri dari berbagai negara
- Agregator perjalanan, properti, dan lowongan kerja
Mengapa IP statis dedicated cocok untuk scraping
Dengan proxy statis, Anda mengendalikan rotasi sendiri. Scraper Anda memilih IP dari daftar untuk setiap request atau sesi, jadi Anda tahu persis IP mana melakukan apa, dan bisa memensiunkan IP yang terkena rate limit.
Karena setiap IP khusus untuk satu pelanggan, reputasinya bergantung pada cara Anda memakainya, bukan pada apa yang dilakukan pengguna lain sebelumnya. Bandwidth tanpa batas, jadi halaman besar, gambar, atau crawl panjang tidak menambah tagihan data.
- Terprediksi: IP yang sama selama masa sewa, mudah di-whitelist di tools Anda
- Bersih: tidak ada pelanggan lain yang berbagi IP Anda
- Bandwidth tanpa batas: tanpa biaya per GB
- Ramah sesi: pertahankan satu IP untuk sesi login atau keranjang, lalu ganti
Jenis proxy yang dipilih untuk scraping
Mulailah dengan IP datacenter dan hanya naik ke ISP jika sebuah situs memblokirnya. Pilih negara yang versi situsnya perlu Anda lihat.
| Target | Produk yang disarankan | Alasan |
|---|---|---|
| Sebagian besar situs publik, API, katalog | IPv4 private (datacenter) | Tercepat dan paling hemat biaya; 7 negara |
| Situs yang memblokir rentang datacenter | ISP statis (AS, Vietnam) | IP yang terdaftar di penyedia internet terlihat seperti pengguna biasa |
| Crawl sangat besar pada situs yang siap IPv6 | IPv6 | Ruang alamat besar; pastikan dulu target mendukung IPv6 |
| Hasil lokal di Asia | IPv4 private di Jepang, Korea, Singapura, Hong Kong, Vietnam | Melihat situs seperti pengunjung lokal |
Setup scraping yang disarankan
Proxy kami memakai HTTP/HTTPS dengan username dan password, yang didukung semua library dan tool scraping umum. Ekspor daftar Anda dari Orders dalam format ip:port:user:pass dan muat ke scraper Anda.
- Sesuaikan ukuran pool dengan laju request; lebih banyak IP dengan laju lebih lambat per IP lebih baik daripada sedikit IP yang dipaksa keras.
- Rotasi IP di kode Anda sendiri, tetapi pertahankan satu IP per sesi login atau keranjang.
- Kirim header yang realistis, tambahkan jeda, dan mundur saat menerima respons HTTP 429 atau 403.
- Uji setiap IP dengan proxy checker dan keluarkan IP yang lambat atau diblokir dari rotasi.
- Untuk tool desktop yang tidak punya pengaturan proxy, arahkan melalui Proxifier.
Scraping secara bertanggung jawab dan hindari kesalahan umum
Proxy mengubah asal request; proxy tidak mengubah apa yang boleh Anda kumpulkan. Ikuti robots.txt, ketentuan situs, dan hukum perlindungan data yang berlaku bagi Anda, dan jangan pernah mengumpulkan data pribadi yang tidak berhak Anda proses.
- Membombardir situs dengan banyak request paralel hingga melambat atau memblokir semua orang
- Scraping halaman di balik login dengan akun yang bukan milik Anda
- Mengabaikan robots.txt dan ketentuan layanan; penyalahgunaan berat juga melanggar ketentuan kami
- Memakai proxy ISP untuk semua hal padahal IP datacenter bisa menyelesaikannya lebih cepat
- Tidak pernah memeriksa respons, sehingga halaman yang diblokir dan captcha masuk ke data Anda
Pertanyaan umum
Proxy datacenter atau ISP untuk web scraping?
Datacenter dulu. Proxy IPv4 private lebih cepat dan tersedia di lebih banyak negara. Gunakan proxy ISP statis hanya untuk situs yang memblokir rentang IP datacenter. Selengkapnya di perbandingan jenis proxy kami.
Apakah saya butuh rotating proxy untuk scraping?
Tidak harus. Dengan sekumpulan IP statis, Anda melakukan rotasi di kode sendiri dan tetap memegang kendali penuh atas IP mana yang dipakai untuk request mana.
Apakah ada batas bandwidth?
Tidak. Bandwidth proxy kami tanpa batas, jadi Anda membayar per IP per bulan, bukan per gigabyte.
Apakah proxy mendukung SOCKS5?
Proxy kami adalah HTTP/HTTPS dengan autentikasi username dan password. Sebagian besar library scraping seperti requests, Scrapy, Puppeteer, dan Playwright langsung mendukungnya. Lihat HTTP vs SOCKS5.
Apakah web scraping legal?
Tergantung apa yang Anda kumpulkan, di mana Anda berada, dan ketentuan situsnya. Mengumpulkan data publik non-pribadi sambil menghormati robots.txt adalah praktik umum; periksa aturan yang berlaku untuk proyek Anda.
Bangun pool scraping Anda
Pesan proxy IPv4 private sebanyak yang Anda butuhkan; harga per IP turun seiring jumlah pembelian, dan bandwidth tanpa batas.
Lihat proxy datacenter AS