Proxy cho web scraping và thu thập dữ liệu

Ai dùng proxy để thu thập dữ liệu

Thu thập dữ liệu công khai số lượng lớn từ một IP duy nhất hiếm khi chạy được lâu. Web giới hạn số request mỗi địa chỉ được gửi, và một con bot chạy hết công suất trên IP văn phòng có thể khiến cả tòa nhà bị chặn.

Một nhóm proxy giúp chia tải, xem web đúng như người dùng ở từng quốc gia đang thấy, và giữ mạng riêng của bạn đứng ngoài.

• Team thương mại điện tử theo dõi giá và tồn kho của đối thủ
• Nhà nghiên cứu, chuyên viên phân tích thu thập bộ dữ liệu công khai
• Lập trình viên kiểm tra web của chính mình phản hồi thế nào từ các nước
• Trang tổng hợp du lịch, bất động sản, tuyển dụng

Vì sao IP tĩnh riêng hợp với web scraping

Với proxy tĩnh, bạn tự kiểm soát việc xoay IP. Bot lấy IP trong danh sách cho từng request hoặc từng phiên, nên bạn biết chính xác IP nào làm gì và có thể loại IP bị giới hạn.

Vì mỗi IP chỉ cấp cho một khách, uy tín của IP phụ thuộc vào cách bạn dùng, không phải lịch sử của người dùng trước. Băng thông không giới hạn nên trang nặng, ảnh hay những đợt crawl dài không đội chi phí dữ liệu.

• Dễ đoán: cùng một danh sách IP suốt thời gian thuê, dễ whitelist trong công cụ
• Sạch: không khách nào khác dùng chung IP của bạn
• Không giới hạn băng thông: không tính tiền theo GB
• Hợp với phiên đăng nhập: giữ một IP cho phiên đăng nhập hoặc giỏ hàng, xong mới đổi

Chọn loại proxy nào để cào dữ liệu

Bắt đầu với IP datacenter, chỉ chuyển sang ISP với web chặn datacenter. Chọn quốc gia có phiên bản web mà bạn cần xem.

Cách thiết lập hệ thống cào dữ liệu

Proxy của chúng tôi dùng HTTP/HTTPS kèm username và password, thư viện và công cụ scraping phổ biến nào cũng hỗ trợ. Xuất danh sách ở mục Orders theo định dạng ip:port:user:pass rồi nạp vào bot.

• Chọn số IP theo tốc độ request; nhiều IP chạy chậm tốt hơn ít IP bị ép chạy nhanh.
• Tự xoay IP trong code, nhưng giữ nguyên một IP cho mỗi phiên đăng nhập hoặc giỏ hàng.
• Gửi header giống trình duyệt thật, thêm độ trễ và giảm tốc khi gặp mã lỗi 429 hoặc 403.
• Kiểm tra từng IP bằng công cụ kiểm tra proxy, loại IP chậm hoặc bị chặn khỏi vòng xoay.
• Với phần mềm máy tính không có mục cài proxy, hãy cho chạy qua Proxifier.

Cào dữ liệu có trách nhiệm và các lỗi thường gặp

Proxy chỉ đổi nơi gửi request, không đổi những gì bạn được phép thu thập. Hãy tuân thủ robots.txt, điều khoản của web và luật bảo vệ dữ liệu áp dụng cho bạn, và không thu thập dữ liệu cá nhân mà bạn không có quyền xử lý.

• Dội quá nhiều request song song khiến web chậm hoặc chặn tất cả
• Cào trang cần đăng nhập bằng tài khoản không phải của mình
• Bỏ qua robots.txt và điều khoản; lạm dụng nặng cũng vi phạm điều khoản dịch vụ của chúng tôi
• Dùng ISP cho mọi việc trong khi IP datacenter làm nhanh hơn
• Không kiểm tra phản hồi, để trang bị chặn và captcha lẫn vào dữ liệu

Câu hỏi thường gặp