Thư viện Requests là phương pháp phổ biến nhất để gửi yêu cầu HTTP bằng Python. Đây là một trong những thư viện dễ sử dụng nhất. Python là một ngôn ngữ lập trình bậc cao cho các mục đích lập trình đa năng. Requests so với các thư viện thay thế Python khác thường yêu cầu viết ít mã hơn để trích xuất dữ liệu. Những người đam mê thu thập dữ liệu web đều biết rằng một proxy chất lượng cao sẽ là tốt hơn cả. Các trang web ngày nay sử dụng các biện pháp chống bot tiên tiến để tự bảo vệ mình khỏi quá trình tự động hóa. Vì vậy, việc xây dựng và duy trì trình thu thập của riêng bạn bao gồm thiết lập một máy chủ proxy để tránh bị cấm địa chỉ IP hoặc các trở ngại khác. Dưới đây là hướng dẫn từng bước về cách thiết lập và xoay vòng proxy trong Python bằng Requests.
Nếu muốn thực hiện nhiều yêu cầu với cùng một cấu hình proxy, bạn cần tạo một phiên và thêm proxy của mình. Bạn có thể làm điều đó bằng cách chuyển đối tượng phiên có cấu hình proxy của mình và gửi yêu cầu thông qua đối tượng đó.
Nếu muốn lưu trữ cấu hình proxy của mình để sử dụng trong tương lai, bạn sẽ cần đặt các biến môi trường. Bằng cách này, bạn có thể dễ dàng chuyển đổi giữa các cài đặt proxy khác nhau mà không cần sửa đổi mã của mình.
Bước 1. Tùy thuộc vào hệ điều hành của bạn, bạn có thể đặt/xuất các biến môi trường sang địa chỉ proxy và cổng.
Đối với người dùng Windows:
set http_proxy=http://username:password@:PORT
set https_proxy=http://username:password@:PORT
Nếu bạn không muốn bị đưa vào danh sách đen hoặc bị giới hạn tỷ lệ bởi các trang web, trước tiên bạn sẽ cần một nhóm địa chỉ IP. Khi đó một dịch vụ proxy xoay IP sẽ là cần thiết để đáp ứng yêu cầu này. Nếu không, bạn sẽ phải thực hiện quá nhiều yêu cầu kết nối từ một IP và rất dễ bị cho vào danh sách hạn chế.
Bạn nên sử dụng dịch vụ proxy trả phí. IP miễn phí không đáng tin cậy, nó có thể bị chèn quảng cáo hoặc dễ dàng tiết lộ dữ liệu của bạn. Mặt khác, các proxy trả phí duy trì cơ sở hạ tầng an toàn với với chất lượng đảm bảo, vì vậy bạn sẽ ít bị chặn hơn.
Gửi nhiều yêu cầu an toàn với proxy xoay IP
Bước 1. Đầu tiên, nhập các thư viện sau:
import requests
import random
Bước 2. Sau đó, xác định danh sách địa chỉ IP bạn muốn sử dụng.
import requests
import random
# Define your proxies
proxy_pool = ['user:password@host:3001', 'user:password@host:3002', 'user:password@host:3003']
# Going through 10 requests
for i in range(10):
# Select a random proxy from the pool
proxy = {'http': random.choice(proxy_pool)}
# Send the request using the same proxy
response = requests.get('URL', proxies = proxy)
# Print the response
print(response.text)
Trong hướng dẫn này, bạn đã biết cách sử dụng máy chủ proxy khi thực hiện các yêu cầu HTTP bằng Python Requests. Sử dụng proxy có thể giúp yêu cầu của bạn an toàn hơn hoặc ẩn danh hơn, cũng như ngăn IP của bạn bị chặn khi quét qua các trang web. Truy cập zingproxy.com để đăng ký dịch vụ proxy chất lượng cao cũng như biết thêm nhiều điều thú vị xoay quanh Proxy. Cảm ơn đã theo dõi bài viết!
Thử thách vượt qua anti-bot Instagram đã trở thành một trong những bài toán khó khăn nhất đối với cộng đồng lập trình viên và chuyên gia marketing. Các phương pháp scraping, tự động hóa cũ kỹ giờ đây gần như “thất thủ” trước hệ thống phòng thủ ngày càng tinh vi của nền tảng […]
Quản lý hàng chục tài khoản, mỗi tài khoản lại cần một địa chỉ IP riêng biệt là bài toán đau đầu của nhiều anh em làm MMO. Việc thay đổi IP thủ công vừa tốn thời gian, vừa dễ nhầm lẫn và tiềm ẩn rủi ro, ảnh hưởng trực tiếp đến hiệu suất công […]
Nếu bạn là dân cày MMO chính hiệu, bạn chắc chắn đã quá quen với cảnh tượng này: hàng chục profile trình duyệt, hàng trăm tài khoản game, Facebook, Google cần đăng nhập liên tục. Việc quản lý IP cho từng tài khoản để tránh bị “đánh dấu” là một cuộc chiến không hồi kết, […]
Hãy tưởng tượng bạn vừa rót một khoản ngân sách đáng kể vào chiến dịch Affiliate Marketing mới nhất. Mỗi cú nhấp chuột là một tia hy vọng, nhưng cuối ngày, ví tiền của bạn vơi đi mà không thấy một chuyển đổi nào. Cảm giác bất lực đó chính là điều mà hàng ngàn […]
Trong kỷ nguyên số, dữ liệu là vàng. Web scraping (cào dữ liệu) đã trở thành một công cụ không thể thiếu cho các doanh nghiệp, nhà nghiên cứu và lập trình viên. Nó giúp chúng ta thu thập thông tin thị trường, phân tích đối thủ, hay xây dựng các mô hình học máy […]
Không gì khó chịu hơn khi bạn đang giữa dòng công việc quan trọng, cần truy cập Internet gấp mà màn hình lại đột ngột hiện ra một thông báo lỗi khó hiểu. Nếu bạn đang ở đây để tìm cách sửa lỗi ERR_PROXY_CONNECTION_FAILED, bạn đã đến đúng nơi. Đây là một trong những sự […]