Thư viện Requests là phương pháp phổ biến nhất để gửi yêu cầu HTTP bằng Python. Đây là một trong những thư viện dễ sử dụng nhất. Python là một ngôn ngữ lập trình bậc cao cho các mục đích lập trình đa năng. Requests so với các thư viện thay thế Python khác thường yêu cầu viết ít mã hơn để trích xuất dữ liệu. Những người đam mê thu thập dữ liệu web đều biết rằng một proxy chất lượng cao sẽ là tốt hơn cả. Các trang web ngày nay sử dụng các biện pháp chống bot tiên tiến để tự bảo vệ mình khỏi quá trình tự động hóa. Vì vậy, việc xây dựng và duy trì trình thu thập của riêng bạn bao gồm thiết lập một máy chủ proxy để tránh bị cấm địa chỉ IP hoặc các trở ngại khác. Dưới đây là hướng dẫn từng bước về cách thiết lập và xoay vòng proxy trong Python bằng Requests.

Cách sử dụng máy chủ proxy với Python Requests

Trước khi bắt đầu, bạn sẽ cần các điều kiện tiên quyết sau:

  • Python 3. Bạn sẽ cần cài đặt phiên bản Python mới nhất.
  • Requests. Bạn có thể thêm nó bằng cách chạy các yêu cầu cài đặt pip.
  • Code editor. Sử dụng bất kỳ trình chỉnh sửa nào bạn chọn.

Cách thiết lập proxy với Requests: Cấu hình cơ bản

Bước 1. Để thiết lập proxy với Python Requests, hãy chạy lệnh khởi tạo:

import requests

Bước 2. Sau đó, thêm đối số proxy với thông tin proxy của bạn.

Proxy HTTP:

proxies = {
   'http': 'http://host:PORT',
   'https': 'http://host:PORT',
}

Proxy SOCKS5:

proxies = {
   'http': 'socks5://host:PORT',
   'https': 'socks5://host:PORT',
}

Bước 3. Bây giờ, hãy tạo một biến phản hồi và chuyển tham số proxy.

response = requests.get('URL', proxies = proxies)

Lưu ý: Bạn có thể sử dụng bất kỳ phương thức request nào như get(), post() hoặc put().

Cấu hình Proxy trên Python Requests
Cấu hình Proxy trên Python Requests

Cách xác thực proxy

Để xác thực proxy của bạn, hãy chuyển tên người dùng và mật khẩu cùng với cấu hình proxy.

proxies = {
    'http': 'http://user:password@host:PORT',
    'https': 'http://user:password@host:PORT',
}

response = requests.get('URL', proxies = proxies)

Cách thiết lập phiên proxy

Nếu muốn thực hiện nhiều yêu cầu với cùng một cấu hình proxy, bạn cần tạo một phiên và thêm proxy của mình. Bạn có thể làm điều đó bằng cách chuyển đối tượng phiên có cấu hình proxy của mình và gửi yêu cầu thông qua đối tượng đó.

session = requests.Session()
session.proxies = proxies

response = session.get('URL')

Cách thiết lập biến môi trường

Nếu muốn lưu trữ cấu hình proxy của mình để sử dụng trong tương lai, bạn sẽ cần đặt các biến môi trường. Bằng cách này, bạn có thể dễ dàng chuyển đổi giữa các cài đặt proxy khác nhau mà không cần sửa đổi mã của mình.

Bước 1. Tùy thuộc vào hệ điều hành của bạn, bạn có thể đặt/xuất các biến môi trường sang địa chỉ proxy và cổng.

Đối với người dùng Windows:

set http_proxy=http://username:password@:PORT
set https_proxy=http://username:password@:PORT

Đối với người dùng Linux:

export http_proxy=http://username:password@:PORT
export https_proxy=http://username:password@:PORT

Bước 2. Sau đó, nhập thư viện os và đặt từ điển proxy để sử dụng các biến môi trường.

import os
proxies = {
    http: os.environ['http_proxy'],
    https: os.environ['https_proxy']
}
requests.get('URL',proxies = proxies)

=>> Cách thu thập dữ liệu an toàn từ Wayback Machine

Cách xoay vòng proxy với Python Requests

Nếu bạn không muốn bị đưa vào danh sách đen hoặc bị giới hạn tỷ lệ bởi các trang web, trước tiên bạn sẽ cần một nhóm địa chỉ IP. Khi đó một dịch vụ proxy xoay IP sẽ là cần thiết để đáp ứng yêu cầu này. Nếu không, bạn sẽ phải thực hiện quá nhiều yêu cầu kết nối từ một IP và rất dễ bị cho vào danh sách hạn chế.

Bạn nên sử dụng dịch vụ proxy trả phí. IP miễn phí không đáng tin cậy, nó có thể bị chèn quảng cáo hoặc dễ dàng tiết lộ dữ liệu của bạn. Mặt khác, các proxy trả phí duy trì cơ sở hạ tầng an toàn với với chất lượng đảm bảo, vì vậy bạn sẽ ít bị chặn hơn.

Gửi nhiều yêu cầu an toàn với proxy xoay IP
Gửi nhiều yêu cầu an toàn với proxy xoay IP

Bước 1. Đầu tiên, nhập các thư viện sau:

import requests
import random

Bước 2. Sau đó, xác định danh sách địa chỉ IP bạn muốn sử dụng.

proxy_pool = ['user:password@host:3001', 'user:password@host:3002', 'user:password@host:3003']

Bước 3. Bây giờ, hãy xem qua 10 yêu cầu.

for i in range(10):

1) Chọn một proxy ngẫu nhiên từ nhóm của bạn.

   proxy = {'http': random.choice(proxy_pool)}

2) Gửi yêu cầu bằng cùng một proxy.

   response = requests.get('URL', proxies=proxy)

3) In phản hồi.

    print(response.text)

Các yêu cầu đầy đủ được thể hiện như dưới đây:

import requests
import random
 
# Define your proxies
proxy_pool = ['user:password@host:3001', 'user:password@host:3002', 'user:password@host:3003']
 
# Going through 10 requests
for i in range(10):
    # Select a random proxy from the pool
    proxy = {'http': random.choice(proxy_pool)}
 
    # Send the request using the same proxy
    response = requests.get('URL', proxies = proxy)
 
    # Print the response
    print(response.text)

Trong hướng dẫn này, bạn đã biết cách sử dụng máy chủ proxy khi thực hiện các yêu cầu HTTP bằng Python Requests. Sử dụng proxy có thể giúp yêu cầu của bạn an toàn hơn hoặc ẩn danh hơn, cũng như ngăn IP của bạn bị chặn khi quét qua các trang web. Truy cập zingproxy.com để đăng ký dịch vụ proxy chất lượng cao cũng như biết thêm nhiều điều thú vị xoay quanh Proxy. Cảm ơn đã theo dõi bài viết!

Dịch vụ proxy toàn cầu

Tin tức liên quan

Thảo Trần 21/06/2025

Hướng dẫn sử dụng Proxy cho Amazon, tích hợp Proxy Dân cư và Anti-Detect để quản lý nhiều tài khoản an toàn (2025)

Trong môi trường kinh doanh trên Amazon, việc sử dụng Proxy cho Amazon là một chiến lược thiết yếu để quản lý nhiều tài khoản và tránh rủi ro đình chỉ. Thông báo “liên quan đến một tài khoản khác” có thể gây ảnh hưởng nghiêm trọng đến hoạt động kinh doanh bạn đã dày […]

Thảo Trần 15/06/2025

Tối ưu Gologin với Proxy, cách cài đặt và cấu hình chống block 2025

Trong thế giới MMO (Make Money Online) đầy cạnh tranh, việc sở hữu và quản lý nhiều tài khoản trên các nền tảng như Facebook, Google, eBay, hay Amazon không còn là lợi thế, mà đã trở thành yêu cầu bắt buộc. Tuy nhiên, đi kèm với đó là một nỗi ám ảnh thường trực: […]

Thảo Trần 01/06/2025

Phân tích dữ liệu log traffic quảng cáo với HAProxy (Phần 3)

Trong Phần 1 và Phần 2, chúng ta đã xây dựng nền tảng hệ thống ghi log traffic quảng cáo với HAProxy, bao gồm cài đặt, cấu hình log cơ bản, lọc dữ liệu với ACLs, định tuyến và quản lý vòng đời log bằng Logrotate. Bây giờ, chúng ta sẽ chuyển sang giai đoạn […]

Thảo Trần 30/05/2025

Lọc, định tuyến và quản lý log traffic Ads với HAProxy (Phần 2)

Bài viết trước đã hướng dẫn cài đặt HAProxy và cấu hình ghi log cơ bản. Tuy nhiên, việc thu thập tất cả dữ liệu log có thể dẫn đến file log khổng lồ, khó quản lý và phân tích. Phần này sẽ đi sâu vào các kỹ thuật nâng cao để kiểm soát và […]

Thảo Trần 25/05/2025

Ghi log traffic ads với HAProxy (Phần 1): Cài đặt và cấu hình định dạng log cơ bản

Trong thời đại số, việc hiểu rõ lưu lượng truy cập (traffic) là chìa khóa để tối ưu hóa mọi chiến dịch quảng cáo và đảm bảo hiệu suất hệ thống. Đặc biệt, với những hệ thống xử lý lượng lớn traffic quảng cáo, việc ghi lại và phân tích log trở nên vô cùng […]

Thảo Trần 22/05/2025

(Phần 3) Ghi log traffic quảng cáo với Nginx: Phân tích log để đo lường hiệu quả chiến dịch

Sau khi thiết lập định dạng log chuẩn và áp dụng các kỹ thuật lọc, xoay vòng hiệu quả trong hai bài viết trước, giờ đây bạn đã có trong tay một nguồn dữ liệu ghi log quảng cáo sạch, giàu thông tin và sẵn sàng để khai thác. Đây chính là thời điểm để […]

Các gói Proxy phổ biến

Dân Cư IP Tĩnh
Dân Cư Xoay IP
Chơi Game
Proxy việt nam tốc độ cao, IPv4 sạch
Proxy dân cư việt nam xoay IP
Proxy USA
Proxy Việt Nam

Proxy dân cư tĩnh US

149.000 /Tháng
  • Địa chỉ IPv4 tại Mỹ, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Canada

149.000 /Tháng
  • Địa chỉ IPv4 tại Canada, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh UK, United kingdom

Proxy dân cư tĩnh UK

149.000 /Tháng
  • Địa chỉ IPv4 tại Anh (UK), random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư áo, austria

Proxy dân cư tĩnh Áo

149.000 /Tháng
  • Địa chỉ IPv4 tại Áo, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh australia, AU

Proxy dân cư tĩnh Australia

149.000 /Tháng
  • Địa chỉ IPv4 tại Australia, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Bỉ

Proxy dân cư tĩnh Bỉ

149.000 /Tháng
  • Địa chỉ IPv4 tại Bỉ, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Bulgaria

Proxy dân cư tĩnh Bulgaria

149.000 /Tháng
  • Địa chỉ IPv4 tại Bulgaria, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Brazil, tốc độ cao

Proxy dân cư tĩnh Brazil

149.000 /Tháng
  • Địa chỉ IPv4 tại Brazil, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Thụy Sĩ

Proxy dân cư tĩnh Thụy Sĩ

149.000 /Tháng
  • Địa chỉ IPv4 tại Thụy Sĩ, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh séc

Proxy dân cư tĩnh Séc

149.000 /Tháng
  • Địa chỉ IPv4 tại Séc, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Đức

Proxy dân cư tĩnh Đức

149.000 /Tháng
  • Địa chỉ IPv4 tại Đức, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Đan Mạch

Proxy dân cư tĩnh Đan Mạch

149.000 /Tháng
  • Địa chỉ IPv4 tại Đan Mạch, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Tây Ban Nha

Proxy dân cư tĩnh Tây Ban Nha

149.000 /Tháng
  • Địa chỉ IPv4 tại Tây Ban Nha, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Pháp

Proxy dân cư tĩnh Pháp

149.000 /Tháng
  • Địa chỉ IPv4 tại Pháp, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Hong Kong

Proxy dân cư tĩnh Hong Kong

149.000 /Tháng
  • Địa chỉ IPv4 tại Hong Kong, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Hungary

Proxy dân cư tĩnh Hungary

149.000 /Tháng
  • Địa chỉ IPv4 tại Hungary, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Italy

Proxy dân cư tĩnh Italy

149.000 /Tháng
  • Địa chỉ IPv4 tại Italy, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Nhật Bản

Proxy dân cư tĩnh Nhật Bản

149.000 /Tháng
  • Địa chỉ IPv4 tại Nhật Bản, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Hà Lan

Proxy dân cư tĩnh Hà Lan

149.000 /Tháng
  • Địa chỉ IPv4 tại Hà Lan, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Na Uy

Proxy dân cư tĩnh Na Uy

149.000 /Tháng
  • Địa chỉ IPv4 tại Na Uy, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Ba Lan

Proxy dân cư tĩnh Ba Lan

149.000 /Tháng
  • Địa chỉ IPv4 tại Ba Lan, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Bồ Đào Nha

Proxy dân cư tĩnh Bồ Đào Nha

149.000 /Tháng
  • Địa chỉ IPv4 tại Bồ Đào Nha, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Romania

Proxy dân cư tĩnh Romania

149.000 /Tháng
  • Địa chỉ IPv4 tại Romania, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Singapore

Proxy dân cư tĩnh Singapore

149.000 /Tháng
  • Địa chỉ IPv4 tại Singapore, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Proxy dân cư tĩnh Việt Nam

Proxy dân cư tĩnh Việt Nam

59.000 /Tháng
  • Địa chỉ IPv4 tại Việt Nam, random thành phố

  • Tùy chọn nhà mạng ISP

  • Giao thức SOCKS5/HTTP

  • Chăm sóc khách hàng 24/7

  • Không giới hạn băng thông

  • Không giới hạn thiết bị

Bạn cần tư vấn thêm dịch vụ Proxy?

Liên hệ ngay với các chuyên gia trong đội ngũ của ZingProxy ngay bây giờ.

Liên hệ
Liên Hệ