Hướng dẫn toàn diện về xoay Proxy Python: Từ requests đến Scrapy & Selenium (2025)

Trong kỷ nguyên số, dữ liệu là vàng. Các doanh nghiệp và lập trình viên luôn tìm cách khai thác nguồn tài nguyên khổng lồ này thông qua web scraping. Tuy nhiên, hành trình thu thập dữ liệu không hề dễ dàng khi các trang web ngày càng tinh vi hơn trong việc phát hiện và chặn các truy cập tự động. Đây chính là lúc kỹ thuật xoay proxy Python trở thành một vũ khí tối quan trọng. Bài viết này sẽ là kim chỉ nam toàn diện, hướng dẫn bạn từ những bước cơ bản nhất đến các kỹ thuật nâng cao để làm chủ công nghệ này trong năm 2025.

Proxy Rotation – “Vũ khí” bắt buộc của dân cào dữ liệu

Proxy Rotation là gì?

Hiểu một cách đơn giản, Proxy Rotation (hay xoay vòng proxy) là kỹ thuật tự động thay đổi địa chỉ IP cho mỗi yêu cầu (request) gửi đến một máy chủ web. Thay vì dùng một IP duy nhất và bị phát hiện, script của bạn sẽ liên tục “biến hình” qua một danh sách các proxy khác nhau.

Tại sao nó lại quan trọng?

Việc này không chỉ là một thủ thuật, mà là một chiến lược thiết yếu. Nó giúp bạn vượt qua nhiều loại rào cản khác nhau:

• Chặn IP (Hard Blocks): Khi một IP gửi quá nhiều request, máy chủ có thể chặn hoàn toàn IP đó. Xoay proxy giúp phân tán request qua nhiều IP, tránh bị đưa vào danh sách đen.
• Giới hạn tốc độ (Rate Limiting): Hầu hết các API và trang web đều giới hạn số lượng request từ một IP trong một khoảng thời gian. Xoay vòng proxy cho phép bạn vượt qua ngưỡng này một cách hiệu quả.
• CAPTCHA và Soft Blocks: Đôi khi, thay vì chặn hẳn, máy chủ sẽ đưa ra thử thách CAPTCHA. Việc thay đổi IP và các thông số request khác có thể giúp giảm tần suất gặp phải chúng.
• Truy cập nội dung giới hạn địa lý (Geo-blocking): Bạn có thể sử dụng một proxy ở Hoa Kỳ để xem các sản phẩm chỉ bán tại thị trường này, mở ra một chân trời dữ liệu hoàn toàn mới.

Nội dung có thể hữu ích:

Proxy SEO cho Web Scraping cách cải thiện nghiên cứu từ khóa

👤 Tác giả: Official ZingProxy

Bạn có thể sử dụng Web Scraping kết hợp với Proxy SEO để có được kết quả tốt nhất, toàn diện nhất về nghiên cứu từ khóa mà bạn muốn thực hiện.

Phương pháp cơ bản – Xoay vòng Proxy với requests

Đối với hầu hết các tác vụ scraping, thư viện requests là lựa chọn tuyệt vời vì sự đơn giản và mạnh mẽ của nó, với sự hỗ trợ cho proxy là một trong những tính năng được yêu thích nhất.

Chuẩn bị và cài đặt

Trước tiên, hãy cài đặt các thư viện cần thiết qua terminal:

pip install requests fake-useragent

• requests: Thư viện HTTP kinh điển của Python.
• fake-useragent: Giúp tạo ra các chuỗi User-Agent ngẫu nhiên.

Về fake-useragent: Đây là một lựa chọn hiện đại và ổn định cho các dự án năm 2025. Kể từ phiên bản 1.0.0, dữ liệu User-Agent đã được đóng gói sẵn bên trong thư viện, giúp nó không còn phụ thuộc vào các nguồn dữ liệu trực tuyến khi chạy và giải quyết các lo ngại về độ ổn định.

Tùy chỉnh User-Agent để tăng độ chính xác

Thư viện fake-useragent không chỉ dừng lại ở việc tạo User-Agent ngẫu nhiên. Bạn có thể dễ dàng tùy chỉnh để giả lập các loại trình duyệt hoặc thiết bị cụ thể, giúp request của bạn trông tự nhiên hơn.

from fake_useragent import UserAgent

# Ví dụ 1: Chỉ tạo User-Agent cho trình duyệt trên máy tính để bàn
ua_desktop = UserAgent(platforms='desktop', browsers=['chrome', 'firefox'])
print(f"UA Desktop ngẫu nhiên: {ua_desktop.random}")

# Ví dụ 2: Chỉ tạo User-Agent cho thiết bị di động với phiên bản tối thiểu
ua_mobile_new = UserAgent(platforms='mobile', min_version=130.0)
print(f"UA Mobile phiên bản mới: {ua_mobile_new.random}")

Tiếp theo, bạn cần một danh sách proxy. Các proxy trả phí thường yêu cầu xác thực và có định dạng http://username:password@ip_address:port.

Lưu ý: Proxy miễn phí thường không đáng tin cậy, chậm và có thể gây rủi ro bảo mật. Để đảm bảo sự ổn định, tốc độ và tỷ lệ thành công cao, hãy đầu tư vào các gói proxy dân cư xoay chất lượng từ nhà cung cấp uy tín như ZingProxy.

Script thực hành với Logic Retry tối ưu

Sử dụng requests.Session là phương pháp tốt nhất để đảm bảo hiệu suất, vì việc tái sử dụng kết nối (Connection Pooling) được tích hợp sẵn và hoàn toàn tự động. Đoạn script dưới đây thể hiện một logic retry hiệu quả, trong đó một proxy lỗi sẽ được loại bỏ khỏi danh sách thử lại cho URL hiện tại, tránh lãng phí tài nguyên.

import requests
import random
import time
from fake_useragent import UserAgent

# ... (Cấu hình PROXY_LIST, TARGET_URLS, RETRY_COUNT) ...
ua = UserAgent()

def scrape_with_session(urls):
with requests.Session() as session:
for url in urls:
print(f"\nĐang xử lý URL: {url}")
# Tạo một bản sao của danh sách proxy cho mỗi URL
available_proxies = PROXY_LIST[:]

for attempt in range(RETRY_COUNT):
if not available_proxies:
print("[Cảnh báo] Đã hết proxy để thử.")
break

proxy = random.choice(available_proxies)
session.proxies.update({"http": proxy, "https": proxy})
session.headers.update({"User-Agent": ua.random})

print(f"--> Lần thử {attempt + 1} với proxy {proxy.split('@')[1]}")

try:
response = session.get(url, timeout=(5, 15))
response.raise_for_status()
print(f"[Thành công] Lấy dữ liệu thành công: {response.json()}")
break
except (requests.exceptions.ProxyError, requests.exceptions.ConnectTimeout) as e:
print(f"[Lỗi Proxy/Timeout] Proxy không hoạt động. Lỗi: {e}")
# Loại bỏ proxy lỗi khỏi danh sách thử lại cho URL này
available_proxies.remove(proxy)
except Exception as e:
available_proxies.remove(proxy)
print(f"[Lỗi khác] Lỗi: {e}")

time.sleep(random.uniform(2, 5))
else:
print(f"Không thể lấy dữ liệu cho {url} sau {RETRY_COUNT} lần thử.")

# ... (Chạy script) ...

Phân tích sâu hơn:

• with requests.Session() as session: Đảm bảo Session được đóng đúng cách sau khi sử dụng xong, giải phóng tài nguyên.
• timeout=(5, 15): Đây là một tuple timeout. Script sẽ chờ tối đa 5 giây để thiết lập kết nối và tối đa 15 giây để nhận dữ liệu. Việc phân tách này giúp xử lý các trường hợp mạng chậm một cách linh hoạt hơn.
• Xử lý lỗi chi tiết: Thay vì một khối except chung, chúng ta bắt các lỗi cụ thể như ProxyError, ConnectTimeout, HTTPError. Điều này giúp bạn ghi log và gỡ lỗi chính xác hơn.

Các lưu ý chuyên sâu với requests

Cảnh báo về biến môi trường Proxy

Một lưu ý quan trọng: requests sẽ ưu tiên sử dụng các biến môi trường hệ thống như HTTP_PROXY nếu chúng tồn tại. Điều này có thể ghi đè lên cấu hình proxy trong code của bạn, gây ra hành vi không mong muốn, đặc biệt trong môi trường production.

Phương pháp Retry nâng cao với Transport Adapter

Để xử lý việc retry một cách chuyên nghiệp hơn, requests cung cấp một cơ chế mạnh mẽ thông qua TransportAdapter. Nó cho phép tự động thử lại với các mã lỗi HTTP cụ thể và có cơ chế “backoff” (tăng dần thời gian chờ giữa các lần thử).

from requests.adapters import HTTPAdapter
from urllib3.util import Retry

def create_session_with_retries(retries=3, backoff_factor=0.3, status_forcelist=(500, 502, 504)):
session = requests.Session()
retry_strategy = Retry(
total=retries,
read=retries,
connect=retries,
backoff_factor=backoff_factor,
status_forcelist=status_forcelist,
)
adapter = HTTPAdapter(max_retries=retry_strategy)
session.mount('http://', adapter)
session.mount('https://', adapter)
return session

# Cách sử dụng:
# with create_session_with_retries() as session:
# # ... code cào dữ liệu ...

Các kỹ thuật nâng cao cho dự án lớn

Khi một dự án scraping phát triển, bạn sẽ cần các công cụ được thiết kế để xử lý quy mô lớn. Việc chuyển đổi từ requests sang các framework mạnh mẽ hơn là một bước đi tự nhiên.

Tăng Tốc X10 với aiohttp (bất đồng bộ)

Lập trình bất đồng bộ xoay quanh một khái niệm gọi là “event loop”. Thay vì chờ một tác vụ mạng hoàn thành, event loop sẽ chuyển sang thực hiện các tác vụ khác. Khi tác vụ mạng đầu tiên có phản hồi, event loop sẽ quay lại xử lý nó.

Trước khi bắt đầu, để có hiệu suất cao nhất, bạn nên cài đặt aiohttp cùng các gói tăng tốc được tài liệu chính thức khuyến nghị.

# Cài đặt aiohttp cùng các gói tăng tốc (khuyến nghị)
pip install aiohttp[speedups]

Việc này giúp tăng tốc phân giải DNS và hỗ trợ các định dạng nén hiện đại.

Mẹo chuyên nghiệp: Khi phát triển, hãy chạy script với cờ -X dev (python -X dev your_script.py). Chế độ này sẽ bật các kiểm tra nghiêm ngặt của aiohttp, giúp phát hiện lỗi sớm.

import asyncio
import aiohttp
import random

# ... (PROXY_LIST và URLS giữ nguyên) ...
async def fetch(session, url):
proxy = random.choice(PROXY_LIST)
try:
# Trong aiohttp, proxy được truyền thẳng vào hàm get
async with session.get(url, proxy=proxy, timeout=10) as response:
response.raise_for_status()
data = await response.json()
print(f"Proxy {proxy.split('@')[1]} thành công. IP: {data['origin']}")
except Exception as e:
print(f"Proxy {proxy.split('@')[1]} thất bại: {e}")

async def main():
# Giới hạn số kết nối đồng thời để tránh quá tải
connector = aiohttp.TCPConnector(limit=10)
async with aiohttp.ClientSession(connector=connector) as session:
tasks = [fetch(session, url) for url in URLS]
await asyncio.gather(*tasks)

if __name__ == "__main__":
asyncio.run(main())

TCPConnector(limit=10) giới hạn số lượng kết nối đồng thời là 10. Đây là một hành động có trách nhiệm, giúp bạn không tạo ra một cơn bão request đến máy chủ mục tiêu và cũng tránh làm cạn kiệt tài nguyên của chính mình.

Tích hợp chuyên nghiệp với Scrapy

Downloader Middleware trong Scrapy là các hook nằm giữa bộ lập lịch (Scheduler) và bộ tải về (Downloader). Mỗi request và response đều phải đi qua chúng, cho phép bạn sửa đổi, loại bỏ hoặc xử lý chúng một cách linh hoạt.

Để đưa khái niệm này vào thực tế, chúng ta sẽ xây dựng một RotatingProxyMiddleware tùy chỉnh.

Bước 1: Viết Middleware trong middlewares.py

Mở file myproject/middlewares.py và thêm class sau:

# myproject/middlewares.py
import random
from scrapy.exceptions import NotConfigured

class RotatingProxyMiddleware:
def __init__(self, proxies):
self.proxies = proxies

@classmethod
def from_crawler(cls, crawler):
proxy_list = crawler.settings.get('PROXY_LIST')
if not proxy_list:
raise NotConfigured("PROXY_LIST setting is not set or empty.")
return cls(proxy_list)

def process_request(self, request, spider):
if 'proxy' in request.meta:
return

proxy = random.choice(self.proxies)
request.meta['proxy'] = proxy
spider.logger.debug(f'Using proxy: {proxy} for {request.url}')

def process_exception(self, request, exception, spider):
current_proxy = request.meta.get('proxy')
if current_proxy:
spider.logger.warning(f'Proxy {current_proxy} failed for {request.url} with exception: {exception}')
return None # Để các middleware khác (như RetryMiddleware) tiếp tục xử lý

Bước 2: Cấu hình trong settings.py

Mở myproject/settings.py, thêm danh sách proxy và kích hoạt middleware.

# myproject/settings.py
# 1. Thêm danh sách proxy
PROXY_LIST = [
"http://user:[email protected]:8001",
# ...
]

# 2. Kích hoạt Downloader Middleware
DOWNLOADER_MIDDLEWARES = {
'myproject.middlewares.RotatingProxyMiddleware': 610,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 620,
}

Chúng ta đặt middleware của mình (610) trước HttpProxyMiddleware (620) để đảm bảo proxy được gán vào request.meta trước khi Scrapy sử dụng nó.

Xử lý JavaScript với Selenium

Khi làm việc với Selenium, một thách thức phổ biến là việc xoay vòng proxy hiệu quả. Việc khởi tạo lại một trình duyệt cho mỗi proxy mới là rất chậm chạp và tốn tài nguyên. May mắn thay, selenium-wire cung cấp một giải pháp thanh lịch bằng cách cho phép thay đổi proxy một cách linh hoạt trong cùng một phiên làm việc.

Dưới đây là cách triển khai kỹ thuật này, kết hợp với các tối ưu hóa như chạy ở chế độ “headless” và tắt tải hình ảnh.

from seleniumwire import webdriver
import random
import time
# ... (Cấu hình PROXY_LIST, TARGET_URLS, chrome_options) ...

# Khởi tạo driver mà không cần gán proxy ban đầu
driver = webdriver.Chrome(options=chrome_options)

try:
for url in TARGET_URLS:
# 1. Chọn một proxy MỚI cho mỗi URL
new_proxy = random.choice(PROXY_LIST)
print(f"\n--> Đang truy cập '{url}' với proxy: {new_proxy.split('@')[1]}")

# 2. GÁN PROXY MỚI CHO DRIVER một cách linh hoạt
driver.proxy = {
'http': new_proxy,
'https': new_proxy,
}

# 3. Thực hiện request với proxy vừa được gán
driver.get(url)
print(f" Nội dung trả về (IP): {driver.page_source}")
time.sleep(random.uniform(2, 4))
finally:
print("\nHoàn tất quá trình. Đóng driver.")
driver.quit()

Bảng so sánh – Lựa chọn công cụ phù hợp cho bạn

Bảng dưới đây sẽ giúp bạn đưa ra quyết định sáng suốt dựa trên quy mô và yêu cầu của dự án.

Lưu ý về đạo đức và trách nhiệm khi Scraping

Một lập trình viên chuyên nghiệp không chỉ viết code hoạt động, mà còn phải có trách nhiệm.

• Tôn trọng robots.txt: Đây là file mà các trang web dùng để chỉ định các đường dẫn mà bot không nên truy cập. Mặc dù không có tính ràng buộc kỹ thuật, việc tuân thủ file này thể hiện sự tôn trọng và giúp bạn tránh các rắc rối pháp lý không đáng có.
• Scrape một cách có trách nhiệm: Đừng tạo ra một cơn bão request. Hãy cài đặt độ trễ hợp lý giữa các lần truy cập. Với Scrapy, bạn có thể kích hoạt tiện ích mở rộng AutoThrottle tích hợp sẵn để tự động điều chỉnh tốc độ crawl dựa trên tải của máy chủ, đây là một hành động kỹ thuật cụ thể để thực hành việc này.
• Hiểu rõ điều khoản dịch vụ (ToS): Nhiều trang web có các điều khoản cấm việc truy cập tự động. Mặc dù việc thực thi có thể khác nhau, bạn nên nhận thức được rủi ro khi vi phạm chúng.
• Cẩn trọng với dữ liệu cá nhân: Khi cào dữ liệu có chứa thông tin cá nhân, hãy tuân thủ các quy định về quyền riêng tư như GDPR.

Kết luận

Chúng ta đã đi qua một hành trình từ những dòng code cơ bản đến các framework phức tạp để làm chủ kỹ thuật xoay proxy Python. Mỗi công cụ đều có điểm mạnh riêng và chìa khóa nằm ở việc lựa chọn đúng giải pháp cho đúng vấn đề. Nhưng hãy luôn nhớ rằng, dù bạn sử dụng công cụ tinh vi đến đâu, nền tảng của một chiến dịch web scraping thành công chính là chất lượng của danh sách proxy. Một proxy không ổn định có thể phá hỏng toàn bộ nỗ lực của bạn.

Đừng để dự án scraping của bạn bị gián đoạn bởi những proxy kém chất lượng. Hãy nâng cấp ngay hôm nay và trải nghiệm sự ổn định, tốc độ vượt trội với các gói proxy dân cư xoay hiệu suất cao của ZingProxy!

Tài liệu tham khảo

Để tìm hiểu sâu hơn về các công cụ được đề cập, bạn có thể truy cập các tài liệu chính thức sau:

• Requests: https://requests.readthedocs.io/
• fake-useragent: https://pypi.org/project/fake-useragent/
• aiohttp: https://docs.aiohttp.org/
• Scrapy: https://docs.scrapy.org/
• Selenium Wire: https://pypi.org/project/selenium-wire/