Wget là tiện ích dòng lệnh GNU miễn phí để truy xuất nội dung qua HTTP, HTTPS và FTP. Nó chủ yếu được sử dụng để trích xuất dữ liệu và nội dung từ nhiều web server khác nhau, tải xuống các tệp lớn và sao lưu nội dung web. Tuy nhiên, một số trang web có thể gắn cờ do nghi ngờ bạn là bot và cuối cùng chặn các yêu cầu từ bạn, khiến quá trình tải xuống liên tục không thành công. Một giải pháp đáng tin cậy là định tuyến yêu cầu của bạn qua máy chủ proxy để tránh bị bot phát hiện. Trong hướng dẫn này, ZingProxy sẽ chia sẻ cách sử dụng Proxy Wget cũng như các phương pháp và giao thức tốt nhất để quét web. Bắt đầu thôi!
Wget là gì?
Wget là một công cụ dòng lệnh miễn phí tương tự như cURL. Wget chủ yếu được sử dụng để lấy dữ liệu từ web. Nó tương thích với các giao thức HTTP, HTTPS và FTP và thậm chí có thể truy xuất tệp thông qua proxy HTTP.
Wget là một công cụ chủ lực trong bộ công cụ dành cho các nhà phát triển, cung cấp rất nhiều chức năng. Dưới đây là một số cách bạn có thể tận dụng Wget:
- Tải xuống tệp: Wget có thể tải tệp từ bất kỳ trang web hoặc máy chủ nào trực tiếp xuống máy cục bộ của bạn. Điều này đặc biệt hữu ích khi xử lý các tệp hoặc bộ dữ liệu lớn.
- Sao chép trang web: Wget có thể tải xuống toàn bộ trang web, lý tưởng cho việc tạo phiên bản ngoại tuyến của trang web hoặc sao lưu nội dung.
- Thu thập dữ liệu các trang web: Với khả năng theo dõi các liên kết trong các trang web, wget cũng có thể được sử dụng để quét web và trích xuất dữ liệu.
Wget không phải là thành phần mặc định trên tất cả các hệ thống. Người dùng Windows, Mac và thậm chí một số bản phân phối Linux sẽ cần cài đặt thủ công.
=>> Webscraping với PHP – Mua Proxy xoay IP hỗ trợ PHP
Làm cách nào để sử dụng Wget với Proxy?
Proxy đóng vai trò trung gian giữa máy tính của bạn và internet và chúng có thể mang lại một số lợi ích cho người dùng Wget.
- Proxy có thể bỏ qua các hạn chế về địa lý đối với nội dung.
- Chúng có thể giúp tránh các giới hạn tốc độ do máy chủ áp đặt bằng cách phân phối yêu cầu giữa nhiều địa chỉ IP.
- Proxy cung cấp thêm một lớp ẩn danh bằng cách che giấu địa chỉ IP của bạn.
Wget có thể được cấu hình để sử dụng proxy theo nhiều cách khác nhau. Điều này liên quan đến việc thiết lập chi tiết máy chủ proxy của bạn và sau đó hướng dẫn wget định tuyến các yêu cầu của nó thông qua proxy đó.
Định cấu hình cài đặt proxy bằng biến môi trường
Có một số cách khác nhau để thiết lập proxy trong wget. Hãy đi sâu vào phương pháp đầu tiên: xuất proxy.
Xuất biến
Việc xuất proxy cũng đơn giản như việc xác định các biến môi trường. Bạn có thể chỉ định cài đặt cấu hình proxy của mình bằng các lệnh sau:
export http_proxy=http://your-proxy-server-ip:port/
export https_proxy=https://your-proxy-server-ip:port/ Điều này thông báo cho wget sử dụng địa chỉ IP và cổng được chỉ định tương ứng cho proxy HTTP và HTTPS của bạn. Lưu ý: Nếu bạn sử dụng Windows, bạn sẽ phải sử dụng set thay vì export. Nhưng điều gì sẽ xảy ra nếu bạn đang tìm kiếm một giải pháp tiếp tục hoạt động sau khi bạn đóng phiên cuối cùng? Đó là nơi tệp .wgetrc xuất hiện.
Sử dụng tệp .wgetrc
Hãy coi tệp .wgetrc như một trợ lý cá nhân cho wget. Tệp cấu hình wget chứa các cài đặt mà wget đề cập đến mỗi khi nó bắt đầu hoạt động.
Tạo tệp .wgetrc trong Windows thật dễ dàng. Chỉ cần đi tới thư mục chính của bạn (thường là C:\Users\Your_Username) và gọi một tệp có tên .wgetrc. Trên macOS, quy trình vẫn giữ nguyên nhưng thư mục chính của bạn sẽ là /Users/Your_Username.
Việc xác định các biến proxy trong tệp .wgetrc phản ánh quá trình xuất chúng:
http_proxy = http://your-proxy-server-ip:port/
https_proxy = https://your-proxy-server-ip:port/ Lưu ý: Bạn có thể hướng dẫn wget bỏ qua proxy cho các miền cụ thể. Ví dụ: giả sử bạn muốn bỏ qua proxy cho zingproxy.com. Bạn có thể tận dụng tùy chọn –no-proxy như vậy:
wget --no-proxy=zingproxy.com Xác thực proxy với wget
Các nhà cung cấp proxy chất lượng cao thường yêu cầu tên người dùng và mật khẩu để truy cập. Để sử dụng các proxy này, điều cần thiết là gửi thông tin đăng nhập cùng với yêu cầu của bạn. Rất may, wget đơn giản hóa quy trình này bằng các tùy chọn –proxy-user và –proxy-password.
Ví dụ:
wget --proxy-user=username --proxy-password=password Ngoài ra, bạn có thể kết hợp tất cả tên người dùng, mật khẩu, IP và cổng cùng một lúc trong các biến môi trường mà chúng tôi đã đề cập trước đó:
export http_proxy=http://username:password@proxy-server-ip:port/ Hoặc bạn có thể đưa tên người dùng và mật khẩu của mình vào tệp .wgetrc để thuận tiện.
Các lệnh wget cơ bản
Tải xuống một tập tin
Cú pháp cơ bản để tải xuống tệp bằng wget là:
wget [options] [URL] Tại đây, [options] là nơi bạn có thể thêm các lệnh cụ thể và [URL] là địa chỉ web của tệp bạn muốn tải xuống.
Ví dụ: nếu bạn muốn tải xuống một tệp từ http://example.com/sample.pdf, bạn sẽ sử dụng:
wget http://example.com/sample.pdf Lệnh này sẽ tải tệp sample.pdf vào thư mục hiện tại của bạn.
Điều gì sẽ xảy ra nếu quá trình tải xuống của bạn bị gián đoạn? Đừng lo lắng wget có tùy chọn -c cho phép bạn tiếp tục tải xuống. Chỉ cần sử dụng cùng một lệnh mà bạn đã bắt đầu tải xuống, nhưng thêm tùy chọn -c:
wget -c http://example.com/sample.pdf Lệnh này sẽ tiếp tục tải xuống sample.pdf từ nơi nó bị gián đoạn.
Wget là một công cụ đa năng không chỉ giới hạn trong việc tải xuống các tệp đơn lẻ. Trên thực tế, nó có thể được sử dụng để tải xuống nhiều tệp cùng một lúc, lưu tệp vào các thư mục cụ thể, và thậm chí đổi tên các tệp đã tải xuống.
Tải xuống nhiều tệp
Cú pháp tải xuống nhiều tệp khá giống với cú pháp tải xuống một tệp, có thêm tùy chọn -i. Theo sau tùy chọn này là một tệp văn bản chứa URL của tệp bạn muốn tải xuống.
wget -i filelist.txt Trong ví dụ này, filelist.txt là một tệp văn bản chứa danh sách các URL. Mỗi URL nằm trên một dòng riêng. Đây là nội dung mẫu của filelist.txt:
http://example.com/file1.pdf
http://example.com/file2.pdf
http://example.com/file3.pdf Bây giờ, bạn có thể chạy wget -i filelist.txt để tải xuống đồng thời cả ba tệp.
Lưu tệp vào một thư mục cụ thể
Để xác định đường dẫn tải xuống chính xác, bạn có thể sử dụng tùy chọn -P hoặc –directory-prefix. Ví dụ: nếu bạn muốn tải một tệp xuống thư mục /usr/local, bạn sẽ sử dụng lệnh sau:
wget -P /usr/local http://example.com/samplefile.zipĐổi tên tệp đã tải xuống
Đổi tên tệp đã tải xuống bằng wget rất đơn giản. Bạn có thể sử dụng tùy chọn -O để chỉ định tên mới cho tệp đã tải xuống của mình. Đây là cách bạn tải xuống một hình ảnh từ một trang web và đổi tên nó:
wget -O newimage.jpg http://example.com/image.jpg Để tránh ghi đè một tệp hiện có có cùng tên, bạn có thể sử dụng tùy chọn -nc hoặc –no-clobber:
wget -nc http://example.com/image.jpg Thay đổi User-Agent (tác nhân người dùng) bằng wget
User-Agent là mã định danh đặc biệt mà trình duyệt của bạn truyền đến máy chủ, khai báo loại và phiên bản của nó. Điều này có vẻ giống như một chi tiết nhỏ nhưng thực sự nó khá quan trọng vì nó có thể ảnh hưởng đến phản hồi hoặc hành vi của dịch vụ web. Một số trang web thậm chí có thể giới hạn quyền truy cập dựa trên User-Agent.
Việc thay đổi User-Agent trong wget khá đơn giản. Tất cả những gì bạn cần làm là điều chỉnh tệp .wgetrc. Đây là cách bạn thực hiện: thêm hoặc thay đổi dòng user_agent = “string“, hoán đổi “string” bằng User-Agent ưa thích của bạn. Ví dụ:
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36" Ngoài ra, bạn có thể sử dụng tùy chọn -U hoặc –user-agent để đặt chuỗi User-Agent trực tiếp trong dòng lệnh. Đây là một ví dụ nhanh:
wget --user-agent="Mozilla/5.0" http://example.com Giới hạn tốc độ tải xuống
Bạn nên kiểm soát tốc độ tải xuống của mình. Cách làm này đảm bảo sự ổn định của mạng bằng cách ngăn chặn bất kỳ một quá trình nào. Chẳng hạn như tải xuống một tệp lớn, ngốn băng thông và làm chậm các quá trình khác. Điều này đặc biệt quan trọng đối với các nhà phát triển có thể đang chia sẻ mạng với người khác hoặc chạy nhiều tác vụ cùng một lúc.
Rất may, wget cho phép bạn giới hạn tốc độ tải xuống. Bạn có thể quản lý việc này bằng cách sử dụng tùy chọn –limit-rate. Điều này cho phép bạn chỉ định tốc độ truyền tải tối đa để truy xuất dữ liệu. Nó được đo bằng byte trên giây trừ khi thêm K (cho kilobyte trên giây) hoặc M (cho megabyte trên giây).
Ví dụ: nếu bạn muốn giới hạn tốc độ tải xuống ở mức 10 KB/s trong khi sử dụng wget và proxy, bạn có thể sử dụng lệnh sau:
wget --limit-rate=10k http://example.com Trong lệnh này, –proxy-user và –proxy-password được sử dụng để đặt tên người dùng proxy và thông tin đăng nhập. URL ở cuối (http://example.com) là tệp hoặc trang web bạn muốn tải xuống.
Trong một số trường hợp, bạn cũng có thể muốn kiểm soát tần suất yêu cầu tải xuống. wget đáp ứng nhu cầu này với các tùy chọn –wait và –waitretry. Tùy chọn –wait khiến wget tạm dừng giữa mỗi lần truy xuất, trong khi –waitretry khiến wget bị trì hoãn giữa các lần thử tải xuống không thành công.
Ví dụ: để tạm dừng 1 giây giữa các yêu cầu, bạn có thể sử dụng lệnh sau:
wget --wait=1 http://example.com Trích xuất các liên kết từ một trang web
Tính năng này rất hữu ích khi bạn cần tải xuống nhiều tệp hoặc kiểm tra trạng thái của nhiều liên kết khác nhau từ một trang web.
Sử dụng wget để tải xuống tệp từ danh sách URL
Tùy chọn –input-file trong wget cho phép bạn tải xuống các tệp từ danh sách URL. Cách sử dụng rất đơn giản: bạn tạo một tệp văn bản có danh sách các URL bạn muốn tải xuống, sau đó chuyển tệp này tới wget làm đối số của tùy chọn –input-file.
Giả sử bạn có một tệp văn bản có tên urls.txt chứa các URL sau:
http://example.com/file1
http://example.com/file2
http://example.com/file3 Bạn có thể ra lệnh cho wget tải xuống các tệp này bằng lệnh sau:
wget --input-file=urls.txt Lệnh này sẽ tải xuống file1, file2 và file3 từ example.com.
Phân tích tệp HTML bằng wget
Nếu tệp đầu vào của bạn là tệp HTML và bạn muốn xử lý nó như vậy, hãy sử dụng tùy chọn –force-html. Khi được sử dụng, wget sẽ phân tích tệp HTML và đi theo các liên kết được tìm thấy bên trong.
Ví dụ: nếu bạn có tệp HTML có tên links.html chứa các liên kết, bạn có thể trích xuất chúng bằng lệnh này:
wget --force-html --input-file=links.htmlLệnh này sẽ tạo wget phân tích links.html, trích xuất các liên kết và tải xuống các tệp được liên kết.
Kiểm tra tính khả dụng của URL từ xa
Cuối cùng, tùy chọn –spider có thể được sử dụng để kiểm tra tính khả dụng của các URL từ xa mà không cần tải chúng xuống. Điều này rất hữu ích khi bạn muốn xác minh các liên kết mà không tiêu tốn quá nhiều băng thông.
Để kiểm tra trạng thái của các liên kết trong urls.txt, bạn có thể sử dụng lệnh sau:
wget --spider --input-file=urls.txt Lệnh này sẽ thu thập dữ liệu các URL trong urls.txt và in ra trạng thái của từng URL.
=>> Lựa chọn công cụ phù hợp để thu thập dữ liệu
Chuyển đổi liên kết trên một trang
Một ưu điểm đáng kể khác của việc sử dụng wget là khả năng chuyển đổi liên kết trên một trang. Tính năng này đặc biệt hữu ích khi bạn tải xuống một trang web để sử dụng ngoại tuyến. Bằng cách chuyển đổi liên kết, bạn đảm bảo rằng tất cả điều hướng nội bộ đều trỏ đến tệp cục bộ của bạn thay vì các nguồn trực tuyến ban đầu.
Sử dụng wget để chuyển đổi liên kết
Để sử dụng tính năng chuyển đổi liên kết, hãy thêm tùy chọn –convert-links vào lệnh wget của bạn. Điều này sẽ khiến wget điều chỉnh các liên kết trong tệp HTML hoặc CSS đã tải xuống để trỏ đến các tệp cục bộ.
Đây là một ví dụ về cách nó hoạt động:
wget --convert-links https://www.example.com Lệnh này tải xuống trang web tại www.example.com và chuyển đổi tất cả các liên kết để trỏ đến các tệp cục bộ.
Điều chỉnh phần mở rộng tệp bằng wget
Nếu bạn muốn các tệp đã tải xuống có phần mở rộng phù hợp, hãy sử dụng tùy chọn –just-extension. Nó yêu cầu wget lưu các tệp đã tải xuống với phần mở rộng thích hợp. Bạn có thể tải xuống một trang web và điều chỉnh phần mở rộng của nó như sau:
wget --convert-links --adjust-extension https://www.example.com Tải xuống trang yêu cầu với wget
Tùy chọn –page-essentials trong wget đảm bảo bạn tải xuống tất cả các tệp cần thiết để hiển thị chính xác một trang HTML nhất định, bao gồm hình ảnh và biểu định kiểu. Đây là cách bạn có thể sử dụng nó:
wget --convert-links --page-requisites https://www.example.com Page Mirroring (phản chiếu trang web) với Wget
Page Mirroring là một tính năng mạnh mẽ của wget cho phép bạn tải xuống một trang web cùng với tất cả tài nguyên của nó. Điều này tạo ra một bản sao ngoại tuyến của trang, một tính năng hữu ích cho việc duyệt ngoại tuyến, sao lưu trang web hoặc thậm chí phân tích SEO chuyên sâu.
Để Page Mirroring bằng wget, hãy tận dụng tùy chọn –mirror. Tùy chọn này kích hoạt các cài đặt tối ưu để phản chiếu. Đây là một ví dụ đơn giản:
wget --mirror https://www.example.com Với các tùy chọn wget với proxy được hướng dẫn ở trên giờ đây bạn đã sẵn sàng tải xuống, chuyển đổi và phản chiếu nội dung web một cách hiệu quả. Đừng quên thực hành và thử nghiệm các tùy chọn này để sử dụng wget một cách hiệu quả nhất. Chúc các bạn thành công!
