Ghi log traffic ads với HAProxy (Phần 1): Cài đặt và cấu hình định dạng log cơ bản

Trong thời đại số, việc hiểu rõ lưu lượng truy cập (traffic) là chìa khóa để tối ưu hóa mọi chiến dịch quảng cáo và đảm bảo hiệu suất hệ thống. Đặc biệt, với những hệ thống xử lý lượng lớn traffic quảng cáo, việc ghi lại và phân tích log trở nên vô cùng quan trọng. HAProxy, một bộ cân bằng tải và proxy TCP/HTTP mã nguồn mở hiệu suất cao, không chỉ giúp phân phối traffic hiệu quả mà còn cung cấp khả năng ghi log mạnh mẽ, trở thành công cụ lý tưởng cho mục đích này.

Bài viết này là phần đầu tiên trong chuỗi hướng dẫn thiết lập hệ thống ghi log traffic quảng cáo với HAProxy. Trong phần này, chúng ta sẽ tìm hiểu về HAProxy, tầm quan trọng của việc ghi log traffic quảng cáo, và sau đó là các bước cài đặt HAProxy cũng như cấu hình định dạng log cơ bản để bắt đầu thu thập dữ liệu quan trọng.

Giới thiệu HAProxy

HAProxy là gì?

HAProxy (High Availability Proxy) là phần mềm mã nguồn mở chuyên về cân bằng tải và proxy, nổi bật với hiệu suất cao và độ tin cậy. Nó hỗ trợ hoạt động ở cả tầng 4 (TCP) và tầng 7 (HTTP) của mô hình OSI, cho phép định tuyến lưu lượng đến các máy chủ backend dựa trên thông tin IP/port hoặc nội dung ứng dụng như URL, cookie, v.v.

HAProxy có khả năng xử lý hàng chục nghìn kết nối đồng thời và hỗ trợ nhiều thuật toán cân bằng tải linh hoạt như round-robin, least connections, và source IP hashing. Ngoài ra, HAProxy cung cấp khả năng ghi log chi tiết với độ chính xác đến mili giây.

Tại sao cần ghi log traffic quảng cáo?

Trong lĩnh vực quảng cáo trực tuyến, theo dõi và phân tích traffic là yếu tố sống còn. Log traffic quảng cáo giúp:

• Đánh giá hiệu suất chiến dịch: Biết nguồn traffic, hành vi người dùng và kết quả chuyển đổi để đánh giá hiệu quả từng chiến dịch.
• Phát hiện bất thường và gian lận: Nhận diện hành vi bất thường như click ảo, bot traffic hoặc tấn công DDoS, bảo vệ ngân sách quảng cáo và duy trì chất lượng traffic.
• Tối ưu hóa phân phối quảng cáo: Dữ liệu log cung cấp thông tin để điều chỉnh và tối ưu hóa cách phân phối, nhắm mục tiêu chính xác hơn.
• Khắc phục sự cố: Là nguồn thông tin quý giá để chẩn đoán và khắc phục sự cố nhanh chóng khi có vấn đề về hiệu suất hoặc lỗi.

HAProxy, với vai trò là điểm tiếp xúc đầu tiên của traffic, có thể ghi lại mọi thông tin cần thiết về các yêu cầu HTTP, từ địa chỉ IP nguồn, User-Agent, Referer cho đến trạng thái phản hồi và thời gian xử lý, giúp bạn có được bức tranh toàn diện về traffic quảng cáo của mình.

Cài đặt HAProxy

Để bắt đầu, chúng ta cần cài đặt HAProxy trên hệ thống. Hướng dẫn này sẽ tập trung vào hệ điều hành Ubuntu, một trong những lựa chọn phổ biến nhất cho máy chủ.

Chuẩn bị hệ thống

Đầu tiên, hãy đảm bảo hệ thống của bạn được cập nhật để có thể cài đặt các gói phần mềm mới nhất:

sudo apt update
sudo apt upgrade -y

Các bước cài đặt

Sau khi hệ thống được cập nhật, bạn có thể cài đặt HAProxy bằng lệnh sau:

sudo apt install haproxy -y

Để xác minh rằng HAProxy đã được cài đặt thành công, hãy kiểm tra phiên bản:

haproxy -v

Bạn sẽ thấy thông tin về phiên bản HAProxy được cài đặt.

Kích hoạt và kiểm tra trạng thái HAProxy

Sau khi cài đặt, HAProxy thường sẽ tự động khởi động. Để đảm bảo HAProxy tự động khởi động cùng hệ thống mỗi khi máy chủ khởi động lại, bạn nên kích hoạt dịch vụ:

sudo systemctl enable haproxy

Bạn có thể kiểm tra trạng thái của dịch vụ bằng lệnh:

sudo systemctl status haproxy

Nếu dịch vụ đang chạy, bạn sẽ thấy trạng thái active (running). Nếu không, bạn có thể khởi động thủ công:

sudo systemctl start haproxy

Cấu hình định dạng log cơ bản với HAProxy

Bây giờ chúng ta sẽ đi sâu vào việc cấu hình HAProxy để bắt đầu ghi log. File cấu hình chính của HAProxy thường nằm ở /etc/haproxy/haproxy.cfg.

Hiểu về file cấu hình HAProxy

File haproxy.cfg được chia thành nhiều phần chính, mỗi phần có vai trò riêng:

• global: Chứa các thiết lập toàn cục áp dụng cho toàn bộ quá trình HAProxy.
• defaults: Định nghĩa các cài đặt mặc định cho các phần frontend, backend và listen tiếp theo.
• frontend: Xác định cách HAProxy lắng nghe các kết nối đến từ client.
• backend: Định nghĩa các nhóm máy chủ thực (server pool) mà HAProxy sẽ chuyển tiếp yêu cầu đến.
• listen: Kết hợp chức năng của frontend và backend trong một khối duy nhất.

Kích hoạt ghi log trong HAProxy

Để HAProxy có thể ghi log, chúng ta cần cấu hình nó để gửi log đến một máy chủ syslog (thường là syslog cục bộ trên cùng máy chủ).

Đầu tiên, hãy  chỉnh sửa hoặc thêm phần global trong file /etc/haproxy/haproxy.cfg như sau:

# /etc/haproxy/haproxy.cfg
global
log /dev/log local0 notice
chroot /var/lib/haproxy
user haproxy
group haproxy
daemon
# ... các phần khác ...

• Dòng log /dev/log local0 notice hướng dẫn HAProxy gửi log đến /dev/log (socket của syslog) với facility là local0 và mức độ nghiêm trọng notice. Hệ thống syslog của bạn sẽ nhận và xử lý các log này, thường lưu vào /var/log/syslog hoặc một file riêng như /var/log/haproxy.log (tùy thuộc vào cấu hình rsyslog của bạn).

Để các log của HAProxy được ghi vào một file riêng biệt như /var/log/haproxy.log, bạn cần cấu hình thêm trong /etc/rsyslog.d/50-default.conf hoặc tạo một file cấu hình riêng cho rsyslog, ví dụ /etc/rsyslog.d/haproxy.conf:

local0.* /var/log/haproxy.log

Sau khi tạo hoặc chỉnh sửa file này, bạn cần khởi động lại dịch vụ rsyslog:

sudo systemctl restart rsyslog

Lưu ý quan trọng về Syslog và quyền truy cập:

• Đảm bảo rsyslog đang lắng nghe trên socket /dev/log.
• Đảm bảo rằng người dùng haproxy có quyền ghi vào file /var/log/haproxy.log. Bạn có thể thiết lập quyền bằng các lệnh sau:

sudo touch /var/log/haproxy.log # Tạo file nếu chưa tồn tại
sudo chown syslog:adm /var/log/haproxy.log
sudo chmod 640 /var/log/haproxy.log

Lệnh chown gán quyền sở hữu file cho syslog và nhóm adm. Lệnh chmod 640 cấp quyền đọc/ghi cho chủ sở hữu, đọc cho nhóm, và không có quyền cho người khác.

Cấu hình định dạng log cho frontend

Đây là phần quan trọng nhất để thu thập thông tin về traffic quảng cáo. Để bắt đầu, hãy thêm khối defaults và frontend vào file cấu hình HAProxy của bạn:

# /etc/haproxy/haproxy.cfg

# ... các phần global và syslog đã cấu hình ở trên ...

defaults
log global # Áp dụng cấu hình log global cho các phần dưới
mode http
option httplog
timeout connect 5000ms
timeout client 50000ms
timeout server 50000ms

frontend my_ad_traffic_frontend
bind *:80
bind *:443 ssl crt /etc/haproxy/certs/your_domain.pem # Cấu hình cho HTTPS

mode http

# Định dạng log tùy chỉnh chi tiết
log-format "%ci:%cp [%Tcd] %ft %b/%s %Tq/%Tw/%Tc/%Tr/%Tt %ST %B %CC %CS %rL %{User-Agent}i %{Referer}i %r"
default_backend my_ad_backend

backend my_ad_backend
mode http
balance roundrobin
server webserver1 192.168.1.100:80 check
server webserver2 192.168.1.101:80 check

Lưu ý quan trọng về HTTPS:

Trong môi trường thực tế, việc sử dụng HTTPS (cổng 443) là bắt buộc để đảm bảo bảo mật và mã hóa dữ liệu giữa client và HAProxy. Để cấu hình HTTPS, bạn cần có chứng chỉ SSL/TLS (ví dụ: /etc/haproxy/certs/your_domain.pem là file chứa cả chứng chỉ và khóa riêng tư). Bạn có thể mua chứng chỉ từ các nhà cung cấp uy tín hoặc sử dụng Let’s Encrypt để có chứng chỉ miễn phí. Đảm bảo đường dẫn đến file chứng chỉ của bạn là chính xác. Hướng dẫn này tập trung vào việc ghi log, do đó chỉ cung cấp cấu hình HTTPS cơ bản.

Giải thích các thành phần quan trọng của log-format:

• %ci:%cp: Địa chỉ IP và cổng nguồn của client.
• [%Tcd]: Thời gian HAProxy nhận yêu cầu.
• %ft: Tên của frontend xử lý yêu cầu.
• %b/%s: Tên backend và server cụ thể được chọn.
• %Tq/%Tw/%Tc/%Tr/%Tt: Các giá trị thời gian xử lý yêu cầu (tính bằng mili giây) bao gồm: thời gian đợi trong hàng đợi (%Tq), thời gian chờ kết nối (%Tw), thời gian thiết lập kết nối đến server backend (%Tc), thời gian phản hồi từ server backend (%Tr), và tổng thời gian của giao dịch (%Tt).
• %ST: Trạng thái kết thúc phiên và mã phản hồi HTTP.
• %B: Kích thước phản hồi HTTP (byte).
• %CC: Mã kết thúc kết nối phía client.
• %CS: Mã kết thúc kết nối phía server.
• %rL: Kích thước của dòng yêu cầu HTTP.
• %{User-Agent}i: Giá trị header User-Agent của client.
%{Referer}i: Giá trị header Referer của client.
• %r: Toàn bộ dòng yêu cầu HTTP ban đầu (phương thức, URL, giao thức).

Lưu ý về Log JSON:

HAProxy cũng hỗ trợ ghi log dưới định dạng JSON, điều này rất hữu ích cho việc tích hợp với các hệ thống phân tích log hiện đại như ELK Stack. Ví dụ:

log-format '{"time":"%t","client_ip":"%ci","frontend":"%f","backend":"%b","server":"%s","status":"%ST","bytes":"%B","user_agent":"%{User-Agent}i","referer":"%{Referer}i", "request":"%r"}'

Bạn có thể cân nhắc sử dụng định dạng này nếu có kế hoạch phân tích log chuyên sâu trong tương lai.

Cấu hình định dạng log cho backend (nếu cần)

Trong một số trường hợp, bạn có thể muốn ghi log chi tiết hơn về tương tác giữa HAProxy và các máy chủ backend. Điều này hữu ích khi bạn cần chẩn đoán sự cố với máy chủ backend hoặc theo dõi hiệu suất riêng lẻ của từng máy chủ.

Bạn có thể thêm option httplog vào phần backend nếu muốn ghi log riêng biệt cho backend:

backend my_ad_backend
mode http
balance roundrobin
option httplog # Kích hoạt log cho backend
# Bạn có thể dùng log-format tùy chỉnh ở đây nếu muốn định dạng khác frontend
server webserver1 192.168.1.100:80 check
server webserver2 192.168.1.101:80 check

Tuy nhiên, trong hầu hết các trường hợp ghi log traffic quảng cáo, việc ghi log chi tiết ở frontend là đủ vì nó cung cấp cái nhìn từ góc độ của client.

Kiểm tra và xác thực log

Sau khi cấu hình, điều quan trọng là phải kiểm tra để đảm bảo mọi thứ hoạt động đúng cách.

Kiểm tra cú pháp cấu hình

Trước khi khởi động lại HAProxy, hãy luôn kiểm tra lỗi cú pháp trong file cấu hình của bạn:

sudo haproxy -c -f /etc/haproxy/haproxy.cfg

Nếu không có lỗi, bạn sẽ thấy thông báo Configuration file is valid.

Khởi động lại HAProxy

Sau khi xác nhận cấu hình hợp lệ, hãy khởi động lại dịch vụ HAProxy để áp dụng các thay đổi:

sudo systemctl restart haproxy

Kiểm tra file log

Sau khi cấu hình syslog, các log của HAProxy sẽ được ghi vào file /var/log/haproxy.log hoặc /var/log/syslog, tùy thuộc vào cấu hình rsyslog của bạn.

Để theo dõi log trực tiếp, bạn có thể sử dụng lệnh:

tail -f /var/log/haproxy.log

Bây giờ, hãy thử truy cập HAProxy qua trình duyệt hoặc curl (nhớ sử dụng https nếu bạn đã cấu hình):

curl http://your_haproxy_ip/
curl https://your_haproxy_ip/ # Nếu đã cấu hình HTTPS

Bạn sẽ thấy các dòng log xuất hiện trong terminal, hiển thị thông tin chi tiết về yêu cầu mà bạn vừa tạo.

Kết luận

Trong Phần 1 này, chúng ta đã cài đặt HAProxy trên Ubuntu và cấu hình cơ bản để ghi log traffic quảng cáo. Bạn đã biết cách kích hoạt ghi log, định nghĩa các biến log quan trọng, và tùy chỉnh định dạng log để thu thập các thông tin cần thiết như IP nguồn, User-Agent, và Referer. Các dữ liệu log này là nền tảng vững chắc cho việc phân tích hiệu suất traffic quảng cáo.

Tuy nhiên, thu thập log mới chỉ là bước khởi đầu. Trong bài viết tiếp theo, chúng ta sẽ khám phá cách tùy chỉnh định dạng log chi tiết hơn, lọc log để chỉ ghi những traffic quan trọng, và các chiến lược quản lý log hiệu quả để đảm bảo hệ thống không bị quá tải.