Lọc, định tuyến và quản lý log traffic Ads với HAProxy (Phần 2)

Bài viết trước đã hướng dẫn cài đặt HAProxy và cấu hình ghi log cơ bản. Tuy nhiên, việc thu thập tất cả dữ liệu log có thể dẫn đến file log khổng lồ, khó quản lý và phân tích.

Phần này sẽ đi sâu vào các kỹ thuật nâng cao để kiểm soát và quản lý log hiệu quả hơn: lọc dữ liệu mục tiêu bằng ACLs, định tuyến log tới các file hoặc syslog server khác nhau, và quản lý vòng đời file log bằng Logrotate. Mục tiêu là có được những log chính xác, dễ đọc và dễ dàng tích hợp vào hệ thống phân tích dữ liệu của bạn.

Phần 2 của Thiết lập hệ thống ghi log traffic quảng cáo với HAProxy:

• Phần 1: Cài đặt và cấu hình định dạng log cơ bản
• Phần 2: Lọc, định tuyến và quản lý log thông minh
• Phần 3: Phân tích dữ liệu log traffic quảng cáo

Giới thiệu

Quản lý log hiệu quả là yếu tố then chốt, đặc biệt trong môi trường quảng cáo với lượng traffic khổng lồ. Nếu không có chiến lược thông minh, bạn sẽ gặp các vấn đề như: tiêu tốn dung lượng lưu trữ, khó khăn trong phân tích, và ảnh hưởng hiệu suất hệ thống. Các kỹ thuật trong phần này sẽ giúp bạn khắc phục những thách thức này, đảm bảo hệ thống ghi log hoạt động hiệu quả và cung cấp dữ liệu sạch.

Lọc dữ liệu log mục tiêu với ACLs (Access Control Lists)

ACLs trong HAProxy là các quy tắc mạnh mẽ cho phép bạn định nghĩa điều kiện dựa trên request hoặc response. Chúng cực kỳ hữu ích trong việc lọc và điều hướng log, giúp bạn:

• Chỉ ghi log traffic quảng cáo mục tiêu: Ví dụ: chỉ lưu log các yêu cầu đến đường dẫn cụ thể hoặc chứa tham số chiến dịch.
• Loại trừ traffic không mong muốn: Bỏ qua log từ bot hoặc IP nghi ngờ gian lận, giảm “nhiễu” dữ liệu.
• Ghi log chi tiết hơn cho traffic quan trọng: Áp dụng định dạng log phức tạp hơn cho một nhóm người dùng hoặc chiến dịch nhất định.

Các loại ACLs phổ biến cho mục đích lọc log

HAProxy hỗ trợ nhiều loại ACLs mà bạn có thể sử dụng:

• src: Dựa trên địa chỉ IP nguồn của client (ví dụ: src 192.168.1.0/24).
• path_beg: Dựa trên phần đầu của đường dẫn URL (ví dụ: path_beg /ads).
• url_reg: Dựa trên biểu thức chính quy của toàn bộ URL (ví dụ: url_reg -i /campaign_id=[0-9]+).
• hdr_sub(Header-Name): Kiểm tra sự xuất hiện của chuỗi con trong một HTTP header (ví dụ: hdr_sub(User-Agent) bot).
• method: Dựa trên phương thức HTTP (GET, POST, PUT, DELETE).

Kịch bản áp dụng ACLs để lọc log traffic quảng cáo

Hãy xem xét một ví dụ cụ thể trong file cấu hình HAProxy (/etc/haproxy/haproxy.cfg):

# /etc/haproxy/haproxy.cfg

# ... (các phần global, defaults, và cấu hình syslog từ Phần 1) ...

frontend my_ad_traffic_frontend
bind *:80
bind *:443 ssl crt /etc/haproxy/certs/your_domain.pem # Cấu hình cho HTTPS
mode http
option httplog

# 1. Định nghĩa ACL để nhận diện traffic quảng cáo
acl is_ad_traffic path_beg /ads
acl is_ad_traffic url_reg -i \?campaign_id=

# 2. Định nghĩa ACL để loại trừ traffic bot/không mong muốn
acl is_known_bot hdr_sub(User-Agent) -i bot|spider|crawler
acl is_blacklist_ip src -f /etc/haproxy/blacklist.acl # File chứa danh sách IP đen

# Định dạng log cho traffic quảng cáo (chi tiết hơn - xem Phần 1 để giải thích các biến)
log-format "%ci:%cp [%Tcd] %ft %b/%s %Tq/%Tw/%Tc/%Tr/%Tt %ST %B %CC %CS %rL %{User-Agent}i %{Referer}i %r" if is_ad_traffic !is_known_bot !is_blacklist_ip

# Định dạng log cơ bản cho traffic còn lại (ít chi tiết hơn)
log-format "%ci %cp %Tcd %r %ST %B" unless is_ad_traffic

default_backend my_ad_backend

backend my_ad_backend
mode http
balance roundrobin
server webserver1 192.168.1.100:80 check
server webserver2 192.168.1.101:80 check

Giải thích:

• ACL is_ad_traffic xác định yêu cầu liên quan đến quảng cáo.
• ACL is_known_bot và is_blacklist_ip nhận diện traffic không mong muốn.
• log-format đầu tiên (if is_ad_traffic !is_known_bot !is_blacklist_ip) áp dụng định dạng chi tiết cho traffic quảng cáo sạch.
• log-format thứ hai (unless is_ad_traffic) sử dụng định dạng cơ bản cho traffic còn lại.

Kiểm tra hiệu quả lọc log

Sau khi cấu hình ACL, hãy kiểm tra để đảm bảo log được lọc đúng cách:

1. Kiểm tra cú pháp HAProxy:
   sudo haproxy -c -f /etc/haproxy/haproxy.cfg
2. Khởi động lại HAProxy:
   sudo systemctl restart haproxy
3. Theo dõi log trực tiếp:
   tail -f /var/log/haproxy-access.log # Hoặc file log tương ứng của bạn
   Thử các yêu cầu test và quan sát log để xác nhận hiệu quả lọc.

Định tuyến log tới các file/syslog server khác nhau

Khi hệ thống phát triển, việc gom tất cả log vào một file gây khó khăn. Định tuyến log cho phép phân tách các loại log vào các file riêng biệt hoặc gửi đến các syslog server tập trung để dễ quản lý và phân tích.

Cấu hình HAProxy để gửi log đến syslog server khác nhau

Bạn có thể chỉ định facility (ví dụ: local0, local1, local2) trong khối global của HAProxy để phân loại log.

Ví dụ trong /etc/haproxy/haproxy.cfg:

# /etc/haproxy/haproxy.cfg
global
# Log cho traffic quảng cáo/truy cập thông thường (facility local0)
log /dev/log local0 notice
# Log cho các sự kiện lỗi quan trọng (facility local1)
log /dev/log local1 err

# Nếu cần gửi log đến một syslog server từ xa (ví dụ: hệ thống ELK), bỏ comment dòng dưới
# log 192.168.1.20:514 local0 info # Thay 192.168.1.20 bằng IP của syslog server tập trung

chroot /var/lib/haproxy
user haproxy
group haproxy
daemon

defaults
log global
mode http
option httplog
option dontlognull # Ngăn không ghi log các kết nối TCP rỗng, hữu ích hơn trong TCP mode.
timeout connect 5000ms
timeout client 50000ms
timeout server 50000ms
# ... các phần frontend, backend ...

Giải thích:

• Dòng log /dev/log local0 notice sẽ gửi log thông thường và log truy cập đến syslog cục bộ với facility local0.
• Dòng log /dev/log local1 err sẽ gửi các thông báo lỗi nghiêm trọng đến syslog cục bộ với facility local1.
• option dontlognull: Tùy chọn này ngăn HAProxy ghi log cho các kết nối TCP bị đóng mà không có dữ liệu được truyền, giúp giảm log không cần thiết.

Cấu hình rsyslog để xử lý và định tuyến log

Sau khi HAProxy gửi log với các facility khác nhau, bạn cần cấu hình rsyslog (dịch vụ syslog phổ biến trên Ubuntu) để nhận và lưu trữ chúng vào các file riêng biệt.

Tạo hoặc chỉnh sửa các file cấu hình trong /etc/rsyslog.d/:

File /etc/rsyslog.d/haproxy-access.conf:

# Log truy cập/quảng cáo từ HAProxy
local0.* /var/log/haproxy-access.log

File /etc/rsyslog.d/haproxy-errors.conf:

# Log lỗi từ HAProxy
local1.* /var/log/haproxy-errors.log

Sau khi tạo hoặc chỉnh sửa các file này, bạn cần khởi động lại dịch vụ rsyslog để áp dụng thay đổi:

sudo systemctl restart rsyslog

Lưu ý:

• Quyền ghi file log: Đảm bảo rằng người dùng chạy dịch vụ HAProxy (thường là haproxy) và rsyslog có quyền ghi vào các file log được chỉ định (ví dụ: /var/log/haproxy-access.log).
• Syslog server từ xa: Nếu bạn gửi log đến một syslog server từ xa, hãy đảm bảo rằng server đó đang lắng nghe trên cổng 514 (hoặc cổng bạn đã cấu hình) và firewall cho phép kết nối đến cổng đó.

Bây giờ, log HAProxy sẽ được phân loại và ghi vào các file riêng biệt.

Quản lý file log hiệu quả với Logrotate

File log có thể phát triển rất nhanh, đặc biệt với hệ thống traffic quảng cáo cao, gây đầy ổ đĩa và ảnh hưởng hiệu suất. Logrotate là tiện ích hệ thống tự động xoay vòng, nén và xóa các file log cũ, giúp quản lý dung lượng hiệu quả.

Cấu hình Logrotate cho HAProxy

Để cấu hình Logrotate cho log của HAProxy, bạn cần tạo một file cấu hình riêng trong thư mục /etc/logrotate.d/.

Tạo file /etc/logrotate.d/haproxy và thêm nội dung sau:

/var/log/haproxy-access.log /var/log/haproxy-errors.log {
daily # Xoay vòng log hàng ngày
rotate 7 # Giữ lại 7 bản log xoay vòng (7 ngày)
compress # Nén các file log đã xoay vòng
delaycompress # Hoãn nén cho đến chu kỳ xoay vòng tiếp theo (để dịch vụ có thể ghi vào file .1)
missingok # Không báo lỗi nếu file log không tồn tại
notifempty # Không xoay vòng log nếu file trống
create 0640 syslog adm # Tạo file log mới với quyền 640, chủ sở hữu syslog:adm
postrotate # Các lệnh sẽ chạy sau khi xoay vòng log
# HAProxy cần được tải lại để nó đóng file log cũ và mở file log mới
# Sử dụng 'reload' để tránh gián đoạn dịch vụ
/usr/bin/systemctl reload haproxy > /dev/null 2>&1 || true
endscript
}

Giải thích các tùy chọn quan trọng:

• /var/log/haproxy-access.log /var/log/haproxy-errors.log: Chỉ định các file log mà Logrotate sẽ quản lý.
• daily: Log sẽ được xoay vòng mỗi ngày. Các tùy chọn khác là weekly (hàng tuần) hoặc monthly (hàng tháng).
• rotate 7: Giữ lại 7 bản sao của file log đã xoay vòng. Bản cũ nhất (ví dụ: .7.gz) sẽ bị xóa.
• compress: Nén các file log đã xoay vòng bằng gzip.
• delaycompress: Hoãn việc nén cho đến chu kỳ xoay vòng tiếp theo. Điều này hữu ích vì HAProxy vẫn có thể ghi vào file .1 sau khi nó đã được xoay vòng, và việc nén file đó sẽ được thực hiện vào lần chạy Logrotate tiếp theo.
• missingok: Nếu file log không tồn tại, không báo lỗi.
• notifempty: Không xoay vòng file log nếu nó rỗng.
• create 0640 syslog adm: Tạo một file log mới với quyền 640 và chủ sở hữu là syslog:adm sau khi xoay vòng.
• postrotate/endscript: Các lệnh nằm giữa hai dòng này sẽ được thực thi sau khi quá trình xoay vòng hoàn tất.
  • /usr/bin/systemctl reload haproxy: Lệnh này yêu cầu HAProxy đóng file log cũ và mở file log mới mà không làm gián đoạn các kết nối hiện có, đảm bảo log tiếp tục được ghi vào file mới.
    • Lưu ý: Đường dẫn /usr/bin/systemctl có thể khác trên một số hệ thống. Bạn có thể dùng lệnh which systemctl để xác định đường dẫn chính xác trên máy chủ của mình.
  • > /dev/null 2>&1 || true: Chuyển hướng output và lỗi để không làm đầy log của Logrotate, và đảm bảo script không thất bại nếu reload không thành công.

Kiểm tra và chạy Logrotate thủ công

Bạn có thể kiểm tra cú pháp của file cấu hình Logrotate của mình bằng cách chạy ở chế độ debug:

sudo logrotate -d /etc/logrotate.d/haproxy

Để chạy Logrotate thủ công (mô phỏng, không thực sự thay đổi file log), bạn có thể sử dụng:

sudo logrotate -f /etc/logrotate.d/haproxy

Nếu mọi thứ hoạt động đúng, bạn sẽ thấy các file log cũ của mình được đổi tên và nén (ví dụ: /var/log/haproxy-access.log.1.gz), và một file log mới được tạo.

Tóm lược

Trong bài viết này, chúng ta đã áp dụng các kỹ thuật mạnh mẽ để quản lý log traffic quảng cáo với HAProxy: sử dụng ACLs để lọc dữ liệu mục tiêu, định tuyến log đến các file hoặc syslog server khác nhau, và quản lý vòng đời file log bằng Logrotate.

Những kỹ thuật này không chỉ giúp bạn có được dữ liệu log sạch và có tổ chức mà còn là bước đệm vững chắc cho giai đoạn phân tích chuyên sâu. Trong bài viết tiếp theo, chúng ta sẽ đi sâu vào việc trích xuất thông tin có giá trị từ các file log này và giới thiệu cách tích hợp với các nền tảng phân tích log mạnh mẽ như ELK Stack để biến dữ liệu thô thành những insight hữu ích cho các chiến dịch quảng cáo của bạn.