Thẻ: LiteLLM

Thảo Trần 04/05/2026

Reverse Proxy phân tải API: Xử lý nghẽn cổ chai DeepSeek V4 & Kimi 2.6

Ứng dụng đang chạy mượt mà ở môi trường local bỗng chốc đổ sập khi đẩy lên production vì hàng loạt lỗi HTTP 429 Too Many Requests (đây cũng là một trong những mã lỗi Proxy phổ biến nhất thường gặp khi scale ứng dụng). Các worker queue bị nghẽn, thời gian chờ phản hồi […]

Liên Hệ