CÔNG ĐOẠN 1
1. API Gateway
"Người Bảo Vệ Vũ Trường"
Check vé (authentication) và đếm lượt (rate limiting). Nhiệm vụ sống còn là bảo vệ dàn GPU đắt đỏ khỏi bị 'sập hầm' vì quá tải request.
Tài nguyên GPU cực kỳ hiếm, không thể để request rác lọt vào.
Thách thức 69.96% anh em developer không kể đủ các bước trong System Design của nó. Đây không phải là bài toán Scale Request, mà là Scale Năng Lực Tính Toán.
"Người Bảo Vệ Vũ Trường"
Check vé (authentication) và đếm lượt (rate limiting). Nhiệm vụ sống còn là bảo vệ dàn GPU đắt đỏ khỏi bị 'sập hầm' vì quá tải request.
Tài nguyên GPU cực kỳ hiếm, không thể để request rác lọt vào.
Thiết kế hệ thống này không chỉ là thêm server là chạy nhanh hơn. Đó là một mớ trade-off giữa việc tận dụng tối đa sức mạnh GPU và giữ chân người dùng không bỏ đi vì sốt ruột.