Lỗi 503: cần làm gì khi gọi gemini-2.5-flash-lite thất bại

Mã 503 nghĩa là dịch vụ tạm thời không khả dụng, thường do bảo trì hoặc quá tải. Khác với 429, đây không phải hạn ngạch của bạn mà là vấn đề năng lực phía máy chủ.

503 Service Unavailable nghĩa là dịch vụ hiện không thể xử lý request, thường do quá tải hoặc bảo trì. Phân biệt với 429 rất quan trọng: 429 là hết hạn mức của bạn, 503 là server thiếu năng lực. Hãy tăng khoảng backoff thay vì đổi key.

gemini-2.5-flash-lite được Google cung cấp. Mọi nội dung trên trang này — nguyên nhân, cách xử lý và dữ liệu đo được — đều tổng hợp từ hoạt động thực tế của mô hình này tại lớp gateway.

Tại gateway này, nguyên nhân thường gặp nhất là: Mô hình thượng nguồn quá tải. Hành động đầu tiên nên làm là: Thử lại sau với khoảng chờ dài hơn.

Nguyên nhân thường gặp

  • Mô hình thượng nguồn quá tải
  • Dịch vụ đang bảo trì hoặc phát hành dần
  • Nút ở khu vực của bạn không khả dụng
  • Lưu lượng tăng đột ngột

Cách khắc phục

  • Thử lại sau với khoảng chờ dài hơn
  • Chuyển sang mô hình tương đương ít tải hơn
  • Tránh chạy tác vụ hàng loạt vào giờ cao điểm
  • Theo dõi thông báo của chúng tôi

Ví dụ thử lại với backoff luỹ thừa

Đoạn mã dưới sẽ thử lại khi gemini-2.5-flash-lite trả về 503, tối đa 5 lần, thời gian chờ tăng dần kèm jitter ngẫu nhiên để các request đồng thời không retry cùng lúc. Hãy đọc base URL và API key từ biến môi trường, đừng hardcode vào code.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'gemini-2.5-flash-lite'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Dữ liệu chính của mô hình này

TPS380.8
Độ trễ trung bình1486 ms
Tỷ lệ thành công100%
Điểm cuối APIhttps://api.airai.cc/v1
Tương thích OpenAIOpenAI-compatible
Nhà cung cấpGoogle
Ngữ cảnh1M
Khả năngReasoning, Tools, Files, Vision, Audio
Định dạng APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Công thức tính phíp * 0.1 + cr * 0.01 + ai * 0.3 + c * 0.4

Câu hỏi thường gặp

Request thất bại có tính vào hạn mức rate limit không?

Không bị tính phí, chỉ output thực sự được tạo mới tính vào sử dụng. Chỉ phần đầu ra đã tạo mới bị tính phí, phần thất bại thì không. Cách tính phí theo p * 0.1 + cr * 0.01 + ai * 0.3 + c * 0.4, không có output thì không tính phí. Giá input khoảng $0.10 / triệu token. Khi ước tính chi phí từ p * 0.1 + cr * 0.01 + ai * 0.3 + c * 0.4, hãy tính cả ngân sách thử lại.

Khi gemini-2.5-flash-lite trả 503 có cần đổi tham số request không?

Đây là lỗi cấu hình phía client, phía server không cần đổi. Nhãn năng lực là Reasoning, Tools, Files, Vision, Audio, và giới hạn tham số bắt nguồn từ tập năng lực đó. Cửa sổ ngữ cảnh 1M quyết định đầu vào tối đa mỗi request; vượt quá sẽ bị từ chối ngay. Với lỗi tham số, hãy thất bại nhanh thay vì lãng phí lần thử lại.

Nên đặt timeout bao lâu?

Biến số thực sự ở đây là độ đồng thời và timeout, không phải bản thân mô hình. Model này có context window 1M và thuộc Google. Context 1M nghĩa là input dài sẽ tăng đáng kể độ trễ token đầu tiên. Làm phẳng đỉnh tải bằng batch hoặc hàng đợi — ổn định hơn là tăng độ đồng thời tức thời.

503 có thể gây mất dữ liệu không?

Lỗi này không liên quan năng lực model, mà ở tầng gateway. Đa số là lỗi tạm thời và tự phục hồi. Thẻ năng lực của model này là Reasoning, Tools, Files, Vision, Audio. Ở tỷ lệ thành công 100%, 503 thỉnh thoảng là biến động bình thường. Xác định trước là cấp tài khoản hay cấp mô hình; hai trường hợp xử lý hoàn toàn khác nhau.

Lỗi khác của mô hình này

Các mô hình khác gặp cùng lỗi

Dữ liệu cập nhật: 2026-10-10 15:45

Hỗ trợ kỹ thuậtHỗ trợ trực tuyến
Về đầu trang