Lỗi timeout: cần làm gì khi gọi gemini-3-flash-preview thất bại

Hết thời gian chờ nghĩa là client bỏ cuộc trước khi phản hồi tới. Yêu cầu streaming tới LLM hay gặp nhất, vì mô hình phải suy nghĩ trước token đầu tiên và giai đoạn đó không tạo ra byte nào.

timeout không phải là mã trạng thái HTTP mà là giới hạn chờ phía client. Request thường đã đến gateway và được chuyển tiếp lên upstream, nhưng model không tạo ra kết quả trong thời gian bạn đặt. Ba nguyên nhân phổ biến nhất là context dài, output dài và gọi không dùng streaming.

gemini-3-flash-preview được Google cung cấp. Mọi nội dung trên trang này — nguyên nhân, cách xử lý và dữ liệu đo được — đều tổng hợp từ hoạt động thực tế của mô hình này tại lớp gateway.

Tại gateway này, nguyên nhân thường gặp nhất là: Đặt thời gian chờ phía client quá ngắn. Hành động đầu tiên nên làm là: Tăng thời gian chờ phía client lên 300 giây trở lên.

Nguyên nhân thường gặp

  • Đặt thời gian chờ phía client quá ngắn
  • Prompt hoặc ngữ cảnh dài làm độ trễ token đầu tăng
  • Mô hình đang xử lý tác vụ suy luận dài
  • Mạng chập chờn

Cách khắc phục

  • Tăng thời gian chờ phía client lên 300 giây trở lên
  • Bật streaming để không phải chờ toàn bộ câu trả lời
  • Rút ngắn ngữ cảnh hoặc dùng mô hình nhanh hơn
  • Giảm max_tokens

Ví dụ thử lại với backoff luỹ thừa

Đoạn mã dưới sẽ thử lại khi gemini-3-flash-preview trả về timeout, tối đa 5 lần, thời gian chờ tăng dần kèm jitter ngẫu nhiên để các request đồng thời không retry cùng lúc. Hãy đọc base URL và API key từ biến môi trường, đừng hardcode vào code.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'gemini-3-flash-preview'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Dữ liệu chính của mô hình này

Điểm cuối APIhttps://api.airai.cc/v1
Tương thích OpenAIOpenAI-compatible
Nhà cung cấpGoogle
Ngữ cảnh1M
Khả năngReasoning, Tools, Files, Vision, Audio
Định dạng APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Công thức tính phíp * 0.5 + cr * 0.05 + ai * 1 + c * 3

Câu hỏi thường gặp

Mã nào đáng để thử lại, mã nào thử lại cũng vô ích?

Thử lại là bước đầu tiên hiệu quả nhất. Với cách tính phí p * 0.5 + cr * 0.05 + ai * 1 + c * 3, các request thất bại không được tính vào mức sử dụng. Đặt giới hạn thử lại ở 3–5 lần và thêm jitter.

Cache kết quả có giảm timeout không?

Biến số thực sự ở đây là độ đồng thời và timeout, không phải bản thân mô hình. Hãy giảm độ đồng thời trước — hầu hết vấn đề về thông lượng sẽ biến mất. Model này có context window 1M và thuộc Google. Context 1M nghĩa là input dài sẽ tăng đáng kể độ trễ token đầu tiên. Bắt đầu với độ đồng thời thấp, quan sát vài phút rồi tăng dần. Làm phẳng đỉnh tải bằng batch hoặc hàng đợi — ổn định hơn là tăng độ đồng thời tức thời.

Có cần nâng gói để khắc phục timeout trên gemini-3-flash-preview không?

Chủ yếu là vấn đề hạn mức, không phải model bị lỗi. Tăng hạn mức gói hoặc giảm tần suất gọi đều giúp ích. Giá input khoảng $0.50 / triệu token. Khi ước tính chi phí từ p * 0.5 + cr * 0.05 + ai * 1 + c * 3, hãy tính cả ngân sách thử lại.

Nên giám sát timeout trong production thế nào?

Hãy giữ lại request ID và nội dung phản hồi gốc, nếu không sẽ không truy vết được. Nếu chỉ xảy ra ở môi trường production, thường là khác biệt môi trường chứ không phải mô hình. Mô hình này do Google cung cấp, vì vậy trạng thái upstream theo thông báo của nhà cung cấp. Ghi lại request ID mỗi lần thất bại — hữu dụng hơn status code. Tái hiện trước trong môi trường thử nghiệm với cùng request body.

Lỗi khác của mô hình này

Các mô hình khác gặp cùng lỗi

Quay lại trang mô hình

Dữ liệu cập nhật: 2026-10-10 12:10

Hỗ trợ kỹ thuậtHỗ trợ trực tuyến
Về đầu trang