Lỗi 504: cần làm gì khi gọi qwen3.6-27b thất bại

Mã 504 nghĩa là cổng đã hết thời gian chờ mô hình thượng nguồn: yêu cầu đã được gửi, nhưng thượng nguồn không phản hồi trong thời gian cổng cho phép.

504 Gateway Timeout nghĩa là gateway đã hết kiên nhẫn chờ phản hồi từ upstream. Request đã được chuyển tiếp nhưng không có kết quả trong giới hạn của gateway. Rút ngắn output, bật streaming hoặc giảm max_tokens thường giải quyết được.

qwen3.6-27b được Alibaba cung cấp. Mọi nội dung trên trang này — nguyên nhân, cách xử lý và dữ liệu đo được — đều tổng hợp từ hoạt động thực tế của mô hình này tại lớp gateway.

Tại gateway này, nguyên nhân thường gặp nhất là: Thượng nguồn mất nhiều thời gian hơn giới hạn của cổng. Hành động đầu tiên nên làm là: Chuyển sang đầu ra streaming.

Nguyên nhân thường gặp

  • Thượng nguồn mất nhiều thời gian hơn giới hạn của cổng
  • Ngữ cảnh dài làm tăng thời gian suy luận
  • Nút thượng nguồn bị treo
  • Yêu cầu không streaming với đầu ra rất dài

Cách khắc phục

  • Chuyển sang đầu ra streaming
  • Rút ngắn ngữ cảnh và giảm max_tokens
  • Thử lại sau một lúc
  • Dùng mô hình suy luận nhanh hơn

Ví dụ thử lại với backoff luỹ thừa

Đoạn mã dưới sẽ thử lại khi qwen3.6-27b trả về 504, tối đa 5 lần, thời gian chờ tăng dần kèm jitter ngẫu nhiên để các request đồng thời không retry cùng lúc. Hãy đọc base URL và API key từ biến môi trường, đừng hardcode vào code.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'qwen3.6-27b'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Dữ liệu chính của mô hình này

Điểm cuối APIhttps://api.airai.cc/v1
Tương thích OpenAIOpenAI-compatible
Nhà cung cấpAlibaba
Ngữ cảnh262.1K
Khả năngReasoning, Tools, Files, Open Weights, Vision, Audio
Định dạng APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Công thức tính phíp * 0.6 + c * 3.6

Câu hỏi thường gặp

Khi 504 xảy ra thường xuyên nên ghi lại thông tin gì?

Gom lỗi theo thời gian và theo node trước; quy luật thường rất rõ. Hãy giữ lại request ID và nội dung phản hồi gốc, nếu không sẽ không truy vết được. Mô hình này do Alibaba cung cấp, vì vậy trạng thái upstream theo thông báo của nhà cung cấp. Tái hiện trước trong môi trường thử nghiệm với cùng request body.

504 trên qwen3.6-27b có liên quan kích thước request body không?

Đây là lỗi cấu hình phía client, phía server không cần đổi. Nhãn năng lực là Reasoning, Tools, Files, Open Weights, Vision, Audio, và giới hạn tham số bắt nguồn từ tập năng lực đó. Cửa sổ ngữ cảnh 262.1K quyết định đầu vào tối đa mỗi request; vượt quá sẽ bị từ chối ngay. Cắt ngắn hoặc tóm tắt đầu vào dài — giảm 504 một cách rõ rệt.

Có cần nâng gói để khắc phục 504 trên qwen3.6-27b không?

Chủ yếu là vấn đề hạn mức, không phải model bị lỗi. Tăng hạn mức gói hoặc giảm tần suất gọi đều giúp ích. Với cách tính phí p * 0.6 + c * 3.6, chi phí output dài chủ yếu từ output token. Với cách tính phí p * 0.6 + c * 3.6, các request thất bại không được tính vào mức sử dụng. Kiểm tra số dư và giới hạn tốc độ trong console trước, rồi mới xem code. Khi ước tính chi phí từ p * 0.6 + c * 3.6, hãy tính cả ngân sách thử lại.

504 có liên quan đến năng lực của chính model không?

Lỗi này không liên quan năng lực model, mà ở tầng gateway. Đa số là lỗi tạm thời và tự phục hồi. Thẻ năng lực của model này là Reasoning, Tools, Files, Open Weights, Vision, Audio. Nếu lỗi kéo dài vài phút, hãy liên hệ hỗ trợ của nền tảng để xác nhận trạng thái upstream. Xác định trước là cấp tài khoản hay cấp mô hình; hai trường hợp xử lý hoàn toàn khác nhau.

Lỗi khác của mô hình này

Các mô hình khác gặp cùng lỗi

Dữ liệu cập nhật: 2026-10-10 15:45

Hỗ trợ kỹ thuậtHỗ trợ trực tuyến
Về đầu trang