Fehler 504: was tun, wenn qwq-plus fehlschlägt
Ein 504 bedeutet, dass das Gateway beim Warten auf das vorgelagerte Modell in einen Timeout gelaufen ist: Die Anfrage wurde gesendet, aber der vorgelagerte Dienst antwortete nicht innerhalb des Gateway-Timeouts.
504 Gateway Timeout bedeutet, dass das Gateway das Warten auf die Upstream-Antwort aufgegeben hat. Die Anfrage wurde weitergeleitet, aber innerhalb des Gateway-Limits kam kein Ergebnis zurück. Kürzere Ausgabe, Streaming oder ein niedrigeres max_tokens lösen das meist.
qwq-plus wird von Alibaba bereitgestellt. Alles auf dieser Seite — Ursachen, Lösungen und gemessene Daten — basiert auf dem tatsächlichen Laufzeitverhalten dieses Modells auf der Gatewayschicht.
An diesem Gateway ist die häufigste Ursache: Der vorgelagerte Dienst brauchte länger als das Gateway-Timeout erlaubt. Empfohlene erste Maßnahme: Wechseln Sie zur Streaming-Ausgabe.
Häufige Ursachen
- Der vorgelagerte Dienst brauchte länger als das Gateway-Timeout erlaubt
- Ein langer Kontext hat die Inferenzzeit erhöht
- Ein vorgelagerter Knoten hängt
- Eine nicht gestreamte Anfrage mit sehr langer Ausgabe
So beheben Sie es
- Wechseln Sie zur Streaming-Ausgabe
- Kürzen Sie den Kontext und senken Sie max_tokens
- Versuchen Sie es nach kurzer Wartezeit erneut
- Nutzen Sie ein Modell mit schnellerer Inferenz
Wiederholung mit exponentiellem Backoff
Der folgende Code wiederholt den Aufruf, wenn qwq-plus 504 liefert: bis zu 5 Versuche, mit wachsender Wartezeit und zufälligem Jitter, damit parallele Anfragen nicht gleichzeitig wiederholen. Base-URL und API-Key werden aus Umgebungsvariablen gelesen — nicht hart codieren.
import os, time, random
import requests
BASE = os.getenv("OPENAI_BASE_URL") # e.g. https://<your-gateway>/v1
KEY = os.getenv("OPENAI_API_KEY")
MODEL = 'qwq-plus'
def chat(messages, retries=5):
"""Retry with exponential backoff + jitter."""
for i in range(retries):
try:
r = requests.post(
BASE + "/chat/completions",
headers={"Authorization": "Bearer " + KEY},
json={"model": MODEL, "messages": messages, "stream": True},
timeout=60,
)
if r.status_code == 429 or r.status_code >= 500:
time.sleep(min(2 ** i + random.uniform(0, 1), 30))
continue
r.raise_for_status()
return r.json()
except requests.exceptions.Timeout:
time.sleep(min(2 ** i + random.uniform(0, 1), 30))
raise RuntimeError("gave up after " + str(retries) + " retries")
print(chat([{"role": "user", "content": "hello"}]))Wichtige Daten zu diesem Modell
| API-Endpunkt | https://api.airai.cc/v1 |
|---|---|
| OpenAI-kompatibel | OpenAI-compatible |
| Anbieter | Alibaba |
|---|---|
| Kontext | 131.1K |
| Funktionen | Reasoning, Tools |
| API-Formate | openai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search |
| Abrechnungsformel | p * 0.8 + c * 2.4 |
Häufige Fragen
Parallele Anfragen in eine Warteschlange oder direkt drosseln?
Parallelität und Timeouts sind hier die eigentlichen Variablen, nicht das Modell. Senken Sie zuerst die Parallelität — die meisten Durchsatzprobleme verschwinden dann. Dieses Modell hat ein Kontextfenster von 131.1K und stammt von Alibaba. Ein 131.1K-Kontext bedeutet, dass lange Eingaben die First-Token-Latenz deutlich erhöhen. Bei langen Ausgaben erhöhen Sie den Timeout auf 60 Sekunden oder mehr. Fügen Sie eine Cache-Schicht ein, damit wiederholte Anfragen nicht alle das Modell treffen.
Warum liefert qwq-plus nur zu bestimmten Zeiten 504?
Gruppieren Sie die Fehler nach Zeit und Knoten; das Muster ist meist deutlich. Behalten Sie die Request-ID und den rohen Antworttext, sonst lässt sich nichts zuordnen. Das Modell wird von Alibaba bereitgestellt, der Upstream-Status richtet sich nach den Ankündigungen des Anbieters. Protokollieren Sie bei jedem Fehler die Request-ID — sie hilft mehr als der Statuscode. Reproduzieren Sie es zuerst in der Testumgebung mit demselben Request-Body.
Hängt 504 bei qwq-plus mit der Größe des Request-Body zusammen?
Das ist ein clientseitiges Konfigurationsproblem; serverseitig ändert sich nichts. Die Fähigkeits-Tags sind Reasoning, Tools, daraus ergeben sich die Parameter-Obergrenzen. Das Kontextfenster 131.1K bestimmt die maximale Eingabe pro Anfrage, darüber wird direkt abgelehnt. Lassen Sie Parameterfehler sofort fehlschlagen, statt Retries zu verschwenden. Kürzen oder verdichten Sie lange Eingaben — das senkt 504 deutlich.
Tritt 504 eher bei direkten Frontend-Aufrufen oder über einen Backend-Proxy auf?
Ein Fallback in der Architektur ist verlässlicher als jede Fehlermeldung einzeln zu flicken. Dieses Modell von Alibaba hat mehrere Upstream-Knoten, zwischen denen das Gateway wechseln kann. Legen Sie den Modellnamen in die Konfiguration, dann braucht ein Upstream-Wechsel keine Codeänderung.
Weitere Fehler bei diesem Modell
- qwq-plus: Fehler 429 — Ursachen und Lösungen
- qwq-plus: Fehler timeout — Ursachen und Lösungen
- qwq-plus: Fehler 500 — Ursachen und Lösungen
- qwq-plus: Fehler 502 — Ursachen und Lösungen
- qwq-plus: Fehler 503 — Ursachen und Lösungen
- qwq-plus: Fehler 401 — Ursachen und Lösungen
- qwq-plus: Fehler 403 — Ursachen und Lösungen
- qwq-plus: Fehler 400 — Ursachen und Lösungen
Andere Modelle mit demselben Fehler
- gpt-5
- claude-opus-5
- gemini-2.5-pro
- deepseek-v4-pro
- grok-4.3
- llama-3.3-70b-instruct
- qvq-max
- qwq-32b
- glm-5
- MiniMax-M3
- kimi-k3
- hy3
- doubao-seed-evolving
- mimo-v2.5
- gpt-4o
- claude-opus-4-6
Daten aktualisiert: 2026-10-10 08:15