Fehler 504: was tun, wenn gpt-5.2 fehlschlägt

Ein 504 bedeutet, dass das Gateway beim Warten auf das vorgelagerte Modell in einen Timeout gelaufen ist: Die Anfrage wurde gesendet, aber der vorgelagerte Dienst antwortete nicht innerhalb des Gateway-Timeouts.

504 Gateway Timeout bedeutet, dass das Gateway das Warten auf die Upstream-Antwort aufgegeben hat. Die Anfrage wurde weitergeleitet, aber innerhalb des Gateway-Limits kam kein Ergebnis zurück. Kürzere Ausgabe, Streaming oder ein niedrigeres max_tokens lösen das meist.

gpt-5.2 wird von OpenAI bereitgestellt. Alles auf dieser Seite — Ursachen, Lösungen und gemessene Daten — basiert auf dem tatsächlichen Laufzeitverhalten dieses Modells auf der Gatewayschicht.

An diesem Gateway ist die häufigste Ursache: Der vorgelagerte Dienst brauchte länger als das Gateway-Timeout erlaubt. Empfohlene erste Maßnahme: Wechseln Sie zur Streaming-Ausgabe.

Häufige Ursachen

  • Der vorgelagerte Dienst brauchte länger als das Gateway-Timeout erlaubt
  • Ein langer Kontext hat die Inferenzzeit erhöht
  • Ein vorgelagerter Knoten hängt
  • Eine nicht gestreamte Anfrage mit sehr langer Ausgabe

So beheben Sie es

  • Wechseln Sie zur Streaming-Ausgabe
  • Kürzen Sie den Kontext und senken Sie max_tokens
  • Versuchen Sie es nach kurzer Wartezeit erneut
  • Nutzen Sie ein Modell mit schnellerer Inferenz

Wiederholung mit exponentiellem Backoff

Der folgende Code wiederholt den Aufruf, wenn gpt-5.2 504 liefert: bis zu 5 Versuche, mit wachsender Wartezeit und zufälligem Jitter, damit parallele Anfragen nicht gleichzeitig wiederholen. Base-URL und API-Key werden aus Umgebungsvariablen gelesen — nicht hart codieren.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'gpt-5.2'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Wichtige Daten zu diesem Modell

API-Endpunkthttps://api.airai.cc/v1
OpenAI-kompatibelOpenAI-compatible
AnbieterOpenAI
Kontext400K
FunktionenReasoning, Tools, Files, Vision
API-Formateopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Abrechnungsformelp * 1.75 + cr * 0.175 + c * 14

Häufige Fragen

Behebt ein vergleichbares Modell eines anderen Anbieters 504?

Ein Fallback in der Architektur ist verlässlicher als jede Fehlermeldung einzeln zu flicken. Dieses Modell von OpenAI hat mehrere Upstream-Knoten, zwischen denen das Gateway wechseln kann. Legen Sie den Modellnamen in die Konfiguration, dann braucht ein Upstream-Wechsel keine Codeänderung.

Zählen fehlgeschlagene Anfragen zum Rate-Limit-Kontingent?

Berechnet wird nur der bereits erzeugte Output, der fehlgeschlagene Teil nicht. Die Abrechnung folgt p * 1.75 + cr * 0.175 + c * 14, ohne Ausgabe also keine Kosten. Prüfen Sie zuerst Guthaben und Rate-Limits in der Konsole, dann den Code. Wenn Sie Kosten nach p * 1.75 + cr * 0.175 + c * 14 schätzen, rechnen Sie das Retry-Budget mit ein.

Wie sollte ich 504 in Produktion überwachen?

Behalten Sie die Request-ID und den rohen Antworttext, sonst lässt sich nichts zuordnen. Tritt es nur in Produktion auf, ist es meist eine Umgebungsdifferenz, kein Modellfehler. Das Modell wird von OpenAI bereitgestellt, der Upstream-Status richtet sich nach den Ankündigungen des Anbieters. Protokollieren Sie bei jedem Fehler die Request-ID — sie hilft mehr als der Statuscode. Reproduzieren Sie es zuerst in der Testumgebung mit demselben Request-Body.

Erhöht ein gemeinsamer Key über mehrere Services die 504-Wahrscheinlichkeit?

Sowohl ein höheres Tariflimit als auch eine niedrigere Aufruffrequenz helfen. Die Abrechnung folgt p * 1.75 + cr * 0.175 + c * 14, ohne Ausgabe also keine Kosten. Prüfen Sie zuerst Guthaben und Rate-Limits in der Konsole, dann den Code.

Weitere Fehler bei diesem Modell

Andere Modelle mit demselben Fehler

Daten aktualisiert: 2026-10-10 08:15

Technischer SupportLive-Support
Nach oben