Errore 504: cosa fare quando gpt-5 fallisce
Un 504 significa che il gateway è andato in timeout attendendo il modello a monte: la richiesta è stata inviata, ma il monte non ha risposto entro il timeout del gateway.
504 Gateway Timeout significa che il gateway ha smesso di attendere la risposta dell’upstream. La richiesta è stata inoltrata, ma nessun risultato è tornato entro il limite. Accorciare l’output, attivare lo streaming o ridurre max_tokens di solito risolve.
gpt-5 è fornito da OpenAI. Tutto in questa pagina — cause, soluzioni e dati misurati — è ricavato dal comportamento reale di questo modello al livello del gateway.
Su questo gateway, la causa più comune è: Il monte ha impiegato più del timeout consentito dal gateway. La prima azione consigliata è: Passa all'output in streaming.
Cause comuni
- Il monte ha impiegato più del timeout consentito dal gateway
- Un contesto lungo ha aumentato il tempo di inferenza
- Un nodo a monte è bloccato
- Una richiesta non in streaming con output molto lungo
Come risolvere
- Passa all'output in streaming
- Accorcia il contesto e riduci max_tokens
- Riprova dopo una breve attesa
- Usa un modello con inferenza più rapida
Retry con backoff esponenziale
Il codice qui sotto ritenta quando gpt-5 restituisce 504: fino a 5 tentativi, con attesa crescente e jitter casuale per evitare che le chiamate concorrenti ritentino insieme. Leggi base URL e API key dalle variabili d’ambiente, non inserirle hardcoded.
import os, time, random
import requests
BASE = os.getenv("OPENAI_BASE_URL") # e.g. https://<your-gateway>/v1
KEY = os.getenv("OPENAI_API_KEY")
MODEL = 'gpt-5'
def chat(messages, retries=5):
"""Retry with exponential backoff + jitter."""
for i in range(retries):
try:
r = requests.post(
BASE + "/chat/completions",
headers={"Authorization": "Bearer " + KEY},
json={"model": MODEL, "messages": messages, "stream": True},
timeout=60,
)
if r.status_code == 429 or r.status_code >= 500:
time.sleep(min(2 ** i + random.uniform(0, 1), 30))
continue
r.raise_for_status()
return r.json()
except requests.exceptions.Timeout:
time.sleep(min(2 ** i + random.uniform(0, 1), 30))
raise RuntimeError("gave up after " + str(retries) + " retries")
print(chat([{"role": "user", "content": "hello"}]))Dati chiave di questo modello
| Endpoint API | https://api.airai.cc/v1 |
|---|---|
| Compatibile con OpenAI | OpenAI-compatible |
| Fornitore | OpenAI |
|---|---|
| Contesto | 400K |
| Funzionalità | Reasoning, Tools, Files, Vision |
| Formati API | openai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search |
| Formula di fatturazione | p * 1.25 + cr * 0.125 + c * 10 |
Domande frequenti
Come uso l’header Retry-After nella risposta?
Di solito non serve cambiare il codice, solo il ritmo delle chiamate. Riprovare è il primo passo più efficace. Con la fatturazione p * 1.25 + cr * 0.125 + c * 10, le richieste fallite non rientrano nel consumo. Imposta il limite di ritenti a 3–5 e aggiungi del jitter. Usa il backoff esponenziale per gli errori ritentabili e restituisci subito l’errore per gli altri.
Quanta concorrenza è sicura?
Qui le vere variabili sono la concorrenza e i timeout, non il modello. Un contesto di 400K significa che input lunghi aumentano la latenza del primo token. Per output lunghi, porta il timeout a 60 secondi o più. Appiana i picchi con batch o una coda: più stabile che alzare la concorrenza al volo.
Passare a un modello più piccolo riduce 504?
Tieni pronto anche un modello di riserva. Un fallback a livello di architettura è più affidabile che correggere ogni errore uno per uno. Questo modello di OpenAI ha più nodi upstream tra cui il gateway può commutare. Tieni pronto un modello di riserva più leggero, così il flusso principale non si interrompe. Metti il nome del modello in configurazione, così cambiare upstream non richiede modifiche al codice.
504 su gpt-5 è legato alla dimensione del body?
È un problema di configurazione lato client; lato server non cambia nulla. La finestra di contesto 400K stabilisce l’input massimo per richiesta; oltre viene rifiutato subito. Sugli errori di parametro fallisci subito invece di sprecare ritenti. Tronca o riassumi gli input lunghi: riduce notevolmente 504.
Altri errori su questo modello
- gpt-5: errore 429 — cause e soluzioni
- gpt-5: errore timeout — cause e soluzioni
- gpt-5: errore 500 — cause e soluzioni
- gpt-5: errore 502 — cause e soluzioni
- gpt-5: errore 503 — cause e soluzioni
- gpt-5: errore 401 — cause e soluzioni
- gpt-5: errore 403 — cause e soluzioni
- gpt-5: errore 400 — cause e soluzioni
Altri modelli con lo stesso errore
- claude-opus-5
- gemini-2.5-pro
- deepseek-v4-pro
- grok-4.3
- llama-3.3-70b-instruct
- qvq-max
- qwq-32b
- glm-5
- MiniMax-M3
- kimi-k3
- hy3
- doubao-seed-evolving
- mimo-v2.5
- gpt-4o
- claude-opus-4-6
- gemini-2.5-flash
Dati aggiornati: 2026-10-10 15:40