Errore 504: cosa fare quando gemini-2.5-flash-lite fallisce
Un 504 significa che il gateway è andato in timeout attendendo il modello a monte: la richiesta è stata inviata, ma il monte non ha risposto entro il timeout del gateway.
504 Gateway Timeout significa che il gateway ha smesso di attendere la risposta dell’upstream. La richiesta è stata inoltrata, ma nessun risultato è tornato entro il limite. Accorciare l’output, attivare lo streaming o ridurre max_tokens di solito risolve.
gemini-2.5-flash-lite è fornito da Google. Tutto in questa pagina — cause, soluzioni e dati misurati — è ricavato dal comportamento reale di questo modello al livello del gateway.
Su questo gateway, la causa più comune è: Il monte ha impiegato più del timeout consentito dal gateway. La prima azione consigliata è: Passa all'output in streaming.
Cause comuni
- Il monte ha impiegato più del timeout consentito dal gateway
- Un contesto lungo ha aumentato il tempo di inferenza
- Un nodo a monte è bloccato
- Una richiesta non in streaming con output molto lungo
Come risolvere
- Passa all'output in streaming
- Accorcia il contesto e riduci max_tokens
- Riprova dopo una breve attesa
- Usa un modello con inferenza più rapida
Retry con backoff esponenziale
Il codice qui sotto ritenta quando gemini-2.5-flash-lite restituisce 504: fino a 5 tentativi, con attesa crescente e jitter casuale per evitare che le chiamate concorrenti ritentino insieme. Leggi base URL e API key dalle variabili d’ambiente, non inserirle hardcoded.
import os, time, random
import requests
BASE = os.getenv("OPENAI_BASE_URL") # e.g. https://<your-gateway>/v1
KEY = os.getenv("OPENAI_API_KEY")
MODEL = 'gemini-2.5-flash-lite'
def chat(messages, retries=5):
"""Retry with exponential backoff + jitter."""
for i in range(retries):
try:
r = requests.post(
BASE + "/chat/completions",
headers={"Authorization": "Bearer " + KEY},
json={"model": MODEL, "messages": messages, "stream": True},
timeout=60,
)
if r.status_code == 429 or r.status_code >= 500:
time.sleep(min(2 ** i + random.uniform(0, 1), 30))
continue
r.raise_for_status()
return r.json()
except requests.exceptions.Timeout:
time.sleep(min(2 ** i + random.uniform(0, 1), 30))
raise RuntimeError("gave up after " + str(retries) + " retries")
print(chat([{"role": "user", "content": "hello"}]))Dati chiave di questo modello
| TPS | 380.8 |
|---|---|
| Latenza media | 1486 ms |
| Tasso di successo | 100% |
| Endpoint API | https://api.airai.cc/v1 |
| Compatibile con OpenAI | OpenAI-compatible |
| Fornitore | |
|---|---|
| Contesto | 1M |
| Funzionalità | Reasoning, Tools, Files, Vision, Audio |
| Formati API | openai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search |
| Formula di fatturazione | p * 0.1 + cr * 0.01 + ai * 0.3 + c * 0.4 |
Domande frequenti
Il retry farà eseguire la richiesta due volte?
Di solito non serve cambiare il codice, solo il ritmo delle chiamate. Il tasso di successo misurato è 100%, quindi il primo ritento dà il beneficio marginale maggiore. Imposta il limite di ritenti a 3–5 e aggiungi del jitter.
Le richieste fallite rientrano nella quota di rate limit?
Nessun addebito: conta solo l’output effettivamente generato. Viene fatturato solo l’output già prodotto, non la parte fallita. La fatturazione segue p * 0.1 + cr * 0.01 + ai * 0.3 + c * 0.4: senza output nessun addebito. Controlla prima saldo e limiti di velocità nella console, poi il codice.
Quali informazioni dare al supporto quando segnalo un problema?
Raggruppa gli errori per orario e per nodo; lo schema di solito è evidente. Se accade solo in produzione, di solito è una differenza di ambiente, non il modello. Il tasso di successo 100% è una media per nodo, quindi un nodo debole trascina il dato complessivo. Questo modello è servito da Google, quindi lo stato upstream segue gli annunci del fornitore. Registra l’id della richiesta a ogni fallimento: serve più del codice di stato. Riproduci il caso prima in ambiente di test con lo stesso corpo della richiesta.
504 è legato alle capacità del modello stesso?
Questo errore non dipende dalle capacità del modello, è a livello di gateway. Di solito è momentaneo e si risolve da sé. Con un tasso di successo di 100%, un 504 occasionale è normale variabilità. Se l’errore continua per diversi minuti, contatta il supporto della piattaforma per confermare lo stato upstream. Stabilisci prima se è a livello di account o di modello: i due casi si gestiscono in modo completamente diverso.
Altri errori su questo modello
- gemini-2.5-flash-lite: errore 429 — cause e soluzioni
- gemini-2.5-flash-lite: errore timeout — cause e soluzioni
- gemini-2.5-flash-lite: errore 500 — cause e soluzioni
- gemini-2.5-flash-lite: errore 502 — cause e soluzioni
- gemini-2.5-flash-lite: errore 503 — cause e soluzioni
- gemini-2.5-flash-lite: errore 401 — cause e soluzioni
- gemini-2.5-flash-lite: errore 403 — cause e soluzioni
- gemini-2.5-flash-lite: errore 400 — cause e soluzioni
Altri modelli con lo stesso errore
- gpt-5
- claude-opus-5
- gemini-2.5-pro
- deepseek-v4-pro
- grok-4.3
- llama-3.3-70b-instruct
- qvq-max
- qwq-32b
- glm-5
- MiniMax-M3
- kimi-k3
- hy3
- doubao-seed-evolving
- mimo-v2.5
- gpt-4o
- claude-opus-4-6
Dati aggiornati: 2026-10-10 12:10