Errore 504: cosa fare quando mimo-v2.5 fallisce

Un 504 significa che il gateway è andato in timeout attendendo il modello a monte: la richiesta è stata inviata, ma il monte non ha risposto entro il timeout del gateway.

504 Gateway Timeout significa che il gateway ha smesso di attendere la risposta dell’upstream. La richiesta è stata inoltrata, ma nessun risultato è tornato entro il limite. Accorciare l’output, attivare lo streaming o ridurre max_tokens di solito risolve.

mimo-v2.5 è fornito da Xiaomi. Tutto in questa pagina — cause, soluzioni e dati misurati — è ricavato dal comportamento reale di questo modello al livello del gateway.

Su questo gateway, la causa più comune è: Il monte ha impiegato più del timeout consentito dal gateway. La prima azione consigliata è: Passa all'output in streaming.

Cause comuni

  • Il monte ha impiegato più del timeout consentito dal gateway
  • Un contesto lungo ha aumentato il tempo di inferenza
  • Un nodo a monte è bloccato
  • Una richiesta non in streaming con output molto lungo

Come risolvere

  • Passa all'output in streaming
  • Accorcia il contesto e riduci max_tokens
  • Riprova dopo una breve attesa
  • Usa un modello con inferenza più rapida

Retry con backoff esponenziale

Il codice qui sotto ritenta quando mimo-v2.5 restituisce 504: fino a 5 tentativi, con attesa crescente e jitter casuale per evitare che le chiamate concorrenti ritentino insieme. Leggi base URL e API key dalle variabili d’ambiente, non inserirle hardcoded.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'mimo-v2.5'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Dati chiave di questo modello

Endpoint APIhttps://api.airai.cc/v1
Compatibile con OpenAIOpenAI-compatible
FornitoreXiaomi
Contesto1M
FunzionalitàReasoning, Tools, Files, Open Weights, Vision, Audio
Formati APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Formula di fatturazionep * 0.14 + cr * 0.0028 + c * 0.28

Domande frequenti

504 su mimo-v2.5 è legato alla quota del mio account?

Sia alzare il limite del piano sia ridurre la frequenza delle chiamate aiuta. Con fatturazione p * 0.14 + cr * 0.0028 + c * 0.28, il costo degli output lunghi deriva soprattutto dai token di output. Con la fatturazione p * 0.14 + cr * 0.0028 + c * 0.28, le richieste fallite non rientrano nel consumo. Controlla prima saldo e limiti di velocità nella console, poi il codice.

Un max_tokens troppo alto può causare 504?

I parametri vanno cambiati; riprovare da solo non aiuterà. È un problema di configurazione lato client; lato server non cambia nulla. I tag delle capacità sono Reasoning, Tools, Files, Open Weights, Vision, Audio e i limiti dei parametri derivano da quel set. La finestra di contesto 1M stabilisce l’input massimo per richiesta; oltre viene rifiutato subito. Sugli errori di parametro fallisci subito invece di sprecare ritenti.

L’SDK ufficiale già ritenta: serve una mia logica di retry?

Riprovare è il primo passo più efficace. Con la fatturazione p * 0.14 + cr * 0.0028 + c * 0.28, le richieste fallite non rientrano nel consumo. Imposta il limite di ritenti a 3–5 e aggiungi del jitter. Usa il backoff esponenziale per gli errori ritentabili e restituisci subito l’errore per gli altri.

Le richieste fallite rientrano nella quota di rate limit?

Nessun addebito: conta solo l’output effettivamente generato. Con fatturazione p * 0.14 + cr * 0.0028 + c * 0.28, il costo degli output lunghi deriva soprattutto dai token di output. Con la fatturazione p * 0.14 + cr * 0.0028 + c * 0.28, le richieste fallite non rientrano nel consumo. Controlla prima saldo e limiti di velocità nella console, poi il codice.

Altri errori su questo modello

Altri modelli con lo stesso errore

Torna alla pagina del modello

Dati aggiornati: 2026-10-10 18:30

Supporto tecnicoAssistenza online
Torna in alto