Error timeout: qué hacer cuando falla gpt-5.4

Un timeout significa que el cliente se rindió antes de recibir la respuesta. Las solicitudes con streaming a LLM son las que más lo sufren, porque el modelo piensa antes del primer token y esa fase no produce ningún byte.

Un timeout no es un código de estado HTTP, sino un límite de espera del cliente. La solicitud normalmente llegó al gateway y se reenvió al upstream, pero el modelo no generó resultado dentro del tiempo que fijaste. Contexto largo, salida larga y llamadas sin streaming son los tres detonantes más comunes.

gpt-5.4 lo ofrece OpenAI. Todo en esta página — causas, soluciones y datos medidos — se recopila del comportamiento real de este modelo en la capa de gateway.

En esta pasarela, el desencadenante más común es: El timeout del cliente es demasiado bajo. La primera acción recomendada es: Sube el timeout del cliente a 300 segundos o más.

Causas habituales

  • El timeout del cliente es demasiado bajo
  • Un prompt o contexto largo eleva la latencia del primer token
  • El modelo está resolviendo una tarea de razonamiento larga
  • Fluctuaciones de red

Cómo solucionarlo

  • Sube el timeout del cliente a 300 segundos o más
  • Activa el streaming para no esperar la respuesta completa
  • Acorta el contexto o usa un modelo más rápido
  • Baja max_tokens

Reintento con retroceso exponencial

El siguiente código reintenta cuando gpt-5.4 devuelve timeout: hasta 5 intentos, con espera creciente y jitter aleatorio para que las llamadas concurrentes no reintenten a la vez. Lee la URL base y la API key de variables de entorno, nunca las escribas fijas.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'gpt-5.4'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Datos clave de este modelo

Endpoint de APIhttps://api.airai.cc/v1
Compatible con OpenAIOpenAI-compatible
ProveedorOpenAI
Contexto1.1M
CapacidadesReasoning, Tools, Files, Vision
Formatos de APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Fórmula de facturaciónp * 2.5 + cr * 0.25 + c * 15) : tier("272k_plus", p * 5 + cr * 0.5 + c * 22.5

Preguntas frecuentes

¿Cómo uso la cabecera Retry-After de la respuesta?

Normalmente no hay que cambiar el código, basta con ajustar el ritmo de llamadas. Reintentar es el primer paso más eficaz. Con la tarificación p * 2.5 + cr * 0.25 + c * 15) : tier("272k_plus", p * 5 + cr * 0.5 + c * 22.5, las peticiones fallidas no cuentan en el uso. Fija el límite de reintentos en 3–5 y añade jitter. Usa backoff exponencial para los errores reintentables y devuelve el error de inmediato para el resto.

¿Se me cobrará cuando gpt-5.4 devuelva timeout?

No se cobra: solo cuenta para el consumo la salida realmente generada. Solo se cobra la salida ya generada; la parte fallida no. La facturación sigue p * 2.5 + cr * 0.25 + c * 15) : tier("272k_plus", p * 5 + cr * 0.5 + c * 22.5: sin salida no hay cargo. Al estimar el coste con p * 2.5 + cr * 0.25 + c * 15) : tier("272k_plus", p * 5 + cr * 0.5 + c * 22.5, incluye también el presupuesto de reintentos.

¿Puede timeout deberse a un proxy o a otro salto de red?

Guarda el identificador de la petición y el cuerpo de la respuesta, si no no hay forma de localizarlo. Este modelo lo sirve OpenAI, por lo que el estado del upstream depende de los anuncios del proveedor. Reproduce el caso primero en el entorno de pruebas con el mismo cuerpo de petición.

¿Cachear resultados reduce timeout?

Baja primero la concurrencia: la mayoría de los problemas de rendimiento desaparecen. Este modelo tiene una ventana de contexto de 1.1M y es de OpenAI. Un contexto de 1.1M implica que las entradas largas aumentan la latencia del primer token. Para salidas largas, sube el timeout a 60 segundos o más.

Otros errores de este modelo

Otros modelos con el mismo error

Datos actualizados: 2026-10-10 12:10

Soporte técnicoSoporte en línea
Volver arriba