Error timeout: qué hacer cuando falla gemini-3.1-flash-lite

Un timeout significa que el cliente se rindió antes de recibir la respuesta. Las solicitudes con streaming a LLM son las que más lo sufren, porque el modelo piensa antes del primer token y esa fase no produce ningún byte.

Un timeout no es un código de estado HTTP, sino un límite de espera del cliente. La solicitud normalmente llegó al gateway y se reenvió al upstream, pero el modelo no generó resultado dentro del tiempo que fijaste. Contexto largo, salida larga y llamadas sin streaming son los tres detonantes más comunes.

gemini-3.1-flash-lite lo ofrece Google. Todo en esta página — causas, soluciones y datos medidos — se recopila del comportamiento real de este modelo en la capa de gateway.

En esta pasarela, el desencadenante más común es: El timeout del cliente es demasiado bajo. La primera acción recomendada es: Sube el timeout del cliente a 300 segundos o más.

Causas habituales

  • El timeout del cliente es demasiado bajo
  • Un prompt o contexto largo eleva la latencia del primer token
  • El modelo está resolviendo una tarea de razonamiento larga
  • Fluctuaciones de red

Cómo solucionarlo

  • Sube el timeout del cliente a 300 segundos o más
  • Activa el streaming para no esperar la respuesta completa
  • Acorta el contexto o usa un modelo más rápido
  • Baja max_tokens

Reintento con retroceso exponencial

El siguiente código reintenta cuando gemini-3.1-flash-lite devuelve timeout: hasta 5 intentos, con espera creciente y jitter aleatorio para que las llamadas concurrentes no reintenten a la vez. Lee la URL base y la API key de variables de entorno, nunca las escribas fijas.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'gemini-3.1-flash-lite'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Datos clave de este modelo

TPS373.24
Latencia media2186 ms
Tasa de éxito100%
Endpoint de APIhttps://api.airai.cc/v1
Compatible con OpenAIOpenAI-compatible
ProveedorGoogle
Contexto1M
CapacidadesReasoning, Tools, Files, Vision, Audio
Formatos de APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Fórmula de facturaciónp * 0.25 + cr * 0.025 + ai * 0.5 + c * 1.5

Preguntas frecuentes

¿Cuentan las solicitudes fallidas para mi cuota de límites?

No se cobra: solo cuenta para el consumo la salida realmente generada. La facturación sigue p * 0.25 + cr * 0.025 + ai * 0.5 + c * 1.5: sin salida no hay cargo. El precio de entrada ronda $0.25 por millón de tokens. Revisa primero el saldo y los límites de velocidad en la consola, luego el código.

¿Debería cambiar a un modelo de respaldo cuando aparece timeout?

Tenga también un modelo de reserva preparado. Un respaldo a nivel de arquitectura es más fiable que parchear cada error por separado. Este modelo de Google tiene varios nodos upstream entre los que el gateway puede alternar. Ten listo un modelo de respaldo más ligero para que el flujo principal no se corte. Pon el nombre del modelo en configuración; así cambiar de upstream no requiere tocar código.

¿Qué nivel de concurrencia es seguro?

Aquí las variables reales son la concurrencia y los timeouts, no el modelo. Baja primero la concurrencia: la mayoría de los problemas de rendimiento desaparecen. El rendimiento medido es 373.24, una referencia útil para la concurrencia. Para salidas largas, sube el timeout a 60 segundos o más. Suaviza los picos con lotes o una cola: es más estable que subir la concurrencia sobre la marcha.

¿Debo cambiar los parámetros cuando gemini-3.1-flash-lite devuelve timeout?

Hay que cambiar los parámetros; reintentar por sí solo no ayudará. Las etiquetas de capacidades son Reasoning, Tools, Files, Vision, Audio y de ahí derivan los límites de parámetros. La ventana de contexto 1M fija la entrada máxima por petición; lo que la supere se rechaza directamente. Para errores de parámetros, falla rápido en lugar de gastar reintentos. Trunca o resume las entradas largas: reduce timeout de forma notable.

Otros errores de este modelo

Otros modelos con el mismo error

Volver a la página del modelo

Datos actualizados: 2026-10-10 18:30

Soporte técnicoSoporte en línea
Volver arriba