Error 504: qué hacer cuando falla kimi-k2.6

Un 504 significa que la pasarela agotó el tiempo de espera del modelo de origen: la solicitud se envió, pero el origen no respondió dentro del tiempo límite de la pasarela.

504 Gateway Timeout significa que el gateway dejó de esperar la respuesta del upstream. La solicitud se reenvió, pero no volvió ningún resultado dentro del límite del gateway. Acortar la salida, activar streaming o bajar max_tokens suele resolverlo.

kimi-k2.6 lo ofrece Moonshot AI. Todo en esta página — causas, soluciones y datos medidos — se recopila del comportamiento real de este modelo en la capa de gateway.

En esta pasarela, el desencadenante más común es: El origen tardó más de lo que permite el tiempo límite de la pasarela. La primera acción recomendada es: Cambia a salida en streaming.

Causas habituales

  • El origen tardó más de lo que permite el tiempo límite de la pasarela
  • Un contexto largo elevó el tiempo de inferencia
  • Un nodo de origen se quedó bloqueado
  • Una solicitud sin streaming con una salida muy larga

Cómo solucionarlo

  • Cambia a salida en streaming
  • Acorta el contexto y baja max_tokens
  • Reintenta tras una breve espera
  • Usa un modelo con inferencia más rápida

Reintento con retroceso exponencial

El siguiente código reintenta cuando kimi-k2.6 devuelve 504: hasta 5 intentos, con espera creciente y jitter aleatorio para que las llamadas concurrentes no reintenten a la vez. Lee la URL base y la API key de variables de entorno, nunca las escribas fijas.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'kimi-k2.6'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Datos clave de este modelo

Endpoint de APIhttps://api.airai.cc/v1
Compatible con OpenAIOpenAI-compatible
ProveedorMoonshot AI
Contexto262.1K
CapacidadesReasoning, Tools, Files, Open Weights, Vision
Formatos de APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Fórmula de facturaciónp * 0.95 + cr * 0.16 + c * 4

Preguntas frecuentes

¿Es la salida incompleta de kimi-k2.6 lo mismo que 504?

Si solo ocurre en producción, suele ser una diferencia de entorno, no del modelo. Este modelo lo sirve Moonshot AI, por lo que el estado del upstream depende de los anuncios del proveedor. Reproduce el caso primero en el entorno de pruebas con el mismo cuerpo de petición.

¿Está 504 relacionado con la capacidad del propio modelo?

Suele ser algo puntual que se recupera por sí solo. Las etiquetas de capacidad de este modelo son Reasoning, Tools, Files, Open Weights, Vision. Decide primero si es a nivel de cuenta o de modelo; el tratamiento es completamente distinto.

¿Cambiar a streaming reduce 504?

Es un problema de configuración del cliente; el servidor no necesita cambios. La ventana de contexto 262.1K fija la entrada máxima por petición; lo que la supere se rechaza directamente. Para errores de parámetros, falla rápido en lugar de gastar reintentos. Trunca o resume las entradas largas: reduce 504 de forma notable.

¿Backoff exponencial o intervalo fijo?

Normalmente no hay que cambiar el código, basta con ajustar el ritmo de llamadas. Con la tarificación p * 0.95 + cr * 0.16 + c * 4, las peticiones fallidas no cuentan en el uso. Fija el límite de reintentos en 3–5 y añade jitter. Usa backoff exponencial para los errores reintentables y devuelve el error de inmediato para el resto.

Otros errores de este modelo

Otros modelos con el mismo error

Volver a la página del modelo

Datos actualizados: 2026-10-10 15:45

Soporte técnicoSoporte en línea
Volver arriba