Erreur 504 : que faire quand doubao-seed-1-6-vision-250815 échoue

Un 504 signifie que la passerelle a expiré en attendant le modèle amont : la requête a été envoyée, mais l'amont n'a pas répondu dans le délai imparti.

504 Gateway Timeout signifie que la passerelle a cessé d’attendre la réponse de l’upstream. La requête a été transmise, mais aucun résultat n’est revenu dans la limite imposée. Raccourcir la sortie, activer le streaming ou baisser max_tokens règle généralement le problème.

doubao-seed-1-6-vision-250815 est fourni par Volcengine Ark. Tout sur cette page — causes, correctifs et données mesurées — est établi à partir du comportement réel de ce modèle au niveau de la passerelle.

Sur cette passerelle, le déclencheur le plus courant est : L'amont a mis plus de temps que le délai autorisé par la passerelle. La première action recommandée : Passez à la sortie en streaming.

Causes fréquentes

  • L'amont a mis plus de temps que le délai autorisé par la passerelle
  • Un contexte long a augmenté le temps d'inférence
  • Un nœud amont est bloqué
  • Une requête non diffusée avec une sortie très longue

Comment corriger

  • Passez à la sortie en streaming
  • Raccourcissez le contexte et réduisez max_tokens
  • Réessayez après une courte attente
  • Utilisez un modèle à inférence plus rapide

Nouvelle tentative avec backoff exponentiel

Le code ci-dessous réessaie lorsque doubao-seed-1-6-vision-250815 renvoie 504 : jusqu’à 5 tentatives, avec une attente croissante et un jitter aléatoire pour éviter que les appels concurrents ne réessaient simultanément. Lisez l’URL de base et la clé API depuis les variables d’environnement, ne les écrivez jamais en dur.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'doubao-seed-1-6-vision-250815'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Données clés de ce modèle

Point de terminaison APIhttps://api.airai.cc/v1
Compatible OpenAIOpenAI-compatible
FournisseurVolcengine Ark
Contexte256K
CapacitésReasoning, Tools, Files, Vision
Formats d’APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Formule de facturationp * 0.109589 + cr * 0.0219178 + c * 1.09589) : len <= 128000 ? tier("32k_128k", p * 0.164384 + cr * 0.0219178 + c * 2.19178) : tier("128k_plus", p * 0.328767 + cr * 0.0219178 + c * 3.28767

Questions fréquentes

Partager une clé entre plusieurs services rend-il 504 plus probable ?

Il s’agit surtout d’un quota, non d’une panne du modèle. Relever le plafond de la formule ou baisser la fréquence des appels : les deux aident. Le prix d’entrée est d’environ $0.11 par million de tokens. Vérifiez d’abord le solde et les limites de débit dans la console, ensuite le code. En estimant le coût à partir de p * 0.109589 + cr * 0.0219178 + c * 1.09589) : len <= 128000 ? tier("32k_128k", p * 0.164384 + cr * 0.0219178 + c * 2.19178) : tier("128k_plus", p * 0.328767 + cr * 0.0219178 + c * 3.28767, incluez aussi le budget de relances.

La mise en cache des résultats réduit-elle 504 ?

Ici les vraies variables sont la concurrence et les délais d’attente, pas le modèle. Ce modèle dispose d’une fenêtre de contexte de 256K et vient de Volcengine Ark. Un contexte de 256K signifie que les longues entrées allongent nettement la latence du premier token. Ajoutez une couche de cache pour que les requêtes répétées n’atteignent pas toutes le modèle.

Les requêtes échouées comptent-elles dans mon quota de débit ?

Seule la sortie déjà produite est facturée, pas la partie échouée. La facturation suit p * 0.109589 + cr * 0.0219178 + c * 1.09589) : len <= 128000 ? tier("32k_128k", p * 0.164384 + cr * 0.0219178 + c * 2.19178) : tier("128k_plus", p * 0.328767 + cr * 0.0219178 + c * 3.28767 : sans sortie, aucun débit. Avec la facturation p * 0.109589 + cr * 0.0219178 + c * 1.09589) : len <= 128000 ? tier("32k_128k", p * 0.164384 + cr * 0.0219178 + c * 2.19178) : tier("128k_plus", p * 0.328767 + cr * 0.0219178 + c * 3.28767, les requêtes échouées ne sont pas comptées dans l’usage. Vérifiez d’abord le solde et les limites de débit dans la console, ensuite le code. En estimant le coût à partir de p * 0.109589 + cr * 0.0219178 + c * 1.09589) : len <= 128000 ? tier("32k_128k", p * 0.164384 + cr * 0.0219178 + c * 2.19178) : tier("128k_plus", p * 0.328767 + cr * 0.0219178 + c * 3.28767, incluez aussi le budget de relances.

Un max_tokens trop élevé peut-il déclencher 504 ?

Les paramètres doivent changer ; réessayer seul ne suffira pas. La fenêtre de contexte 256K fixe l’entrée maximale par requête ; au-delà, c’est rejeté immédiatement. Échouez rapidement sur les erreurs de paramètres au lieu d’y dépenser des relances. Tronquez ou résumez les entrées longues : cela réduit nettement 504.

Autres erreurs sur ce modèle

Autres modèles avec la même erreur

Données mises à jour: 2026-10-10 15:55

Support techniqueAssistance en ligne
Haut de page