Erreur 500 : que faire quand llama-3.3-70b-instruct échoue

Un 500 signifie que le serveur a rencontré une erreur interne inattendue en traitant la requête. Ce n'est généralement pas un problème de format, mais une défaillance passagère côté serveur ou côté modèle amont.

500 Internal Server Error est une défaillance interne inattendue du serveur. La plupart des 500 sont des pannes de nœud transitoires qui passent avec une nouvelle tentative et un backoff exponentiel. Si cela persiste, une combinaison de paramètres précise touche probablement un cas limite non géré.

llama-3.3-70b-instruct est fourni par Meta. Tout sur cette page — causes, correctifs et données mesurées — est établi à partir du comportement réel de ce modèle au niveau de la passerelle.

Sur cette passerelle, le déclencheur le plus courant est : Une défaillance passagère du service de modèle amont. La première action recommandée : Réessayez après une courte attente : la plupart des 500 sont passagères.

Causes fréquentes

  • Une défaillance passagère du service de modèle amont
  • La requête est tombée sur un nœud en cours de redémarrage
  • Le corps de la requête a déclenché un cas limite non géré
  • Un pic de charge momentané

Comment corriger

  • Réessayez après une courte attente : la plupart des 500 sont passagères
  • Essayez un autre modèle du même fournisseur pour voir si le problème est propre au modèle
  • Simplifiez le corps (retirez les paramètres rares) puis réessayez
  • Si le problème persiste, contactez-nous en indiquant l'heure de la requête

Nouvelle tentative avec backoff exponentiel

Le code ci-dessous réessaie lorsque llama-3.3-70b-instruct renvoie 500 : jusqu’à 5 tentatives, avec une attente croissante et un jitter aléatoire pour éviter que les appels concurrents ne réessaient simultanément. Lisez l’URL de base et la clé API depuis les variables d’environnement, ne les écrivez jamais en dur.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'llama-3.3-70b-instruct'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Données clés de ce modèle

Point de terminaison APIhttps://api.airai.cc/v1
Compatible OpenAIOpenAI-compatible
FournisseurMeta
Contexte128K
CapacitésTools, Files, Open Weights
Formats d’APIopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Formule de facturationp * 0 + c * 0

Questions fréquentes

Serai-je facturé lorsque llama-3.3-70b-instruct renvoie 500 ?

Aucune facturation : seule la sortie réellement produite compte dans l’usage. Seule la sortie déjà produite est facturée, pas la partie échouée. La facturation suit p * 0 + c * 0 : sans sortie, aucun débit. Vérifiez d’abord le solde et les limites de débit dans la console, ensuite le code. En estimant le coût à partir de p * 0 + c * 0, incluez aussi le budget de relances.

Au bout de combien de temps 500 sur llama-3.3-70b-instruct justifie-t-il le support ?

Regroupez les erreurs par heure et par nœud ; la tendance est généralement évidente. Conservez l’identifiant de requête et le corps brut de la réponse, sinon rien ne peut être retracé. Ce modèle est servi par Meta, l’état en amont dépend donc des annonces du fournisseur. Enregistrez l’identifiant de requête à chaque échec : c’est plus utile que le code d’état. Reproduisez d’abord le cas en préproduction avec le même corps de requête.

500 est-il plus probable en appel direct depuis le frontend ou via un backend ?

Gardez aussi un modèle de repli prêt. Un repli intégré à l’architecture est plus fiable que de corriger chaque erreur séparément. Ce modèle de Meta dispose de plusieurs nœuds upstream entre lesquels la passerelle peut basculer. Gardez un modèle de repli plus léger, le flux principal ne sera jamais interrompu. Mettez le nom du modèle en configuration : changer d’amont ne demande alors aucune modification de code.

Combien de tentatives de retry sont raisonnables ?

Il n’est généralement pas nécessaire de modifier le code, seulement le rythme des appels. Réessayer est la première étape la plus efficace. Avec la facturation p * 0 + c * 0, les requêtes échouées ne sont pas comptées dans l’usage. Fixez la limite de relances à 3–5 et ajoutez du jitter. Utilisez un backoff exponentiel pour les erreurs relançables et renvoyez l’erreur immédiatement pour les autres.

Autres erreurs sur ce modèle

Autres modèles avec la même erreur

Retour à la page du modèle

Données mises à jour: 2026-10-10 15:45

Support techniqueAssistance en ligne
Haut de page