Fehler 503: was tun, wenn llama-3.3-70b-instruct fehlschlägt

Ein 503 bedeutet, dass der Dienst vorübergehend nicht verfügbar ist, meist wegen Wartung oder Überlastung. Anders als bei 429 geht es nicht um Ihr Kontingent, sondern um die Kapazität auf Serverseite.

503 Service Unavailable bedeutet, dass der Dienst die Anfrage derzeit nicht bearbeiten kann, meist wegen Überlastung oder Wartung. Der Unterschied zu 429 ist wichtig: 429 heißt Ihr Kontingent ist aufgebraucht, 503 heißt die Serverkapazität reicht nicht. Vergrößern Sie das Backoff-Intervall, statt den Key zu wechseln.

llama-3.3-70b-instruct wird von Meta bereitgestellt. Alles auf dieser Seite — Ursachen, Lösungen und gemessene Daten — basiert auf dem tatsächlichen Laufzeitverhalten dieses Modells auf der Gatewayschicht.

An diesem Gateway ist die häufigste Ursache: Das vorgelagerte Modell ist überlastet. Empfohlene erste Maßnahme: Versuchen Sie es später mit längerem Backoff erneut.

Häufige Ursachen

• Das vorgelagerte Modell ist überlastet
• Der Dienst wird gewartet oder ausgerollt
• Der Knoten in Ihrer Region ist nicht verfügbar
• Ein plötzlicher Traffic-Anstieg

So beheben Sie es

• Versuchen Sie es später mit längerem Backoff erneut
• Wechseln Sie zu einem weniger ausgelasteten gleichwertigen Modell
• Vermeiden Sie Batch-Jobs zu Spitzenzeiten
• Beachten Sie unsere Ankündigungen

Wiederholung mit exponentiellem Backoff

Der folgende Code wiederholt den Aufruf, wenn llama-3.3-70b-instruct 503 liefert: bis zu 5 Versuche, mit wachsender Wartezeit und zufälligem Jitter, damit parallele Anfragen nicht gleichzeitig wiederholen. Base-URL und API-Key werden aus Umgebungsvariablen gelesen — nicht hart codieren.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'llama-3.3-70b-instruct'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Wichtige Daten zu diesem Modell

Häufige Fragen

Weitere Fehler bei diesem Modell

• llama-3.3-70b-instruct: Fehler 429 — Ursachen und Lösungen
• llama-3.3-70b-instruct: Fehler timeout — Ursachen und Lösungen
• llama-3.3-70b-instruct: Fehler 500 — Ursachen und Lösungen
• llama-3.3-70b-instruct: Fehler 502 — Ursachen und Lösungen
• llama-3.3-70b-instruct: Fehler 504 — Ursachen und Lösungen
• llama-3.3-70b-instruct: Fehler 401 — Ursachen und Lösungen
• llama-3.3-70b-instruct: Fehler 403 — Ursachen und Lösungen
• llama-3.3-70b-instruct: Fehler 400 — Ursachen und Lösungen

Andere Modelle mit demselben Fehler

• gpt-5
• claude-opus-5
• gemini-2.5-pro
• deepseek-v4-pro
• grok-4.3
• qvq-max
• qwq-32b
• glm-5
• MiniMax-M3
• kimi-k3
• hy3
• doubao-seed-evolving
• mimo-v2.5
• gpt-4o
• claude-opus-4-6
• gemini-2.5-flash

Zurück zur Modellseite

Daten aktualisiert: 2026-10-10 18:35