Fehler 503: was tun, wenn gemini-3.5-flash fehlschlägt

Ein 503 bedeutet, dass der Dienst vorübergehend nicht verfügbar ist, meist wegen Wartung oder Überlastung. Anders als bei 429 geht es nicht um Ihr Kontingent, sondern um die Kapazität auf Serverseite.

503 Service Unavailable bedeutet, dass der Dienst die Anfrage derzeit nicht bearbeiten kann, meist wegen Überlastung oder Wartung. Der Unterschied zu 429 ist wichtig: 429 heißt Ihr Kontingent ist aufgebraucht, 503 heißt die Serverkapazität reicht nicht. Vergrößern Sie das Backoff-Intervall, statt den Key zu wechseln.

gemini-3.5-flash wird von Google bereitgestellt. Alles auf dieser Seite — Ursachen, Lösungen und gemessene Daten — basiert auf dem tatsächlichen Laufzeitverhalten dieses Modells auf der Gatewayschicht.

An diesem Gateway ist die häufigste Ursache: Das vorgelagerte Modell ist überlastet. Empfohlene erste Maßnahme: Versuchen Sie es später mit längerem Backoff erneut.

Häufige Ursachen

  • Das vorgelagerte Modell ist überlastet
  • Der Dienst wird gewartet oder ausgerollt
  • Der Knoten in Ihrer Region ist nicht verfügbar
  • Ein plötzlicher Traffic-Anstieg

So beheben Sie es

  • Versuchen Sie es später mit längerem Backoff erneut
  • Wechseln Sie zu einem weniger ausgelasteten gleichwertigen Modell
  • Vermeiden Sie Batch-Jobs zu Spitzenzeiten
  • Beachten Sie unsere Ankündigungen

Wiederholung mit exponentiellem Backoff

Der folgende Code wiederholt den Aufruf, wenn gemini-3.5-flash 503 liefert: bis zu 5 Versuche, mit wachsender Wartezeit und zufälligem Jitter, damit parallele Anfragen nicht gleichzeitig wiederholen. Base-URL und API-Key werden aus Umgebungsvariablen gelesen — nicht hart codieren.

import os, time, random
import requests

BASE  = os.getenv("OPENAI_BASE_URL")   # e.g. https://<your-gateway>/v1
KEY   = os.getenv("OPENAI_API_KEY")
MODEL = 'gemini-3.5-flash'


def chat(messages, retries=5):
    """Retry with exponential backoff + jitter."""
    for i in range(retries):
        try:
            r = requests.post(
                BASE + "/chat/completions",
                headers={"Authorization": "Bearer " + KEY},
                json={"model": MODEL, "messages": messages, "stream": True},
                timeout=60,
            )
            if r.status_code == 429 or r.status_code >= 500:
                time.sleep(min(2 ** i + random.uniform(0, 1), 30))
                continue
            r.raise_for_status()
            return r.json()
        except requests.exceptions.Timeout:
            time.sleep(min(2 ** i + random.uniform(0, 1), 30))
    raise RuntimeError("gave up after " + str(retries) + " retries")


print(chat([{"role": "user", "content": "hello"}]))

Wichtige Daten zu diesem Modell

TPS1669.89
Durchschn. Latenz3330 ms
Erfolgsrate100%
API-Endpunkthttps://api.airai.cc/v1
OpenAI-kompatibelOpenAI-compatible
AnbieterGoogle
Kontext1M
FunktionenReasoning, Tools, Files, Vision, Audio
API-Formateopenai, openai-response, openai-response-compact, anthropic, gemini, openai-alpha-search
Abrechnungsformelp * 1.5 + cr * 0.15 + ai * 1.5 + c * 9

Häufige Fragen

Betrifft 503 auch andere Modelle desselben Kontos?

Dieser Fehler hängt nicht mit der Modellfähigkeit zusammen, er liegt auf Gateway-Ebene. Meist ist es ein kurzzeitiges Problem, das von selbst verschwindet. Bei einer Erfolgsrate von 100% ist ein gelegentliches 503 normale Streuung. Besteht der Fehler mehrere Minuten, kontaktieren Sie den Plattform-Support zum Upstream-Status. Klären Sie zuerst Account-Ebene oder Modell-Ebene; beides wird völlig unterschiedlich behandelt.

Wird mir etwas berechnet, wenn gemini-3.5-flash 503 liefert?

Keine Berechnung: Nur tatsächlich erzeugter Output zählt zum Verbrauch. Berechnet wird nur der bereits erzeugte Output, der fehlgeschlagene Teil nicht. Bei Abrechnung nach p * 1.5 + cr * 0.15 + ai * 1.5 + c * 9 stammen die Kosten langer Ausgaben vor allem aus Output-Tokens. Bei der Abrechnung p * 1.5 + cr * 0.15 + ai * 1.5 + c * 9 werden fehlgeschlagene Anfragen nicht angerechnet. Prüfen Sie zuerst Guthaben und Rate-Limits in der Konsole, dann den Code. Wenn Sie Kosten nach p * 1.5 + cr * 0.15 + ai * 1.5 + c * 9 schätzen, rechnen Sie das Retry-Budget mit ein.

Welche Angaben braucht der Support bei einer Fehlermeldung?

Gruppieren Sie die Fehler nach Zeit und Knoten; das Muster ist meist deutlich. Tritt es nur in Produktion auf, ist es meist eine Umgebungsdifferenz, kein Modellfehler. Die Erfolgsrate 100% wird über Knoten gemittelt, ein schwacher Knoten drückt den Gesamtwert. Das Modell wird von Google bereitgestellt, der Upstream-Status richtet sich nach den Ankündigungen des Anbieters. Protokollieren Sie bei jedem Fehler die Request-ID — sie hilft mehr als der Statuscode. Reproduzieren Sie es zuerst in der Testumgebung mit demselben Request-Body.

Parallele Anfragen in eine Warteschlange oder direkt drosseln?

Parallelität und Timeouts sind hier die eigentlichen Variablen, nicht das Modell. Senken Sie zuerst die Parallelität — die meisten Durchsatzprobleme verschwinden dann. Dieses Modell hat ein Kontextfenster von 1M und stammt von Google. Der gemessene Durchsatz ist 1669.89, ein brauchbarer Richtwert für Parallelität. Bei langen Ausgaben erhöhen Sie den Timeout auf 60 Sekunden oder mehr. Fügen Sie eine Cache-Schicht ein, damit wiederholte Anfragen nicht alle das Modell treffen.

Weitere Fehler bei diesem Modell

Andere Modelle mit demselben Fehler

Zurück zur Modellseite

Daten aktualisiert: 2026-10-10 08:15

Technischer SupportLive-Support
Nach oben